Google Cloud Storage

... zu anderer statistischer Software, zu Datenbanken und Programmiersprachen.

Moderatoren: EDi, jogo

Antworten
retep
Beiträge: 99
Registriert: Do Sep 06, 2018 7:50 pm

Google Cloud Storage

Beitrag von retep »

Hallo alle miteinander,

nachdem mir im Forum schon öfters sehr kompetent und höflich geholfen wurde, wollte ich mich heute mal wieder mit einem Problem an die Community wenden:

Ich möchte gerne meine Daten zu google cloud storage (gcs) hochladen und wieder runterladen. Das ganze wird in R über die Pakete (googleCloudStorageR, bigQueryR und googleAuthR gesteuert.

Code: Alles auswählen

library(googleCloudStorageR)
  library(bigQueryR)
  library(googleAuthR)
Soweit hab ich mich durch die Beschreibung durchgewuselt, dass ich um Daten hochzuladen, ein Bucket in GCS erstellt werden muss. Dieses sogeannte Bucket habe ich direkt auf GCS erstellt um keinen Fehler zu machen. Zu diesem Bucket habe ich erfolgreich eine Datei (csv) uploaden können. Auch der manuelle Download der Test CSV klappt. Nun will ich das ganze per Skript ablaufen lassen. Die aktualisierten Daten sollen zu GCS hochgeladen und für andere Kollegen verfügbar sein. Ändert jemand diese Daten, dann werden diese wieder hochgeladen und von anderen können diese Daten wiederum runtergeladen werden. Es ist quasi ein Kreislauf. Manuell funktioniert es prächtig! Aber das Skript in R bringt einen Fehler nach dem anderen.

Auch ist es nicht möglich mich mit dem Befehl

Code: Alles auswählen

gcs_auth(new_user = FALSE, no_auto = FALSE)
zu identifizieren

Fehlermeldung:
Error in gar_auto_auth(required_scopes, new_user = new_user, no_auto = no_auto, :
Cannot authenticate - options(googleAuthR.scopes.selected) needs to be set to includehttps://www.googleapis.com/auth/devstorage.full_control or https://www.googleapis.com/auth/devstorage.read_write or https://www.googleapis.com/auth/cloud-platform

Ich habe geguckt wo ich eine solche Einstellung vornehmen kann - nix gefunden! :oops:

Weiter geht es damit das das sogenannte Bucket, welches ich in GCS erstellt habe nicht gefunden wird.

Code: Alles auswählen

buckets <- gcs_list_buckets(hole0) 
# hole0 ist das Bucket welches in GCS erstellt wurde
Error in is.string(projectId) : object 'hole0' not found # Fehlermeldung

Selbst das Beispiel in der Beschreibung des Packages (googleCloudStorageR) um den Beispieldatensatz mtcars hochzuladen funktioniert nicht.

Zu guter Letzt habe ich den Link, welcher zu der Datei(csv) im Bucket existiert mit paste & copy in R eingefügt und versucht downzuloaden. Das klappt aber die Datei ist völlig kaputt.

Code: Alles auswählen

 xxxxx <- read.csv2("https://console.cloud.google.com/storage/browser/XXXXXX.csv")
Wenn ich in GCS direkt den Download veranlasse, funktioniert es wunderbar.

Ich gebe es zu, was ich hier schreibe ist vllt. ein bisschen verwirrend aber vielleicht gibt es hier jemanden der mit dem Google Cloud Service Erfahrung hat und mit weiterhelfen könnte. Es wäre eine große Hilfe und das i-Tüpfelchen für mein Mini-Projekt.

Vielen Dank für Eure Mühe und die Zeit, welche Ihr Euch nehmt.

retep
Antworten