Google Cloud Storage
Verfasst: Fr Nov 23, 2018 2:44 pm
Hallo alle miteinander,
nachdem mir im Forum schon öfters sehr kompetent und höflich geholfen wurde, wollte ich mich heute mal wieder mit einem Problem an die Community wenden:
Ich möchte gerne meine Daten zu google cloud storage (gcs) hochladen und wieder runterladen. Das ganze wird in R über die Pakete (googleCloudStorageR, bigQueryR und googleAuthR gesteuert.
Soweit hab ich mich durch die Beschreibung durchgewuselt, dass ich um Daten hochzuladen, ein Bucket in GCS erstellt werden muss. Dieses sogeannte Bucket habe ich direkt auf GCS erstellt um keinen Fehler zu machen. Zu diesem Bucket habe ich erfolgreich eine Datei (csv) uploaden können. Auch der manuelle Download der Test CSV klappt. Nun will ich das ganze per Skript ablaufen lassen. Die aktualisierten Daten sollen zu GCS hochgeladen und für andere Kollegen verfügbar sein. Ändert jemand diese Daten, dann werden diese wieder hochgeladen und von anderen können diese Daten wiederum runtergeladen werden. Es ist quasi ein Kreislauf. Manuell funktioniert es prächtig! Aber das Skript in R bringt einen Fehler nach dem anderen.
Auch ist es nicht möglich mich mit dem Befehl
zu identifizieren
Fehlermeldung:
Error in gar_auto_auth(required_scopes, new_user = new_user, no_auto = no_auto, :
Cannot authenticate - options(googleAuthR.scopes.selected) needs to be set to includehttps://www.googleapis.com/auth/devstorage.full_control or https://www.googleapis.com/auth/devstorage.read_write or https://www.googleapis.com/auth/cloud-platform
Ich habe geguckt wo ich eine solche Einstellung vornehmen kann - nix gefunden!
Weiter geht es damit das das sogenannte Bucket, welches ich in GCS erstellt habe nicht gefunden wird.
# hole0 ist das Bucket welches in GCS erstellt wurde
Error in is.string(projectId) : object 'hole0' not found # Fehlermeldung
Selbst das Beispiel in der Beschreibung des Packages (googleCloudStorageR) um den Beispieldatensatz mtcars hochzuladen funktioniert nicht.
Zu guter Letzt habe ich den Link, welcher zu der Datei(csv) im Bucket existiert mit paste & copy in R eingefügt und versucht downzuloaden. Das klappt aber die Datei ist völlig kaputt.
Wenn ich in GCS direkt den Download veranlasse, funktioniert es wunderbar.
Ich gebe es zu, was ich hier schreibe ist vllt. ein bisschen verwirrend aber vielleicht gibt es hier jemanden der mit dem Google Cloud Service Erfahrung hat und mit weiterhelfen könnte. Es wäre eine große Hilfe und das i-Tüpfelchen für mein Mini-Projekt.
Vielen Dank für Eure Mühe und die Zeit, welche Ihr Euch nehmt.
retep
nachdem mir im Forum schon öfters sehr kompetent und höflich geholfen wurde, wollte ich mich heute mal wieder mit einem Problem an die Community wenden:
Ich möchte gerne meine Daten zu google cloud storage (gcs) hochladen und wieder runterladen. Das ganze wird in R über die Pakete (googleCloudStorageR, bigQueryR und googleAuthR gesteuert.
Code: Alles auswählen
library(googleCloudStorageR)
library(bigQueryR)
library(googleAuthR)
Auch ist es nicht möglich mich mit dem Befehl
Code: Alles auswählen
gcs_auth(new_user = FALSE, no_auto = FALSE)
Fehlermeldung:
Error in gar_auto_auth(required_scopes, new_user = new_user, no_auto = no_auto, :
Cannot authenticate - options(googleAuthR.scopes.selected) needs to be set to includehttps://www.googleapis.com/auth/devstorage.full_control or https://www.googleapis.com/auth/devstorage.read_write or https://www.googleapis.com/auth/cloud-platform
Ich habe geguckt wo ich eine solche Einstellung vornehmen kann - nix gefunden!
Weiter geht es damit das das sogenannte Bucket, welches ich in GCS erstellt habe nicht gefunden wird.
Code: Alles auswählen
buckets <- gcs_list_buckets(hole0)
Error in is.string(projectId) : object 'hole0' not found # Fehlermeldung
Selbst das Beispiel in der Beschreibung des Packages (googleCloudStorageR) um den Beispieldatensatz mtcars hochzuladen funktioniert nicht.
Zu guter Letzt habe ich den Link, welcher zu der Datei(csv) im Bucket existiert mit paste & copy in R eingefügt und versucht downzuloaden. Das klappt aber die Datei ist völlig kaputt.
Code: Alles auswählen
xxxxx <- read.csv2("https://console.cloud.google.com/storage/browser/XXXXXX.csv")
Ich gebe es zu, was ich hier schreibe ist vllt. ein bisschen verwirrend aber vielleicht gibt es hier jemanden der mit dem Google Cloud Service Erfahrung hat und mit weiterhelfen könnte. Es wäre eine große Hilfe und das i-Tüpfelchen für mein Mini-Projekt.
Vielen Dank für Eure Mühe und die Zeit, welche Ihr Euch nehmt.
retep