Seite 2 von 2

Re: Fehlende oder falsche Werte beim einlesen?

Verfasst: Mi Feb 23, 2022 10:33 am
von EDi

Code: Alles auswählen

läuft auch einen Moment, ich müsste jetzt die Zeit stoppen, was schneller ist, 
Das:

Code: Alles auswählen

 data <- rbind(data, data.frame(x=data_csv[,i]))
in einer Schleife

wird bei großen Daten sehr langsam werden, dass alles kopiert werden muss. Und zwar bei jedem schleifendurchlauf und vermutlich sogar 2 mal.... https://adv-r.hadley.nz/names-values.ht ... -on-modify

Man könnte vorab ein leeres Object erstellen, aber unlist() ist bei dem beschriebenen Problem hier doch die sinnvollste Lösung [Wobei ich mich an die neue Pipe noch nicht gewöhnt habe...]

Re: Fehlende oder falsche Werte beim einlesen?

Verfasst: Mi Feb 23, 2022 11:33 am
von schubbiaschwilli
Gude!

Das

Code: Alles auswählen

 data <- rbind(data, data.frame(x=data_csv[,i]))
und auch das Einlesen der Dateien war in diesem Fall schnell genug - Man macht das ja einmal, und wenn's mal ein paar Sekunden oder auch Minuten läuft, dann sehe ich das als vernachlässigbar an. Die meiste Zeit verbringt man ja auch nicht mit Tippen, sondern starrt auf Plots oder Werte, die man nicht versteht. Ist halt mehr Prototyping. Und in einem professionellen, produktiven(!) Umfeld (was ich so kenne) wird man R so auch nicht einsetzten.

Ich kann mich an eine Vorlesung erinnern (es ging um Data-Mining bzw. SVM), die hatten 'wir' Mathematiker zusammen mit ITlern aus dem Bereich Data-Science: Ich hab' ein Ergebnis präsentiert, und auch den Code gezeigt, und es kam tatsächlich die Bemerkung 'Aber anders geht es schneller' - Und der Typ hat sich dann wirklich hingesetzt, und die Zeiten verglichen und den Code analysiert und... Ich hatte das Ding programmiert, es abends gestartet und am nächsten Morgen war es fertig - Ich weiß nicht mal genau, wie lange das genau lief.

Dank&Gruß
Schubbiaschwilli

Re: Fehlende oder falsche Werte beim einlesen?

Verfasst: Mi Feb 23, 2022 12:36 pm
von bigben
Hi!

Ja, das kommt immer alles auf den Kontext an. Meine Studentin hat mir gestern stolz verkündet, dass wir nicht mehr 25 Patienten, wie in meiner letzten Zwischenauswertung, sondern inzwischen schon über 30 Patienten untersucht haben. ;) :oops: :P
EDi hat geschrieben:[Wobei ich mich an die neue Pipe noch nicht gewöhnt habe...]
Die macht ja auch kaum Sinn, wenn der tidyverse-Kundige dplyr ohnehin installiert und im Zweifelsfall auch "offen" hat.

LG,
Bernhard

Re: Fehlende oder falsche Werte beim einlesen?

Verfasst: Mi Feb 23, 2022 1:06 pm
von EDi
Und in einem professionellen, produktiven(!) Umfeld (was ich so kenne) wird man R so auch nicht einsetzten.
Ich nutze R professionell und produktiv. Eine meiner produktiven R Anwendungen z.B. bekommt >500k (!) requests am Tag.

Wobei ich heutzutage eher in in Richtung golang tendiere (aber wir sind ja hier im R Forum...)

Re: Fehlende oder falsche Werte beim einlesen?

Verfasst: Mi Feb 23, 2022 1:40 pm
von schubbiaschwilli
Gude!

Hm, falsch Ausgedrückt: Zumindest die Dateiverarbeitung bzw. das Einlesen wird man so nicht umsetzen (also zumindest kenne ich es so nicht) - Entweder werden die Dateien automatisch in eine Datenbank eingelesen (dann gibt es aber einen entsprechenden Prozess) oder auf eine Plattform hochgeladen und im 4-Augen-Prinzip freigegeben. Gilt aber nicht für Ad-Hoc oder so.

Dank&Gruß
Schubbiaschwilli

Re: Fehlende oder falsche Werte beim einlesen?

Verfasst: Mi Feb 23, 2022 1:58 pm
von bigben
EDi hat geschrieben: Mi Feb 23, 2022 1:06 pmWobei ich heutzutage eher in in Richtung golang tendiere (aber wir sind ja hier im R Forum...)
Ich plane nicht, in näherer Zukunft Webseiten oder Server zu programmieren. Aber ein allgemeinbildendes Interesse daran, wie gut die Infrastruktur für Statistik und Data Science in Go inzwischen ist, das hätte ich auch im R Forum. Go war ja schon mal Thema im off topic und über Julia ist hier ja auch schon geschrieben worden.

LG,
Bernhard

Re: Fehlende oder falsche Werte beim einlesen?

Verfasst: Mi Feb 23, 2022 2:09 pm
von schubbiaschwilli
Gude!
bigben hat geschrieben: Mi Feb 23, 2022 1:58 pm Aber ein allgemeinbildendes Interesse daran (...)
Wenn wir hier schon bei "Wünsch-dir-was" sind: R verwendet u.a. LIBSVM - Und ich hab' da eine Menge offener Punkte.

Dank&Gruß
Schubbiaschwilli