Fehlende oder falsche Werte beim einlesen?

Alles zum Thema der beschreibenden Statistik

Moderator: jogo

Benutzeravatar
EDi
Beiträge: 1599
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Fehlende oder falsche Werte beim einlesen?

Beitrag von EDi »

Code: Alles auswählen

läuft auch einen Moment, ich müsste jetzt die Zeit stoppen, was schneller ist, 
Das:

Code: Alles auswählen

 data <- rbind(data, data.frame(x=data_csv[,i]))
in einer Schleife

wird bei großen Daten sehr langsam werden, dass alles kopiert werden muss. Und zwar bei jedem schleifendurchlauf und vermutlich sogar 2 mal.... https://adv-r.hadley.nz/names-values.ht ... -on-modify

Man könnte vorab ein leeres Object erstellen, aber unlist() ist bei dem beschriebenen Problem hier doch die sinnvollste Lösung [Wobei ich mich an die neue Pipe noch nicht gewöhnt habe...]
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.
schubbiaschwilli
Beiträge: 253
Registriert: Di Jun 27, 2017 12:09 pm

Re: Fehlende oder falsche Werte beim einlesen?

Beitrag von schubbiaschwilli »

Gude!

Das

Code: Alles auswählen

 data <- rbind(data, data.frame(x=data_csv[,i]))
und auch das Einlesen der Dateien war in diesem Fall schnell genug - Man macht das ja einmal, und wenn's mal ein paar Sekunden oder auch Minuten läuft, dann sehe ich das als vernachlässigbar an. Die meiste Zeit verbringt man ja auch nicht mit Tippen, sondern starrt auf Plots oder Werte, die man nicht versteht. Ist halt mehr Prototyping. Und in einem professionellen, produktiven(!) Umfeld (was ich so kenne) wird man R so auch nicht einsetzten.

Ich kann mich an eine Vorlesung erinnern (es ging um Data-Mining bzw. SVM), die hatten 'wir' Mathematiker zusammen mit ITlern aus dem Bereich Data-Science: Ich hab' ein Ergebnis präsentiert, und auch den Code gezeigt, und es kam tatsächlich die Bemerkung 'Aber anders geht es schneller' - Und der Typ hat sich dann wirklich hingesetzt, und die Zeiten verglichen und den Code analysiert und... Ich hatte das Ding programmiert, es abends gestartet und am nächsten Morgen war es fertig - Ich weiß nicht mal genau, wie lange das genau lief.

Dank&Gruß
Schubbiaschwilli
bigben
Beiträge: 2771
Registriert: Mi Okt 12, 2016 9:09 am

Re: Fehlende oder falsche Werte beim einlesen?

Beitrag von bigben »

Hi!

Ja, das kommt immer alles auf den Kontext an. Meine Studentin hat mir gestern stolz verkündet, dass wir nicht mehr 25 Patienten, wie in meiner letzten Zwischenauswertung, sondern inzwischen schon über 30 Patienten untersucht haben. ;) :oops: :P
EDi hat geschrieben:[Wobei ich mich an die neue Pipe noch nicht gewöhnt habe...]
Die macht ja auch kaum Sinn, wenn der tidyverse-Kundige dplyr ohnehin installiert und im Zweifelsfall auch "offen" hat.

LG,
Bernhard
---
Programmiere stets so, dass die Maxime Deines Programmierstils Grundlage allgemeiner Gesetzgebung sein könnte
Benutzeravatar
EDi
Beiträge: 1599
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Fehlende oder falsche Werte beim einlesen?

Beitrag von EDi »

Und in einem professionellen, produktiven(!) Umfeld (was ich so kenne) wird man R so auch nicht einsetzten.
Ich nutze R professionell und produktiv. Eine meiner produktiven R Anwendungen z.B. bekommt >500k (!) requests am Tag.

Wobei ich heutzutage eher in in Richtung golang tendiere (aber wir sind ja hier im R Forum...)
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.
schubbiaschwilli
Beiträge: 253
Registriert: Di Jun 27, 2017 12:09 pm

Re: Fehlende oder falsche Werte beim einlesen?

Beitrag von schubbiaschwilli »

Gude!

Hm, falsch Ausgedrückt: Zumindest die Dateiverarbeitung bzw. das Einlesen wird man so nicht umsetzen (also zumindest kenne ich es so nicht) - Entweder werden die Dateien automatisch in eine Datenbank eingelesen (dann gibt es aber einen entsprechenden Prozess) oder auf eine Plattform hochgeladen und im 4-Augen-Prinzip freigegeben. Gilt aber nicht für Ad-Hoc oder so.

Dank&Gruß
Schubbiaschwilli
bigben
Beiträge: 2771
Registriert: Mi Okt 12, 2016 9:09 am

Re: Fehlende oder falsche Werte beim einlesen?

Beitrag von bigben »

EDi hat geschrieben: Mi Feb 23, 2022 1:06 pmWobei ich heutzutage eher in in Richtung golang tendiere (aber wir sind ja hier im R Forum...)
Ich plane nicht, in näherer Zukunft Webseiten oder Server zu programmieren. Aber ein allgemeinbildendes Interesse daran, wie gut die Infrastruktur für Statistik und Data Science in Go inzwischen ist, das hätte ich auch im R Forum. Go war ja schon mal Thema im off topic und über Julia ist hier ja auch schon geschrieben worden.

LG,
Bernhard
---
Programmiere stets so, dass die Maxime Deines Programmierstils Grundlage allgemeiner Gesetzgebung sein könnte
schubbiaschwilli
Beiträge: 253
Registriert: Di Jun 27, 2017 12:09 pm

Re: Fehlende oder falsche Werte beim einlesen?

Beitrag von schubbiaschwilli »

Gude!
bigben hat geschrieben: Mi Feb 23, 2022 1:58 pm Aber ein allgemeinbildendes Interesse daran (...)
Wenn wir hier schon bei "Wünsch-dir-was" sind: R verwendet u.a. LIBSVM - Und ich hab' da eine Menge offener Punkte.

Dank&Gruß
Schubbiaschwilli
Antworten