gz-Datei mit iotools einlesen

Wie erweitere ich R um eigene Funktionen oder Pakete? Welches Paket ist passend für meine Fragestellung?

Moderatoren: EDi, jogo

Antworten
Lauji

gz-Datei mit iotools einlesen

Beitrag von Lauji »

Hallo zusammen,

kennt sich jemand mit dem Paket iotools aus?
Ich suche eine Möglichkeit gezippte Dateien direkt einzulesen. Es handelt sich um eine sehr große Datei mit fixem Format.
Für den Datentransfer wird immer alles gezipped.
Mit read.table gibt es die Möglichkeit, direkt gezippte Dateien einzulesen.

Gibt es so etwas auch für iotools?

Viele Grüße
Lauji
jogo
Beiträge: 2085
Registriert: Fr Okt 07, 2016 8:25 am

Re: gz-Datei mit iotools einlesen

Beitrag von jogo »

Hallo Lauji,

willkommen im Forum. Laut Dokumentation kann read.fwf() bei dem Parameter file= eine connection annehmen (genau wie bei read.table()), dort z.B. auch gzfile()
Wie soll das Ganze am Ende aussehen? Kannst Du Beispieldaten liefern?

Gruß, Jörg
p.s.: hier noch ein Link: http://stackoverflow.com/questions/1872 ... ixed-width
Lauji

Re: gz-Datei mit iotools einlesen

Beitrag von Lauji »

Hallo Jörg,

die Datei ist leider sehr groß und das Einlesen mit read.fwf() dauert ewig. Daher bin ich auf das Paket iotools gestoßen und lese nun mit input.file() ein.
Versuche ich gzfile() allerdings dort, bekomme ich folgende Fehlermeldung:
'file_name' must be a character string to a file path.

Trotzdem danke für die Antwort. Ich werde mal weiter recherchieren :-)

Gruß,
Lauji
Benutzeravatar
student
Beiträge: 674
Registriert: Fr Okt 07, 2016 9:52 am

Re: gz-Datei mit iotools einlesen

Beitrag von student »

Hallo Lauji,

was hältst Du von dem ff-Paket? Mit diesem kannst große Dateien blockweise einlesen....
Viele Grüße,
Student
-----------------------------------------------------------------------------------------------------------------------
faes.de, Datenanalyse mit R & das Ad-Oculos-Projekt
Das Ad-Oculos-Projekt auf YouTube

Habe Mut, dich deines eigenen Verstandes zu bedienen! (Kant)
Benutzeravatar
EDi
Beiträge: 1599
Registriert: Sa Okt 08, 2016 3:39 pm

Re: gz-Datei mit iotools einlesen

Beitrag von EDi »

die Datei ist leider sehr groß und das Einlesen mit read.fwf() dauert ewig
Ich habe da mit readr::read_fwf() gute Erfahrungen gemacht - wesentlich schneller als read.fwf.
Vielleicht auch was für dich?
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.
Lauji

Re: gz-Datei mit iotools einlesen

Beitrag von Lauji »

Vielen Dank für die Tipps.
Ich werde mich mal in das Paket readr einlesen, das scheint ganz nützlich zu sein.
Antworten