Die Suche ergab 768 Treffer
- Mi Nov 15, 2023 4:13 pm
- Forum: Off Topic
- Thema: Von UTF-16LE nach UTF-8 convertieren
- Antworten: 16
- Zugriffe: 2581
Re: Von UTF-16LE nach UTF-8 convertieren
Meine naive Vermutung war, dass der Plattenzugriff und nicht die Anzahl der Kerne/Threads der Flaschenhals ist. Aber auch das Einlesen von Daten profitiert (erheblich) von einer größeren Anzahl von Kernen - die vielen Daten, die von der SSD kommen, müssen ja auch verwurstelt werden... Ich habe prak...
- Mi Nov 15, 2023 1:28 pm
- Forum: Off Topic
- Thema: Von UTF-16LE nach UTF-8 convertieren
- Antworten: 16
- Zugriffe: 2581
Re: Von UTF-16LE nach UTF-8 convertieren
mich würde aus Neugierde mal interessieren, wie lange so eine Umkodierung für eine 200GB-Datei in etwa dauert. Ist das lustig oder erschreckend - ich wollte genau diese Frage auch stellen :D ! @Aaron: Auf was für einer Maschine rechnest Du: Prozessor(en)/"Festplatte"? Ich hatte mit DuckDB...
- Di Nov 14, 2023 11:33 pm
- Forum: Off Topic
- Thema: Von UTF-16LE nach UTF-8 convertieren
- Antworten: 16
- Zugriffe: 2581
Re: Von UTF-16LE nach UTF-8 convertieren
Es ist nicht UTF-16LE, sondern UTF-16BE und es heißt im Konvertierungsbefehl wohl nicht "utf8" sondern "UTF-8":
Bevor sich jemand wundert: wir haben inzwischen R verlassen...
Code: Alles auswählen
iconv -f UTF-16BE -t UTF-8 5.csv > 5a.csv
- Di Nov 14, 2023 7:26 pm
- Forum: Off Topic
- Thema: Von UTF-16LE nach UTF-8 convertieren
- Antworten: 16
- Zugriffe: 2581
Re: Von UTF-16LE nach UTF-8 convertieren
Was lässt Dich das glauben?die csv files, welche wahrscheinlich UTF-16LE sind
- So Nov 12, 2023 1:07 pm
- Forum: R und Schnittstellen...
- Thema: Import von csv Dateien in duckdb und R
- Antworten: 23
- Zugriffe: 4783
Re: Import von csv Dateien in duckdb und R
Ich habe zu dem Thema einen recht interessanten Artikel gefunden: https://bwlewis.github.io/duckdb_and_r/taxi/taxi.html Der Autor verwendet unter anderem einen Ansatz mit data.table und fst und bezeichnet das, was ich noch etwas schwammig als "einfache Probleme" bezeichnet habe, als "...
- Sa Nov 11, 2023 7:39 pm
- Forum: Allgemeines zu R
- Thema: Berechnungen mit Daten aus duckdb
- Antworten: 11
- Zugriffe: 1711
Re: Berechnungen mit Daten aus duckdb
Die Hilfe zu "dbWriteTable" ist doch recht eindeutig - Du weißt, wie man die in RStudio benutzt? Usage dbWriteTable(conn, name, value, ...) Arguments - conn A DBIConnection object, as returned by dbConnect(). - name The table name, passed on to dbQuoteIdentifier(). Options are: - a charact...
- Sa Nov 11, 2023 1:31 pm
- Forum: Allgemeines zu R
- Thema: Berechnungen mit Daten aus duckdb
- Antworten: 11
- Zugriffe: 1711
Re: Berechnungen mit Daten aus duckdb
Kleiner Hinweis, der für Dich interessant sein könnte: bei meinen Recherchen zum Thema "DuckDB" habe ich gesehen, dass es recht einfach möglich ist, alle (z.B.) csv-Dateien aus einem Verzeichnis nach DuckDB zu laden: -- read all files with a name ending in ".csv" in the folder &q...
- Fr Nov 10, 2023 2:49 pm
- Forum: R und Schnittstellen...
- Thema: Import von csv Dateien in duckdb und R
- Antworten: 23
- Zugriffe: 4783
Re: Import von csv Dateien in duckdb und R
...und wegen meiner Vermutungen in Bezug auf die Performance von duckdb muss ich Abbitte leisten : das scheint ja eine echte Rakete zu sein! Man sollte sich halt zu nichts äußern, von dem man keine Ahnung hat :roll:... Endgültig angefixt hat mich dieser Artikel: https://duckdb.org/2021/12/03/duck-ar...
- Fr Nov 10, 2023 10:34 am
- Forum: R und Schnittstellen...
- Thema: Import von csv Dateien in duckdb und R
- Antworten: 23
- Zugriffe: 4783
Re: Import von csv Dateien in duckdb und R
Ich habe mir den Thread (und verwandte :) ) nochmal komplett angeguckt und möchte klarstellen: wenn die Einrichtung und das Handling einer Datenbank sowie die Performance kein Problem darstellen, ist ihre Verwendung hier sicherlich der bessere Weg. Meine Vorschläge sind als "Notlösung" bei...
- Do Nov 09, 2023 4:08 pm
- Forum: R und Schnittstellen...
- Thema: Import von csv Dateien in duckdb und R
- Antworten: 23
- Zugriffe: 4783
Re: Import von csv Dateien in duckdb und R
Ich weiß, dass Du ein großer Fan von fread bist aber ich weiß nicht, wie fread sich verhält, wenn die Daten gar nicht mehr in den RAM passen. Dann geht gar nichts mehr, die Daten für data.table müssen schon (locker) in den RAM passen. Deshalb habe ich ja auch die portionsweise Verarbeitung angeregt...