Die Suche ergab 768 Treffer

von Athomas
Mi Nov 15, 2023 4:13 pm
Forum: Off Topic
Thema: Von UTF-16LE nach UTF-8 convertieren
Antworten: 16
Zugriffe: 1433

Re: Von UTF-16LE nach UTF-8 convertieren

Meine naive Vermutung war, dass der Plattenzugriff und nicht die Anzahl der Kerne/Threads der Flaschenhals ist. Aber auch das Einlesen von Daten profitiert (erheblich) von einer größeren Anzahl von Kernen - die vielen Daten, die von der SSD kommen, müssen ja auch verwurstelt werden... Ich habe prak...
von Athomas
Mi Nov 15, 2023 1:28 pm
Forum: Off Topic
Thema: Von UTF-16LE nach UTF-8 convertieren
Antworten: 16
Zugriffe: 1433

Re: Von UTF-16LE nach UTF-8 convertieren

mich würde aus Neugierde mal interessieren, wie lange so eine Umkodierung für eine 200GB-Datei in etwa dauert. Ist das lustig oder erschreckend - ich wollte genau diese Frage auch stellen :D ! @Aaron: Auf was für einer Maschine rechnest Du: Prozessor(en)/"Festplatte"? Ich hatte mit DuckDB...
von Athomas
Di Nov 14, 2023 11:33 pm
Forum: Off Topic
Thema: Von UTF-16LE nach UTF-8 convertieren
Antworten: 16
Zugriffe: 1433

Re: Von UTF-16LE nach UTF-8 convertieren

Es ist nicht UTF-16LE, sondern UTF-16BE und es heißt im Konvertierungsbefehl wohl nicht "utf8" sondern "UTF-8":

Code: Alles auswählen

iconv -f UTF-16BE -t UTF-8 5.csv > 5a.csv
Bevor sich jemand wundert: wir haben inzwischen R verlassen...
von Athomas
Di Nov 14, 2023 7:26 pm
Forum: Off Topic
Thema: Von UTF-16LE nach UTF-8 convertieren
Antworten: 16
Zugriffe: 1433

Re: Von UTF-16LE nach UTF-8 convertieren

die csv files, welche wahrscheinlich UTF-16LE sind
Was lässt Dich das glauben?
von Athomas
So Nov 12, 2023 1:07 pm
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3298

Re: Import von csv Dateien in duckdb und R

Ich habe zu dem Thema einen recht interessanten Artikel gefunden: https://bwlewis.github.io/duckdb_and_r/taxi/taxi.html Der Autor verwendet unter anderem einen Ansatz mit data.table und fst und bezeichnet das, was ich noch etwas schwammig als "einfache Probleme" bezeichnet habe, als "...
von Athomas
Sa Nov 11, 2023 7:39 pm
Forum: Allgemeines zu R
Thema: Berechnungen mit Daten aus duckdb
Antworten: 11
Zugriffe: 671

Re: Berechnungen mit Daten aus duckdb

Die Hilfe zu "dbWriteTable" ist doch recht eindeutig - Du weißt, wie man die in RStudio benutzt? Usage dbWriteTable(conn, name, value, ...) Arguments - conn A DBIConnection object, as returned by dbConnect(). - name The table name, passed on to dbQuoteIdentifier(). Options are: - a charact...
von Athomas
Sa Nov 11, 2023 1:31 pm
Forum: Allgemeines zu R
Thema: Berechnungen mit Daten aus duckdb
Antworten: 11
Zugriffe: 671

Re: Berechnungen mit Daten aus duckdb

Kleiner Hinweis, der für Dich interessant sein könnte: bei meinen Recherchen zum Thema "DuckDB" habe ich gesehen, dass es recht einfach möglich ist, alle (z.B.) csv-Dateien aus einem Verzeichnis nach DuckDB zu laden: -- read all files with a name ending in ".csv" in the folder &q...
von Athomas
Fr Nov 10, 2023 2:49 pm
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3298

Re: Import von csv Dateien in duckdb und R

...und wegen meiner Vermutungen in Bezug auf die Performance von duckdb muss ich Abbitte leisten : das scheint ja eine echte Rakete zu sein! Man sollte sich halt zu nichts äußern, von dem man keine Ahnung hat :roll:... Endgültig angefixt hat mich dieser Artikel: https://duckdb.org/2021/12/03/duck-ar...
von Athomas
Fr Nov 10, 2023 10:34 am
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3298

Re: Import von csv Dateien in duckdb und R

Ich habe mir den Thread (und verwandte :) ) nochmal komplett angeguckt und möchte klarstellen: wenn die Einrichtung und das Handling einer Datenbank sowie die Performance kein Problem darstellen, ist ihre Verwendung hier sicherlich der bessere Weg. Meine Vorschläge sind als "Notlösung" bei...
von Athomas
Do Nov 09, 2023 4:08 pm
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3298

Re: Import von csv Dateien in duckdb und R

Ich weiß, dass Du ein großer Fan von fread bist aber ich weiß nicht, wie fread sich verhält, wenn die Daten gar nicht mehr in den RAM passen. Dann geht gar nichts mehr, die Daten für data.table müssen schon (locker) in den RAM passen. Deshalb habe ich ja auch die portionsweise Verarbeitung angeregt...