Die Suche ergab 767 Treffer

von Athomas
Do Nov 09, 2023 11:30 am
Forum: Allgemeines zu R
Thema: Variablen in R script
Antworten: 4
Zugriffe: 324

Re: Variablen in R script

Sag doch einfach mal, was Du "im Großen" vorhast.
Wir (speziell ich :D ) sind müde, bei Ansätzen mitzuhelfen, die absehbar in die Irre führen...
von Athomas
Do Nov 09, 2023 8:44 am
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3224

Re: Import von csv Dateien in duckdb und R

Was ist denn aus Deiner Sicht der richtige Weg und das richtige Format, 1 Terabyte Messreihen zu verarbeiten? CSV wird es wohl nicht sein, oder? Dank "fread" würde ich nicht prinzipiell "Nein" zu CSV sagen - aber das ist sicherlich abhängig davon, was man machen möchte! Um den M...
von Athomas
Mi Nov 08, 2023 5:28 pm
Forum: Allgemeines zu R
Thema: DateTime Date Format
Antworten: 4
Zugriffe: 331

Re: DateTime Date Format

Gute Reflexe - er zeigt sie nicht an, aber er hat sie:

Code: Alles auswählen

a <- as.POSIXct("01/02/2022 22:03:13.151", format  ="%d/%m/%Y %H:%M:%OS")
as.numeric(a)%%1
von Athomas
Di Nov 07, 2023 6:10 pm
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3224

Re: Import von csv Dateien in duckdb und R

Ich habe mal (ohne Ahnung zu haben :| ) etwas gefrickelt, damit was zum Anfassen da ist. Der erste Teil brauch Dich nicht interessieren, der generiert nur Spielmaterial. Danach ist dann - vermute ich zumindest stark - eine gefüllte duckdb-Datenbank vorhanden... "Schnell" ist das aber auf k...
von Athomas
Di Nov 07, 2023 3:16 pm
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3224

Re: Import von csv Dateien in duckdb und R

Das Handbuch zu "duckdb" sagt:
duckdb_read_csv Reads a CSV file into DuckDB
Description
Directly reads a CSV file into DuckDB, tries to detect and create the correct schema for it. This
usually is much faster than reading the data into R and writing it to DuckDB.
von Athomas
Di Nov 07, 2023 12:02 pm
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3224

Re: Import von csv Dateien in duckdb und R

Ich habe ca. 200 Datensätze von die 5Gb, die ich unterschiedlich zu jeweils einer Datenbank zusammen führen werde Ich weiß nicht, ob wir das Gleiche unter "Datenbank" verstehen!? Jeweils 5GB oder zusammen 5GB? Wieviel RAM hast Du (frei)? Willst Du vorrangig das Handling von Datenbanken üb...
von Athomas
Di Nov 07, 2023 10:21 am
Forum: R und Schnittstellen...
Thema: Import von csv Dateien in duckdb und R
Antworten: 23
Zugriffe: 3224

Re: Import von csv Dateien in duckdb und R

Im ersten Schritt möchte ich die Daten TEST-2022 in die Datenbank duckdb laden.
Wenn ich Dich richtig verstehe (und ein wenig vermute) hast Du eine große Menge gleich strukturierter (?) csv-Dateien, die Du irgendwie in R auswertbar machen möchtest!?

Warum dann der Umweg über eine Datenbank?
von Athomas
Fr Okt 27, 2023 10:58 am
Forum: Allgemeines zu R
Thema: Leeren data.frame als element in Liste schreiben.
Antworten: 1
Zugriffe: 572

Re: Leeren data.frame als element in Liste schreiben.

Ohne Deine Frage komplett verstanden zu haben, habe ich Google mit dem naheliegenden Suchstring "r empty data.frame" gefüttert und jede Menge Vorschläge bekommen. Gleich der erste https://sparkbyexamples.com/r-programming/r-create-an-empty-dataframe/ zeigt diverse Varianten auf, wobei ich ...
von Athomas
Mi Okt 25, 2023 5:28 pm
Forum: Allgemeines zu R
Thema: Einen Paneldatensatz erstellen
Antworten: 10
Zugriffe: 645

Re: Einen Paneldatensatz erstellen

Der Hinweis ist berechtigt, aber zumindest die von mir verwendeten (von kosa vorgegebenen) Beispielsdaten erfüllen seine Voraussetzung (the formula doesn't identify a single observation for each cell) nicht - für jeden Teilnehmer und jeden Zeitpunkt gibt es höchstens einen Eintrag - was man ja auch ...
von Athomas
Mi Okt 25, 2023 3:23 pm
Forum: Allgemeines zu R
Thema: Einen Paneldatensatz erstellen
Antworten: 10
Zugriffe: 645

Re: Einen Paneldatensatz erstellen

Ich bitte zu bedenken, dass mein "dcast" die wunderbare Funktion aus dem ebenfalls wunderbaren Package :D "data.table" ist - und nicht das aus "reshape2", auf das sich der verlinkte Artikel bezieht!