R Parallelisierung mit OpenMP

[Schnickschnack]

Hallo zusammen,

ich bin mir nicht 100% sicher ob das Thema hier rein passt oder ob ich mich lieber an ein Linux Forum wenden sollte. Aber vielleicht gibt es ja hier den einen oder anderen der mit weiterhelfen kann.

Und zwar bin ich gerade dabei einen riesigen Datensatz zu modellieren inklusive random effects und covariance structures. Der Rechenaufwand ist enorm und brauch zumindest mit glmmTMB eine Ewigkeit. Dieses Paket unterstützt theoretisch auch Parallelisierung:

If your OS supports OpenMP parallelization and R was installed using OpenMP, glmmTMB will automatically pick up the OpenMP flags from R’s Makevars and compile the C++ model with OpenMP support.

Ich dachte es wäre eine gute Möglichkeit sich gleichzeitig mal mit Cloud Computing auseinander zu setzten und eine leistungsstarke virtueller Maschine zu erstellen. Das System läuft so weit mit Ubuntu 20.04 und hat Zugriff auf 16 Cores und 32GB Ram. Nun habe ich aber kein Plan wie ich R mit OpenMP installieren kann. Hierzu habe leider auch keine hilfreichen Informationen gefunden.

Hat vielleicht jemand eine Idee?

[EDi]

Hilf dir das weiter?

https://gist.github.com/mratsim/51d2694 ... b2641a1993

Ansonsten kann man noch was rausholen wenn man ein anderes BLAS nutzt (IntelMKl oder openblas ‐ beide zeigten bei meinen benchmarks Vorteile abhängig von was man rechnen will).

riesigen Datensatz zu modellieren inklusive random effects und covariance structures. Der Rechenaufwand ist enorm und brauch zumindest mit glmmTMB eine Ewigkeit.

Schau dir mal mgcv::bam an https://m-clark.github.io/posts/2019-10 ... large-data

mgcv ist eines meiner Lieblingspakete

[Schnickschnack]

Hilf dir das weiter?

https://gist.github.com/mratsim/51d2694 ... b2641a1993

Ansonsten kann man noch was rausholen wenn man ein anderes BLAS nutzt (IntelMKl oder openblas ‐ beide zeigten bei meinen benchmarks Vorteile abhängig von was man rechnen will).

Ehrlich gesagt nein. Ich habe mit Linux nicht viel zu tun und stehe hier total auf dem Schlauch. Basierend auf dem Zitat von oben bin ich davon ausgegangen R müsste auf eine spezielle Art installiert werden? Bei deinem Link geht es ja um das compilen von einzelnen R Packages?

Schau dir mal mgcv::bam an https://m-clark.github.io/posts/2019-10 ... large-data

mgcv ist eines meiner Lieblingspakete

Kurz angeguckt und könnte echt was sein. Schön das der model output auch von Dharma unterstützt wird. Mir ist noch nicht richtig klar wie spatial autocorrelation implementiert ist aber es scheint möglich zu sein.