Seite 1 von 1

Anbindung von R an Microsoft HPC

Verfasst: Mi Jul 22, 2020 7:03 pm
von OriginaleNichtskoenn
Ich habe ein ziemlich zeit- und arbeitspeicheraufwendiges R-Skript, das bereits durch Parallelisierung mithilfe des foreach-Packages auf den Kernen meines Laptops beschleunigt wird. Jetzt möchte ich die Laufzeit weiter verbessern durch die Anbindung an Microsoft HPC. Dort habe ich Zugriff auf einige mit ausreichend Arbeitsspeicher ausgestattete Rechenkerne.

Nun frage ich mich, wie kann ich R an Microsoft HPC anbinden, sodass die R-Berechnungen auf den HPC-Kernen parallelisiert werden und nicht weiterhin auf meinem Laptop?

Durch Google habe ich bisher hauptsächlich Infos dazu gefunden, wie man sich mit diversen Universitätsclustern verbinden kann, aber nichts Hilfreiches dazu, wie ich R allgemein an mein eigenes HPC Cluster anbinden kann.

Ich nutze R Version 3.6.0 mit RStudio Version 1.2.1335. Außerdem habe ich Microsoft HPC Pack 2016.

Vielen Dank für eure Hilfe!

Re: Anbindung von R an Microsoft HPC

Verfasst: Do Jul 23, 2020 7:09 pm
von Athomas
So, jetzt habe ich eine Anstandsfrist von 24 Stunden verstreichen lassen - weil ich zu Deiner eigentlichen Frage nichts beitragen kann :( und evtl. Kundigen den Vortritt lassen wollte!

Was ich aber sagen kann ist, dass gerade Anfänger (in R, nicht in der Programmierung allgemein!) häufig ungeeignete Hilfsmittel benutzen oder die unter dem Blickwinkel der Performance "richtigen" Mittel falsch einsetzen.

Wenn Du über Deine Anwendungen etwas 'rauslassen würdest, könnten wir darüber reden...

Re: Anbindung von R an Microsoft HPC

Verfasst: Mi Jul 29, 2020 3:56 pm
von OriginaleNichtskoenn
Um meine rechenaufwändige Anwendung zu beschleunigen, teile ich meinen Datensatz in verschiedene Teildatensätze auf. Diese werden mittels einer foreach-Schleife voneinander getrennt parallel auf den Kernen meines Laptops bearbeitet. Diese Parallelisierung möchte ich nun nicht auf den Kernen meines Laptops, sondern auf den leistungsfähigeren Kernen des HPC Clusters durchführen.

Ich hoffe, damit ist klar, was ich erreichen möchte :-)

Re: Anbindung von R an Microsoft HPC

Verfasst: Mi Jul 29, 2020 4:08 pm
von bigben
Hi!

Was Du erreichen möchtest ist auf diesem Abstraktionslevel schon klar -- es sieht nur derzeit nicht so aus, als ob Dir jemand hier dabei helfen könnte. Nun gibt es in R tausend Möglichkeiten, Berechnungen ineffizienter oder effizienter zu machen und sehr oft lassen sich mit optimiertem Code viel beachtlichere Geschwindigkeitssteigerungen erreichen als durch eine Vervierfachung der Kerne. Athomas ist sehr gut darin, große Datenmengen in R effizient zu verwalten und ich verstehe das als Angebot, sich mit Deiner Implementierung des Problems detailliert zu befassen und Optimierungspotenzial zu suchen. Natürlich geht das nicht, wenn Du keine Details zu Deinem Code öffentlich machen kannst oder möchtest. Um zu sehen, wo R unnötige Kopien von Daten macht etc. muss man schon schnell auf das Niveau der einzelnen Programmzeile hinunter.

LG,
Bernhard

Re: Anbindung von R an Microsoft HPC

Verfasst: Sa Aug 01, 2020 7:14 pm
von EDi
Ich benutze für sowas batchtools zusammen mit furrr.