Gude!
Aktuell berechne ich einiges, und nutze dafür R, genauer MS R Open (MRO, 64 Bit). Leider hat mein Laptop nicht die entsprechende CPU-Leistung, und da ich mir für 'das bisschen' keine (für mich eigentlich überdimensionierte) Workstation hinstellen möchte, würde ich das ganze auf einer entsprechenden Workstation in einer Cloud machen wollen.
Im Prinzip mache ich nichts anderes, als mit der Methode der kleinsten Quadrate beobachtete Werte an ein Modell anzupassen. Das Modell ist eine Funktion mit mehreren Parametern, die es so zu bestimmen gilt, dass die Summe der Abstandsquadrate minimal wird. Das Problem ist natürlich schlecht gestellt (ill-posed problem), und die Funktionswerte selbst sind teilweise nur über Integrale Numerisch zu berechnen.
Prinzipiell benötige ich Gnu R/Microsoft R Open (und ein paar Pakete) und den zugehörigen ODBC-Treiber (32- oder 64 Bit), da die benötigten Daten bzw. die Aufgabenstellungen (die einzelnen Anpassungen) in einer Access-Datei vorliegen (.accdb - Jaja, aber sind für eine relationale DB nicht viele Datensätze) und in die Datenbank mit der Aufgabenstellung auch die Ergebnisse geschrieben werden. Access selbst benötige ich auf diesem Rechner nicht - Die Datenbank mit den Aufgabenstellungen bzw. Ergebnissen ist nicht sehr groß, die kann man schnell herunterladen, es geht wirklich nur um die Berechnung selber. Bei den Daten selbst ist Datenschutz usw. kein Thema.
Meine Frage ist nun, ob jemand Erfahrung mit Cloud-Lösungen gemacht hat und dies vielleicht gerade zufällig die passende Lösung für mein Problem ist.
Ich bin für Vorschläge, Meinungen usw. dankbar!
Dank & Gruß
schubbiaschwilli
Welche Cloudlösung?
Re: Welche Cloudlösung?
Mein Setup vor ~2.5 Jahren:
kleine aws machine (gabs umsonst als micro), docker mit rstudio und den benötigten Paketen aufsetzen (siehe rocker project) und dann hochskalieren wie man es braucht (dann kostest es $$$). Nachteil: man muss es selbst aufsetzen, ist aber wie man es braucht.
Gibt aber auch fertige Lösungen, als 1 click app, z.b. https://marketplace.digitalocean.com/apps/rstudio
kleine aws machine (gabs umsonst als micro), docker mit rstudio und den benötigten Paketen aufsetzen (siehe rocker project) und dann hochskalieren wie man es braucht (dann kostest es $$$). Nachteil: man muss es selbst aufsetzen, ist aber wie man es braucht.
Gibt aber auch fertige Lösungen, als 1 click app, z.b. https://marketplace.digitalocean.com/apps/rstudio
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.
Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
.
Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
.-
schubbiaschwilli
- Beiträge: 253
- Registriert: Di Jun 27, 2017 12:09 pm
Re: Welche Cloudlösung?
Gude!
Ich hab' jetzt auch mal eine AWS-Instance aufgesetzt (Windows Server), erst mal als t2.micro, also umsonst.
MRO installiert, dazu OBDC-Treiber für .accdb und 7zip (da ich meine Daten gezippt habe, lohnt sich m. E. beim Kopieren). Das ganze geht über Remote-Desktop, und darüber sind auch die Laufwerke meines PCs auf der virtuellen Maschine eingebunden, und die Pfade auf der virtuellen Maschine entsprechende meiner aufgesetzt. Dauert, aber wenn man das mal gemacht hat und Skripte usw. hat ist das sicher in <<1h gemacht. Der IE nervt aber.
Das alles läuft über Batch (der gleiche wie auf meinem PC, da gleiche Pfade) und die 1 GB RAM reichen aus, aktuell benötigt er zwischen 70 und 80 %. Über die Geschwindigkeit kann ich noch nichts sagen, muss mal schauen, was da geht.
Dank&Gruß
schubbiaschwilli
Ich hab' jetzt auch mal eine AWS-Instance aufgesetzt (Windows Server), erst mal als t2.micro, also umsonst.
MRO installiert, dazu OBDC-Treiber für .accdb und 7zip (da ich meine Daten gezippt habe, lohnt sich m. E. beim Kopieren). Das ganze geht über Remote-Desktop, und darüber sind auch die Laufwerke meines PCs auf der virtuellen Maschine eingebunden, und die Pfade auf der virtuellen Maschine entsprechende meiner aufgesetzt. Dauert, aber wenn man das mal gemacht hat und Skripte usw. hat ist das sicher in <<1h gemacht. Der IE nervt aber.
Das alles läuft über Batch (der gleiche wie auf meinem PC, da gleiche Pfade) und die 1 GB RAM reichen aus, aktuell benötigt er zwischen 70 und 80 %. Über die Geschwindigkeit kann ich noch nichts sagen, muss mal schauen, was da geht.
Dank&Gruß
schubbiaschwilli
-
schubbiaschwilli
- Beiträge: 253
- Registriert: Di Jun 27, 2017 12:09 pm
Re: Welche Cloudlösung?
Gude!
Da ich nun festgestellt habe, dass ich leider keine Umsonst-t2.micro-Maschine mehr bekomme (gilt nur begrenzt, und ich hatte mich aber vor Jahren schon bei AWS angemeldet), hab' ich mal gerechnet und überlegt.
Zwar kosten die kleinen Kisten nur ein paar Cent/h, aber bei ca. 700+h/Monat sind das dann doch 80€ (für t2.micro).
Ich habe meinen Kam so programmiert, dass die Sachen nicht an einem Stück laufen müssen bzw. das Ganze aus Teilaufgaben besteht (bzw. fast schon Brute Force ist), die ich fast beliebig unterbrechen und neu starten kann.
Und da ich wirklich nur CPU benötige, habe ich eine ältere Workstation mit Intel Xeon für weniger als 200 € in der Bucht geangelt, die gerade mal 8 GB RAM und 160 GB SDD hat. Die Rechenleistung (CPU) ist ca. die Hälfte des aktuellen Mittelklasse-Bauvorschlags aus der c't mit AMD Ryzen 5 3600 - Aber das halt für einen Bruchteil des Geldes. So wird das gute Stück noch verwendet, und ich komme billig an Rechenleistung, ohne einem neuen PC dabei zuzusehen, wie er wertlos (oder Schrott) wird. Und schneller als AWS-t2.micro ist das Ding auf jeden Fall.
Eine Alternative war auch, mir einen neuen Laptop zuzulegen - Aber meiner ist für die 'normale' Arbeit ausreichend, und einen Laptop mit der Rechenleistung der gebrauchten Workstation ist im Bereich 1.300+ € - wobei ich dem nicht traue, da die Kühlleistung für einen Dauerbetrieb in der Regel nicht ausgelegt ist, und ich auf klein und leicht stehe (maximal 14 Zoll).
Dank&Gruß
Kobe
Da ich nun festgestellt habe, dass ich leider keine Umsonst-t2.micro-Maschine mehr bekomme (gilt nur begrenzt, und ich hatte mich aber vor Jahren schon bei AWS angemeldet), hab' ich mal gerechnet und überlegt.
Zwar kosten die kleinen Kisten nur ein paar Cent/h, aber bei ca. 700+h/Monat sind das dann doch 80€ (für t2.micro).
Ich habe meinen Kam so programmiert, dass die Sachen nicht an einem Stück laufen müssen bzw. das Ganze aus Teilaufgaben besteht (bzw. fast schon Brute Force ist), die ich fast beliebig unterbrechen und neu starten kann.
Und da ich wirklich nur CPU benötige, habe ich eine ältere Workstation mit Intel Xeon für weniger als 200 € in der Bucht geangelt, die gerade mal 8 GB RAM und 160 GB SDD hat. Die Rechenleistung (CPU) ist ca. die Hälfte des aktuellen Mittelklasse-Bauvorschlags aus der c't mit AMD Ryzen 5 3600 - Aber das halt für einen Bruchteil des Geldes. So wird das gute Stück noch verwendet, und ich komme billig an Rechenleistung, ohne einem neuen PC dabei zuzusehen, wie er wertlos (oder Schrott) wird. Und schneller als AWS-t2.micro ist das Ding auf jeden Fall.
Eine Alternative war auch, mir einen neuen Laptop zuzulegen - Aber meiner ist für die 'normale' Arbeit ausreichend, und einen Laptop mit der Rechenleistung der gebrauchten Workstation ist im Bereich 1.300+ € - wobei ich dem nicht traue, da die Kühlleistung für einen Dauerbetrieb in der Regel nicht ausgelegt ist, und ich auf klein und leicht stehe (maximal 14 Zoll).
Dank&Gruß
Kobe
Re: Welche Cloudlösung?
Oho - das hört sich ja extrem gefährlich an!Das Problem ist natürlich schlecht gestellt (ill-posed problem), und die Funktionswerte selbst sind teilweise nur über Integrale Numerisch zu berechnen.
Du bist Dir sicher, dass die algorithmische Schiene ausgereizt ist und Du in die Hardware-Kiste greifen musst?
-
schubbiaschwilli
- Beiträge: 253
- Registriert: Di Jun 27, 2017 12:09 pm
Re: Welche Cloudlösung?
Gude!
Naja, ob mittels Mathematik noch was geht, kann man nicht beweisen, aber da man sich damit schon einige Zeit beschäftigt hat, gehe ich jetzt nicht davon aus, dass ich da jetzt Durchbrüche erziele. Ist halt ein inverses Problem. Und Gnu R schlägt sich da gar nicht so schlecht, da viel in LINPACK bzw. Fortran gemacht wird. Python nutzt übrigens auch LINPACK bzw. Fortran, und ist langsamer. Und alles auf C++ umbauen - Ist halt auch Aufwand. Und da sind die paar Eumel für Strom vernachlässigbar. Was ich überhaupt an CO2 spare, weil ich gebrauchte Hardware nutze bzw. meinen Laptop nicht austausche... Und da die Kiste unterm Schreibtisch steht, sind die Füße auch warm.
Übrigens findet sich im Wiki-Artikel genau mein Problem wieder (https://de.wikipedia.org/wiki/Inverses_Problem):
"6. Das Kalibrieren von Parametern finanzmathematischer Modelle über Marktpreise gehandelter derivativer Instrumente (Swaptions, Caps, Floors etc.) ist ebenfalls ein inverses Problem."
Dank&Gruß
schubbiaschwilli
Naja, ob mittels Mathematik noch was geht, kann man nicht beweisen, aber da man sich damit schon einige Zeit beschäftigt hat, gehe ich jetzt nicht davon aus, dass ich da jetzt Durchbrüche erziele. Ist halt ein inverses Problem. Und Gnu R schlägt sich da gar nicht so schlecht, da viel in LINPACK bzw. Fortran gemacht wird. Python nutzt übrigens auch LINPACK bzw. Fortran, und ist langsamer. Und alles auf C++ umbauen - Ist halt auch Aufwand. Und da sind die paar Eumel für Strom vernachlässigbar. Was ich überhaupt an CO2 spare, weil ich gebrauchte Hardware nutze bzw. meinen Laptop nicht austausche... Und da die Kiste unterm Schreibtisch steht, sind die Füße auch warm.
Übrigens findet sich im Wiki-Artikel genau mein Problem wieder (https://de.wikipedia.org/wiki/Inverses_Problem):
"6. Das Kalibrieren von Parametern finanzmathematischer Modelle über Marktpreise gehandelter derivativer Instrumente (Swaptions, Caps, Floors etc.) ist ebenfalls ein inverses Problem."
Dank&Gruß
schubbiaschwilli