Reinforcment Learning Praxisanwendung

Entscheidungsbäume, Random Forest, Support Vektor Maschinen, Neuronale Netze, ...

Moderator: consuli

Antworten
lulu123
Beiträge: 3
Registriert: Mo Apr 08, 2019 6:59 pm

Reinforcment Learning Praxisanwendung

Beitrag von lulu123 » Mi Apr 10, 2019 10:01 pm

Hallo liebe Mitglieder,

aus der Praxis habe ich eine Anwendung bei der ich mir gut vorstellen könnte, dass sie mit RL gelöst werden kann.
Und zwar geht es um ein Werkstück das mit einem Laser bearbeitet wird. Ziel dieser Bearbeitung ist es durch Abtragung von Material eine gewünschte Eigenschwingung des Werkstückes zu erreichen. Das heisst das Werkstück soll am Ende mit einer Sollfrequenz schwingen. Man startet mit einer niedrigeren Frequenz als die Sollfrequenz und durch Laserschüsse nähert man sich der Endfrequenz. Trägt man jedoch zu viel ab ist die Sollfrequenz überschritten und das Werkstück ist unbrauchbar. Man kann die Frequenz sogar messen. Das Problem dabei ist jedoch, dass diese Messung zeitaufwändig ist. Daher möchte man mit so wenig Messungen wie möglich auskommen.
Ich habe mir das so vorgestellt, dass die Aktionen des Agenten sind:
  • Eine Anzahl Schüsse schiessen
  • Messen
Ich würde keine Belohnung vorsehen, sondern nur Bestrafungen. Ein Überschiessen des Werkstoffs würde ich mit -10 bestrafen und eine Messung mit -1. Damit wäre das Ziel des Agenten die Endfrequenz mit möglichst wenig Messungen zu erreichen.
Was meint ihr dazu?
Wie könnte so neuronales Netz als Agentenpolicy aussehen?
Freue mich auf eure Ideen!

Athomas
Beiträge: 162
Registriert: Mo Feb 26, 2018 8:19 pm

Re: Reinforcment Learning Praxisanwendung

Beitrag von Athomas » Do Apr 11, 2019 8:20 am

Ich würde keine Belohnung vorsehen, sondern nur Bestrafungen.
Richtig so, nur so wird er später mal ein anständiger Agent!

Was hat das mit R zu tun?
Statistik ist das Fahrrad der Bedächtigen! (Eugene Fullstack, 1955)

bigben
Beiträge: 833
Registriert: Mi Okt 12, 2016 9:09 am

Re: Reinforcment Learning Praxisanwendung

Beitrag von bigben » Do Apr 11, 2019 8:55 am

Hallo lulu123,

neuronale Netzwerke gehören zum überwachten Maschinenlernen. Du brauchst dafür einen haufen Daten, wie oder wie oft geschossen wurde und welche Veränderungen das an der Eigenfrequenz verursacht hat. Mir ist unklar, welche Einflussfaktoren variiert werden können (unabhängige Variablen: Zahl der Schüsse, Leistung beim Schuss, Dauer des Schusses, Ort des Schießens, bisherige Frequenz, Abstand bisherige Frequenz zur Sollfrequenz,... ?)). Vor allem ist mir aber unklar, wie diese Daten generiert werden sollen. Kannst Du das in einem Computermodell simulieren, oder bist Du bereit, hunderte oder tausende Werkstücke mit verschiedenen Lasereinstellungen zu beschießen, um Daten für so ein Netz zu generieren?

LG,
Bernhard
---
Programmiere stets so, dass die Maxime Deines Programmierstils Grundlage allgemeiner Gesetzgebung sein könnte

lulu123
Beiträge: 3
Registriert: Mo Apr 08, 2019 6:59 pm

Re: Reinforcment Learning Praxisanwendung

Beitrag von lulu123 » Do Apr 11, 2019 5:05 pm

Hi Bernhard,

danke für die schnelle Antwort. Zunächst würde ich das Netz in der Simulation lernen lassen und dann könnte man es tatsächlich mit realen Werkstücken weiterlernen lassen.
Für die Ausgänge konnte man die Anzahl und Leistung der Schüsse nehmen. Wie du sagst wäre auch eine Variation der Position oder Abstand zwischen 2 Schüssen möglich. Als Eingänge würde die Istfrequenz dienen, die bei der Aktion Messen ermittelt wird.
Wie könnte ein möglicher Algorithmus aussehen? Passt für so eine Anwendung das Deep Q-Learning überhaupt? Wenn ja was wie sehen Input und Hidden Layer aus?

Benutzeravatar
EDi
Beiträge: 782
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Reinforcment Learning Praxisanwendung

Beitrag von EDi » Do Apr 11, 2019 6:50 pm

Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.

lulu123
Beiträge: 3
Registriert: Mo Apr 08, 2019 6:59 pm

Re: Reinforcment Learning Praxisanwendung

Beitrag von lulu123 » Do Apr 11, 2019 9:32 pm

Probiert habe ich noch nichts. Wie gesagt momentan versuche ich erst zu verstehen, welchen Algorithmus man anwenden könnte um die Aufgabe zu lösen. Das Ziel ist es, dass der Agent über die Zeit das Optimum lernt und so die Produktionsdauer reduziert.

Benutzeravatar
EDi
Beiträge: 782
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Reinforcment Learning Praxisanwendung

Beitrag von EDi » Do Apr 11, 2019 10:06 pm

Probiert habe ich noch nichts. Wie gesagt momentan versuche ich erst zu verstehen, welchen Algorithmus man anwenden könnte um die Aufgabe zu lösen. Das Ziel ist es, dass der Agent über die Zeit das Optimum lernt und so die Produktionsdauer reduziert.
Was hat das dann mit R zu tun?
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.

jogo
Beiträge: 1190
Registriert: Fr Okt 07, 2016 8:25 am

Re: Reinforcment Learning Praxisanwendung

Beitrag von jogo » Fr Apr 12, 2019 8:46 am

Hallo Lulu,

willkommen im Forum!
Wie Du jetzt selbst bestätigt hast, hat Deine Frage (eventuell noch) recht wenig mit R zu tun.
- Aber dies ist nun mal ein R-Forum.
Da bleibt uns nur übrig, auf allgemeine Informationen zu verweisen wie z.B. die TaskViews im CRAN:
https://cran.r-project.org/web/views/
und dort speziell auf dieses:
https://cran.r-project.org/web/views/Ma ... rning.html

Gruß, Jörg

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast