Entscheidungsbaum: Entropie bei 3 Klassen

Entscheidungsbäume, Random Forest, Support Vektor Maschinen, Neuronale Netze, ...

Moderator: consuli

Antworten
sblatt
Beiträge: 5
Registriert: Mo Sep 24, 2018 11:09 am

Entscheidungsbaum: Entropie bei 3 Klassen

Beitrag von sblatt »

Hallo,

zur Generierung eines EB-Klassifizierers möchte ich kein Package, sondern den Log als Reinheitsmaß verwenden, um darüber "zu Fuß" über den Gain die besten Splits zu ermitteln.

Alle Bsp., die zumindest ich gesehen habe, rechnen das mit binären Bäumen vor und verwenden dabei den log2, der im binären Fall auf ein Max von 1,0 kommt. Wie könnte man denn bei 3 Klassen vorgehen: ebenfalls den log2 nehmen (auch wenn man damit dann auf höhere Werte als 1 kommt) oder könnte man auch den log3 verwenden. Ich habe das mal probiert. Bei diesem ergäbe sich bei einer gleichmäßig durchmischten Menge von 3 Klassen dann ebenfalls wieder auf einen normierten Max-Wert der Entropie von 1: -1*[(1/3)log3(1/3) + (1/3)log3(1/3) + (1/3)log3(1/3)] = 1. Oder ist das jetzt zu willkürlich?

Vielen Dank
S. B.
Benutzeravatar
EDi
Beiträge: 1599
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Entscheidungsbaum: Entropie bei 3 Klassen

Beitrag von EDi »

Was hat das mit R zu tun?
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.
consuli
Beiträge: 479
Registriert: Mo Okt 10, 2016 8:18 pm

Re: Entscheidungsbaum: Entropie bei 3 Klassen

Beitrag von consuli »

Außerdem ist die Frage nicht gut formuliert.

Bitte studiere zuerst die Richtlinien, wie man (insbesondere in diesem Forum) eine Frage gut formuliert, sodass Dir auch gut weitergeholfen werden kann.

MFG
Irmgard.
Antworten