Entscheidungsbaum: Entropie bei 3 Klassen

Entscheidungsbäume, Random Forest, Support Vektor Maschinen, Neuronale Netze, ...

Moderator: consuli

Antworten
sblatt
Beiträge: 5
Registriert: Mo Sep 24, 2018 11:09 am

Entscheidungsbaum: Entropie bei 3 Klassen

Beitrag von sblatt » Mi Jan 16, 2019 11:41 pm

Hallo,

zur Generierung eines EB-Klassifizierers möchte ich kein Package, sondern den Log als Reinheitsmaß verwenden, um darüber "zu Fuß" über den Gain die besten Splits zu ermitteln.

Alle Bsp., die zumindest ich gesehen habe, rechnen das mit binären Bäumen vor und verwenden dabei den log2, der im binären Fall auf ein Max von 1,0 kommt. Wie könnte man denn bei 3 Klassen vorgehen: ebenfalls den log2 nehmen (auch wenn man damit dann auf höhere Werte als 1 kommt) oder könnte man auch den log3 verwenden. Ich habe das mal probiert. Bei diesem ergäbe sich bei einer gleichmäßig durchmischten Menge von 3 Klassen dann ebenfalls wieder auf einen normierten Max-Wert der Entropie von 1: -1*[(1/3)log3(1/3) + (1/3)log3(1/3) + (1/3)log3(1/3)] = 1. Oder ist das jetzt zu willkürlich?

Vielen Dank
S. B.

Benutzeravatar
EDi
Beiträge: 887
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Entscheidungsbaum: Entropie bei 3 Klassen

Beitrag von EDi » Do Jan 17, 2019 2:37 am

Was hat das mit R zu tun?
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.

consuli
Beiträge: 436
Registriert: Mo Okt 10, 2016 8:18 pm

Re: Entscheidungsbaum: Entropie bei 3 Klassen

Beitrag von consuli » Do Jan 17, 2019 12:50 pm

Außerdem ist die Frage nicht gut formuliert.

Bitte studiere zuerst die Richtlinien, wie man (insbesondere in diesem Forum) eine Frage gut formuliert, sodass Dir auch gut weitergeholfen werden kann.

MFG
"Sehet die Vögel unter dem Himmel an: sie säen nicht, sie ernten nicht, sie sammeln nicht in die Scheunen; und euer himmlischer Vater ernährt sie doch." (Matthäus 6, V. 26)

Antworten