Seite 1 von 1

Entscheidungsbaum: Entropie bei 3 Klassen

Verfasst: Mi Jan 16, 2019 11:41 pm
von sblatt
Hallo,

zur Generierung eines EB-Klassifizierers möchte ich kein Package, sondern den Log als Reinheitsmaß verwenden, um darüber "zu Fuß" über den Gain die besten Splits zu ermitteln.

Alle Bsp., die zumindest ich gesehen habe, rechnen das mit binären Bäumen vor und verwenden dabei den log2, der im binären Fall auf ein Max von 1,0 kommt. Wie könnte man denn bei 3 Klassen vorgehen: ebenfalls den log2 nehmen (auch wenn man damit dann auf höhere Werte als 1 kommt) oder könnte man auch den log3 verwenden. Ich habe das mal probiert. Bei diesem ergäbe sich bei einer gleichmäßig durchmischten Menge von 3 Klassen dann ebenfalls wieder auf einen normierten Max-Wert der Entropie von 1: -1*[(1/3)log3(1/3) + (1/3)log3(1/3) + (1/3)log3(1/3)] = 1. Oder ist das jetzt zu willkürlich?

Vielen Dank
S. B.

Re: Entscheidungsbaum: Entropie bei 3 Klassen

Verfasst: Do Jan 17, 2019 2:37 am
von EDi
Was hat das mit R zu tun?

Re: Entscheidungsbaum: Entropie bei 3 Klassen

Verfasst: Do Jan 17, 2019 12:50 pm
von consuli
Außerdem ist die Frage nicht gut formuliert.

Bitte studiere zuerst die Richtlinien, wie man (insbesondere in diesem Forum) eine Frage gut formuliert, sodass Dir auch gut weitergeholfen werden kann.

MFG