Boostrap & Regression Tree (CART)

Entscheidungsbäume, Random Forest, Support Vektor Maschinen, Neuronale Netze, ...

Moderator: consuli

Antworten
Tereschen

Boostrap & Regression Tree (CART)

Beitrag von Tereschen »

Hallo zusammen,

da ich ein relativer R-und auch Machine Learning-Neuling bin, würde ich mich über Hilfe von Euch freuen.

Ich habe folgendes Problem:

Zuerst möchte ich die Daten (z.B.) 500x bootstrappen - with replacement.
Dann möchte ich für jedes boostrapped sample einen regression tree erzeugen, wobei dann der predicted value der Durchschnitt der predicated values jedes einzelnen regressions trees sein sollte.

Ziel wäre es ein R2 (explantory power, goodnes of fit) zu schätzen (Vergleich zwischen den Out-of-sample y-predictions und den echten y-Werten).

Über jede Hilfe wäre ich dankbar.

Grüße
Benutzeravatar
EDi
Beiträge: 1599
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Boostrap & Regression Tree (CART)

Beitrag von EDi »

Schau dir mal das caret paket an...
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.
Tereschen

Re: Boostrap & Regression Tree (CART)

Beitrag von Tereschen »

Hi EDi,

danke für den Tipp - das caret package hatte ich noch nicht auf dem Schirm, bisher hatte ich eher immer rpart und ipred im Fokus...

Grüße
bigben
Beiträge: 2771
Registriert: Mi Okt 12, 2016 9:09 am

Re: Boostrap & Regression Tree (CART)

Beitrag von bigben »

Hallo Tereschen,

in Deiner Frage bleibt völlig unklar, mit welchen Vorkenntnissen Du an die Sache heran gehst und wo Dein Problem steckt.
  • Etwas 500 Mal machen kann man in R mit for, mit replicate und wenn es um die Zeit geht, dann z. B. mit foreach
  • Ein Bootstrapsample kann man in R mit der Funktion sample ziehen
  • Du kannst einen Baum mit rpart mit und ohne caret berechnen. Ob caret für Dich ein Umweg oder ein Goldregen ist hängt wahrscheinlich davon ab, ob Du einmal eine spezifische Aufgabe lösen musst, oder ob Du Flexibilität brauchst und Dinge später nochmal ausbauen willst.
  • Ein R^2 wird in der Regel eben in-sample und nciht mit out-of-sample Daten berechnet. Das wäre durchaus ein eigener Schritt, der erstmal nichts mit R zu tun hat, dass Du Dich entscheidest, was Dein Qualitätskriterium sein soll.
Damit das Forum Dir helfen kannst, musst Du das Problem so weit eingrenzen, dass der jeweils nächste Schritt im Rahmen von Forumsposts beantwortet werden können. Es gibt große Fragen, über die schreibt man Bücher und kleine Fragen, deren Antworten in einen Forumspost passen. Was brauchst Du gerade?

LG,
Bernhard
---
Programmiere stets so, dass die Maxime Deines Programmierstils Grundlage allgemeiner Gesetzgebung sein könnte
Benutzeravatar
EDi
Beiträge: 1599
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Boostrap & Regression Tree (CART)

Beitrag von EDi »

Du kannst einen Baum mit rpart mit und ohne caret berechnen. Ob caret für Dich ein Umweg oder ein Goldregen ist hängt wahrscheinlich davon ab, ob Du einmal eine spezifische Aufgabe lösen musst, oder ob Du Flexibilität brauchst und Dinge später nochmal ausbauen willst.
Caret bringt auch bootstrap direkt mit, also nicht nur zum Bäume wachsen lassen.

Aus pädagogischer Sicht, ist allerdings der (längere) Weg über die for-Schleif sinnvoller.
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.
Antworten