Seite 1 von 1

Boostrap & Regression Tree (CART)

Verfasst: Sa Feb 17, 2018 11:29 am
von Tereschen
Hallo zusammen,

da ich ein relativer R-und auch Machine Learning-Neuling bin, würde ich mich über Hilfe von Euch freuen.

Ich habe folgendes Problem:

Zuerst möchte ich die Daten (z.B.) 500x bootstrappen - with replacement.
Dann möchte ich für jedes boostrapped sample einen regression tree erzeugen, wobei dann der predicted value der Durchschnitt der predicated values jedes einzelnen regressions trees sein sollte.

Ziel wäre es ein R2 (explantory power, goodnes of fit) zu schätzen (Vergleich zwischen den Out-of-sample y-predictions und den echten y-Werten).

Über jede Hilfe wäre ich dankbar.

Grüße

Re: Boostrap & Regression Tree (CART)

Verfasst: Sa Feb 17, 2018 7:43 pm
von EDi
Schau dir mal das caret paket an...

Re: Boostrap & Regression Tree (CART)

Verfasst: So Feb 18, 2018 9:57 am
von Tereschen
Hi EDi,

danke für den Tipp - das caret package hatte ich noch nicht auf dem Schirm, bisher hatte ich eher immer rpart und ipred im Fokus...

Grüße

Re: Boostrap & Regression Tree (CART)

Verfasst: So Feb 18, 2018 6:24 pm
von bigben
Hallo Tereschen,

in Deiner Frage bleibt völlig unklar, mit welchen Vorkenntnissen Du an die Sache heran gehst und wo Dein Problem steckt.
  • Etwas 500 Mal machen kann man in R mit for, mit replicate und wenn es um die Zeit geht, dann z. B. mit foreach
  • Ein Bootstrapsample kann man in R mit der Funktion sample ziehen
  • Du kannst einen Baum mit rpart mit und ohne caret berechnen. Ob caret für Dich ein Umweg oder ein Goldregen ist hängt wahrscheinlich davon ab, ob Du einmal eine spezifische Aufgabe lösen musst, oder ob Du Flexibilität brauchst und Dinge später nochmal ausbauen willst.
  • Ein R^2 wird in der Regel eben in-sample und nciht mit out-of-sample Daten berechnet. Das wäre durchaus ein eigener Schritt, der erstmal nichts mit R zu tun hat, dass Du Dich entscheidest, was Dein Qualitätskriterium sein soll.
Damit das Forum Dir helfen kannst, musst Du das Problem so weit eingrenzen, dass der jeweils nächste Schritt im Rahmen von Forumsposts beantwortet werden können. Es gibt große Fragen, über die schreibt man Bücher und kleine Fragen, deren Antworten in einen Forumspost passen. Was brauchst Du gerade?

LG,
Bernhard

Re: Boostrap & Regression Tree (CART)

Verfasst: So Feb 18, 2018 9:23 pm
von EDi
Du kannst einen Baum mit rpart mit und ohne caret berechnen. Ob caret für Dich ein Umweg oder ein Goldregen ist hängt wahrscheinlich davon ab, ob Du einmal eine spezifische Aufgabe lösen musst, oder ob Du Flexibilität brauchst und Dinge später nochmal ausbauen willst.
Caret bringt auch bootstrap direkt mit, also nicht nur zum Bäume wachsen lassen.

Aus pädagogischer Sicht, ist allerdings der (längere) Weg über die for-Schleif sinnvoller.