Kovarianzanalyse sinnvoll?

[ninabionda]

Hallo zusammen,

ich hänge gedanklich an einer Frage zur Anwendung von Kovarianzanalysen fest, bei der mir vielleicht jemand von euch weiterhelfen kann.

Meine Daten stammen aus einer experimentellen Studie, in der zum Prätest die Häufigkeit von bestimmten Aktivitäten erfragt wurde ("Akt"), die Teilnehmenden dann 4 unterschiedlichen Interventionsgruppen mit unterschiedlichen Treatments zugeordnet wurden und dann im Posttest erneut die Häufigkeit der Aktivitäten erfragt wurde ("P_Akt").

Mich interessieren nun die Gruppenunterschiede bzgl. der Anzahl der Aktivitäten zum Posttest. Dabei will ich berücksichtigen, dass die Individuen in den Gruppen sich ja evtl. schon vor dem Treatment (im Prätest) in der Anzahl der Aktivitäten unterschieden haben und nehme deswegen "Aktivitäten" als Kovariate in das Modell auf.

Code:

Code: Alles auswählen

ANCOVA_Aktivitäten <- lm(P_Aktivitäten ~ f.Gruppe + Aktivitäten, data=FKFragebogen.fin)

Output:

Code: Alles auswählen

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   2.1098     0.5071   4.161 0.000117 ***
f.Gruppe2    -0.5084     0.2479  -2.051 0.045261 *  
f.Gruppe3    -0.3497     0.3040  -1.151 0.255072    
f.Gruppe4    -0.7370     0.3011  -2.447 0.017740 *  
Aktivitäten   0.6379     0.1200   5.315 2.17e-06 ***

Wenn ich das richtig interpretiere, zeigen sich signifikante Unterschiede zwischen der Referenzgruppe (Gruppe 1) und Gruppe 2 sowie der Referenzgruppe und Gruppe 4. Der Unterschied zwischen Referenzgruppe und Gruppe 3 ist nicht signifikant.

Nun meine Fragen:

1. Nun ist es aber so, dass eine einfache Regression mit lediglich f.Gruppe als Prädiktor ergibt, dass es keine signifikanten Unterschiede zwischen den Gruppen gibt.

Code:

Code: Alles auswählen

Reg <- lm (P_Aktivitäten ~ f.Gruppe, data= FKFragebogen.fin)

Output:

Code: Alles auswählen

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   4.6561     0.2038  22.851   <2e-16 ***
f.Gruppe2    -0.2070     0.2961  -0.699    0.487    
f.Gruppe3     0.1712     0.3529   0.485    0.630    
f.Gruppe4    -0.2644     0.3529  -0.749    0.457  

Wie kann das sein?

Ich dachte immer, die Hinzunahme der metrischen Kovariate (hier der Prätestwert) kann wenn überhaupt bewirken, dass die Gruppenunterschiede weniger deutlich werden, da man ja durch die "Fixierung" des Prätestwertes erst die "reinen" Gruppenunterschiede bekommt. Woran kann es leigen, dass diese Gruppenunterschiede bei mir erst auftauchen, nachdem die Kovariate hinzugenommen wurde?

Falls ich einen kompletten Denkefehler habe, seht es mir bitte nach und klärt mich gerne auf.

Liebe Grüße
Nina

[bigben]

Hallo Nina,

da man ja durch die "Fixierung" des Prätestwertes erst die "reinen" Gruppenunterschiede bekommt.

Das habe ich leider nicht verstanden. Der p-Wert ist kein guter Indikator aber ich nehme an, dass Aktivität sehr viel Varianz aufklärt und wenn der Nebel sich lichtet mit weniger Rauschen, wird das schwache Signal der Intervention sichtbar.

LG,
Bernhard

[ninabionda]

Hallo Berhard,

vielen Dank für deine Antwort!

mit

da man ja durch die "Fixierung" des Prätestwertes erst die "reinen" Gruppenunterschiede bekommt.

habe ich mich darauf bezogen, dass bei einer Kovarianzanalyse meines Wissens nach die Auswirkung von "uninteressanten" Kovariaten( in meinem Fall die Auswirkung des Prätestwerts "Aktivitäten") auf die abhängige Variable ausgeblendet werden und so der tatsächliche Effekt der interessierenden unabhängigen Variable (in meinem Fall die Gruppenzugehörigkeit) auf die abhängige Variable sichtbar wird.

Und das stimmt ja mit deiner Aussage, dass sich der Effekt der Intervention erst bei Kontrolle der Kovariate "Aktivität" zeigt, überein.

Meine Verwirrung kommt daher, dass ich in einem Lehrbuch ein Beispiel für eine Kovarianzanalyse gesehen habe, bei dem es genau andersherum war: Es zeigt sich vor Hinzunahme einer Kovariaten (analog zu meinen "Aktivitäten") ein Interventionseffekt, nach der Hinzunahme verschwand dieser Effekt allerdings, was dann so Interpretiert wurde, dass die Intervention in Wahrheit nicht effektiv war.

Bei mir ist es nun genau anders herum war - der Interventionseffekt zeigt sich erst nach Hinzunahme der Kovariaten.

Verstehst du, was ich meine?

Liebe Grüße
Nina

[bigben]

Hallo Nina,

ja, ich verstehe was Du meinst. In der Tat gibt es Prädiktoren, deren Signifikanz sich erst zeigt, wenn andere Prädiktoren dazu kommen die schon mal einen Teil der Varianz wegräumen und Fälle, bei denen die Signifikanz verschwindet, wenn weitere Prädiktoren dazu kommen, beispielsweise wegen Multikollinearität. Das ist jetzt leider auch kein einfaches Thema, dass sich durch irgendwie in zehn Sätzen erklären und abschließend beantworten ließe.

nach der Hinzunahme verschwand dieser Effekt allerdings, was dann so Interpretiert wurde, dass die Intervention in Wahrheit nicht effektiv war.

Das würde ich nicht verallgemeinern wollen. (Insbesondere dann nicht, wenn für die Intervention keine echte Randomisierung stattgefunden hat.)

LG,
Bernhard

[bigben]

nach der Hinzunahme verschwand dieser Effekt allerdings, was dann so Interpretiert wurde, dass die Intervention in Wahrheit nicht effektiv war.

Das würde ich nicht verallgemeinern wollen.

Beispiel: Wir untersuchen, ob ein Motivationsgespräch die Leistungen in einer Matheklassenarbeit verbessern kann. Unsere unabhängigen Variablen sind Alter der Mutter, Bildungsabschluss der Mutter, Intelligenz des Kindes, Raumtemperatur und natürlich, ob das Kind in der Interventionsgruppe mit dem Motivationsgespräch war. Sagen wir, in Wahrheit fördert das Gespräch die Anzahl der Stunden, die das Kind für die Arbeit übt und dadurch werden die Leistungen in der Klassenarbeit besser. Signifikanter Effekt der Intervention.

Nun sind wir aber besonders fleißig und erheben auch, wieviele Stunden das Kind vor der Klassenarbeit geübt hat. Wenn wir jetzt die Stunden des Übens mit ins Modell nehmen, dann wird der Interventionseffekt verschwinden, weil der Effekt hat in den Stunden des Übens vollständig enthalten ist und es keinen Unterschied macht, ob das Kind auch so viel geübt hätte oder wegen des Gesprächs viel geübt hat. In diesem Fall würde also ein Interventionseffekt durch die Zusatzvariable nicht mehr signifikant werden, ob die Intervention wirksam ist.

Take home message: Unabhängige Variablen können sehr komplex miteinander agieren und es ist nicht banal, sich zu entscheiden, welche Variablen ins Modell sollen und welche nicht. Auf gar keinen Fall sollte man immer alles ins Modell stecken was man hat.

Einblick in die Komplexität des Themas vielleicht mit diesem Video? https://www.youtube.com/watch?v=IajzIKW518M

LG,
Bernhard

[ninabionda]

Hallo Bernhard,

vielen herzlichen Dank für deine ausführliche Antwort und das sehr einleuchtende Beispiel!

Viele Grüße
Nina