Test-Methode ist schon bekannt, aber immer noch keinen Plan! (naja, so halb)

Allgemeine Statistik mit R, die Test-Methode ist noch nicht bekannt, ich habe noch keinen Plan!

Moderatoren: EDi, jogo

Antworten
benyo

Test-Methode ist schon bekannt, aber immer noch keinen Plan! (naja, so halb)

Beitrag von benyo »

Hallo liebe R-Gemeinde!

Ich untersuche 2 Gruppen (Experimental- und Kontrollgruppe) vor (t1) und nach (t2) einer Intervention anhand von 7 unterschiedlichen Fragebogen (3 zum Hauptkonstrukt und 4 aussoziirte Nebenkonstrukte). Die Methode der Wahl ist ein Linear Mixed Model (lmer). Eigentlich ist alles fertig, nur habe ich noch ein paar kleine Fragen dazu, ob meine "Story" (Vorgehen und Interpretation) richtig ist. Da ich das erste mal mit R und LMMs arbeite ist der Code größtenteils übernommen bzw. wurde mir vorgegeben. Daher ist jetzt sicher einiges durcheinander gekommen, was mich natürlich verwirrt (bei meiner relativen Ahnungslosigkeit).

Hypothesen:

a. Die Experimentalgruppe verändert sich signifikant über die Zeit (bezogen auf alle Fragebogen) im Gegensatz zur Kontrollgruppe, also 2-fachinteraktion group:time (wobei die Werte der Experimentalgruppe höher sind).

b. post-hoc: bei jedem einzelnen Fragebogen ist eine group:time-Interaktion zu erkennen (zu t1 kein signifikanter Unterschied der Gruppen, zu t2 signifikanter Unterschied, wobei die Werte der Experimentalgruppe höher sind)

Nun mal Schritweise mein Vorgehen:

1. Umkodieren der Gesamtskalenwerte aller Fragebogen in eine Richtung. Idee dahinter: Alle Fragebogen "repräsentieren" das Hauptkonstrukt und sollten sich daher in eine Richtung verändern, um zB keine "künstliche" Interaktion herbeizuführen.

2. z-Transformation der Daten mit M/SD von T1 zur Berechung der z-Scores zu T2 ("die Daten in eine Metrik bringen"). Anschließend noch T-Transformation.

3. ANOVA: summary(aov(TScore ~ group*Time*Test + Error(code/(Time*Test)), data=data_l))

Ergebnisse:
- signifikanter Haupteffekt "Time"
- signifikante Interaktion "group:Time"
- keine signifikante 3-fach-Interaktion (group:Time:Test)

Frage: Soll ich diese ANOVA berichten oder dient sie eigentlich nur einer ersten Betrachtung der Daten, nach der man das LMModel erstellt?

4. Kontraste wurden gebildet. Bspw. der Kontrast zwischen den 3 Fragebogen für das Hauptkonstrukt vs. den 4 aussoziirten Nebenkonstrukten.

Frage: Macht das überhaupt noch Sinn, wenn keine 3-fach-Interaktion zu sehen ist?

5. LMM:

print(summary(m1 <- lmer(TScore ~ Test*Time*group + (1 | code), data=data_l, REML=FALSE)), corr=FALSE)

Ergebnisse:
- kein Kontrast signifikant (redundant? sihe Frage zu 4.)
- signifikante Interaktion "Time2-1:group2-1"
- signifikanter Haupteffekt "Time2-1"

Frage: Würde man die 3-fach-Interaktion nicht gleich aus dem Model weglassen?

6. Stufenweise Reduktion des Models und Überprüfung:
m1a <- update(m1, .~. - Test:Time:group)
m1b <- update(m1a, .~. - Test:Time - Test:group)
m1c <- update(m1b, .~. - Test)

Ergebnisse m1c: wie 5., nur deutlicher.

AIC(m1,m1a,m1b,m1c)
BIC(m1,m1a,m1b,m1c)
anova(m1, m1c) # (Chi=.957)

7. post-hoc via: emmeans(m1, pairwise ~ Time | group*Test)

Frage: Wie bekomme ich den Vergleich jedes einzelnen Tests mit "group*time" hin? Der jetzige Code zeigt mir "nur", wie sich beide Gruppen unabhängig voneinander für jeden einzelnen Test von t1 zu t2 entwickelt hat, aber nicht den Vergleich beider Gruppen, also quasi einzelne "repeated Anovas".

8. post-hoc via nested-model sinvoll?

print(summary(m1c <- lmer(TScore ~ Test/(Time*group) + (1 | code), data=data_l, REML=FALSE)), corr=FALSE)

Die Ergebnisse stimmen mit einzelnen "repeated Anovas" in SPSS überein, aber ist es sinnvoll es so zu machen?

9. Testung der Vorraussetzungen mit "qqPlot of residuals" und "histogram of residuals".

Frage: Sind noch andere Betrachtungen ratsam?

Vielen Dank schonmal im Vorraus, falls sich jemand die Mühe macht meinen "Roman" hier zu lesen :) Ich hoffe ich konnte mich mit meinem Halbwissen wenigstens ein wenig verständlich ausdrücken...

Gruß, Ben
Benutzeravatar
EDi
Beiträge: 1599
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Test-Methode ist schon bekannt, aber immer noch keinen Plan! (naja, so halb)

Beitrag von EDi »

Frage: Sind noch andere Betrachtungen ratsam?
Ich finde fitted vs residuals immer sinnvoll!
Wie bekomme ich den Vergleich jedes einzelnen Tests mit "group*time" hin?
Stell doch mal die Formel in emmeans um, um andere contraste zu testen.
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.
benyo

Re: Test-Methode ist schon bekannt, aber immer noch keinen Plan! (naja, so halb)

Beitrag von benyo »

Stell doch mal die Formel in emmeans um, um andere contraste zu testen.
Das ist ja das Problem. Ich schaffe es einfach nicht, obwohl ich jede mir erdenkliche Kombination versucht habe (ich arbeite auch das erste mal mit R).

Könntest Du mir die richtige Formel nennen?

emmeans(m1, pairwise ~ Time | Group*Quest)
Antworten