ANCOVA - Post Hoc Test (2x2 Between subjects)

[ellexvera]

Hallo zusammen,

Ich stehe etwas auf dem Schlauch. Ich habe ein 2x2 between subjects design (without repeated measures).
Meine Gruppen sind nicht ganz gleich groß, aber über 40 Personen in jeder Gruppe.

Ich muss eine Anova berechnen. Meine Annahmen sind alle erfüllt, aber ich habe 13 Ausreißer identifiziert (largr standardized und cooks Distanz). Ich habe keine Ausschlussgründe im Voraus registriert und ich habe keinen ausreichenden Grund anzunehmen, dass sie nicht zu meiner Zielpopulation gehören, also muss ich sie wohl einbeziehen? Ich bin mir nicht sicher, ob ich meine Daten wegen der Ausreißer transformieren muss oder ob Bootstrapping eine Option ist. Ich bin kein Statistikexperte, also suche ich hier nach der einfachsten Lösung. Ich habe an der Universität nie transformiert und habe wenig Erfahrung damit, wie Bootstrapping für mein Anova-Modell aussehen würde. Am einfachsten wäre es, sie auszuschließen, aber ich sehe keine begründung in meinem design.

Das ist mein anova-Modell im Moment:

anova_model <- aov(dependentVariable ~ V1 * V2, Daten = daten)
summary(anova_model)
summary.lm(anova_model)

Meine ANOVA (einschließlich Ausreißer) ist nur für die V2 signifikant, die nicht zu meiner Hypothese gehört (daher würde ich keinen Post-hoc-Test durchführen).

Mein CI für eta^2 partial habe ich so bekommen:
pes<- effectsize::eta_squared(anova_model, partial = TRUE)
print(pes)

Aber es geht bei V1 und der Interaktion von 0 bis 1, bei V2 (was in der ANOVA Ja signifikant wurde) ist das 95% CI [0.05, 1.00].

-> Habe ich wirklich so viel Unsicherheit in meinen Daten, dass der Bereich des CIs so aussieht? Habe ich in meinem Code etwas falsch gemacht?

Wenn ich die ANOVA ohne die Ausreißer durchführe, ist die V1 signifikant, aber die KI der Effektgröße liegt immer noch im Bereich von 0 bis 1 und der Posthoc-Test mit emmeans zeigt keinen signifikanten Unterschied zwischen den V1-Variablen.

Dann muss ich Ancovas berechnen, wobei ich Kovariaten wie Alter, Geschlecht, .... einbeziehe. Abgesehen vom Alter und meiner V2 ist bei den Ancovas nichts signifikant (wenn ich weiterhin die Outliers drinlasse). Brauche ich überhaupt einen post hoc Test, wenn meine V1, die für meine Hypothese wichtig ist, immer noch nicht signifikant ist? Derzeit habe ich emmeans berechnet. Wäre das ausreichend?

[bigben]

Hallo Vera,

ich bin mit dem emmeans-Paket nicht sonderlich vertraut, dennoch will ich gerne versuchen, Dein Problem zu verstehen. Du schreibst:

Code: Alles auswählen

ancova_model_age <- lm(dependentVariable ~ indepV1 * indepV2 + age, data = daten)
summary(ancova_model_age)

-> V2 ist signifikant (für meine Hypothese eigentlich gar nicht relevant), V1 nicht, age ist signifikant
(Meine hypothese postuliert das unabhängig von v2 ausprägung die dependent Variable höher sein wird wenn die v1 hoch ausgeprägt ist)

Hier fehlt noch die Angabe, ob der Interaktionseffekt indepV1:indepV2 signifikant ist -- gehen wir erstmal davon aus, sie ist es nicht.
Du wolltest zeigen, dass V1 einen signifikanten Effekt hat und V1 wird nicht signifikant. Die H0 kann nicht verworfen werden. Was möchtest Du jetzt mit einem posthoc-Test genau untersuchen?

Bis auf Alter wird bei den Ancovas auch nichts signfikant.

Naja, V2 wird signifikant, oder doch nicht? Ist denn der Zusammenhang mit dem Alter so interessant, dass man ihn weiter untersuchen sollte oder ist das ok so?

VG,
Bernhard

[ellexvera]

Hallo Bernhard,

Vielen Dank für deine Antwort.
Ich habe meinen Beitrag abgeändert, da ich aktuell erstmal meinen Umgang mit Ausreißern festlegen muss, da die V1 signifikant wird, wenn ich diese rausnehme (nach emmeans dann jedoch nicht mehr) und mich die Angabe meiner Konfidenzintervalle fragen lässt, ob ich irgendetwas falsch gemacht habe.

Deine Hinweise sind aber sehr richtig, dass die Berechnung von Post Hoc Test nicht sinnvoll für meine eigentliche Untersuchung wäre, sollte nix signifikant sein.

Danke und viele Grüße
Vera

[bigben]

Ok, dann hier also eine neue Antwort zu einer ganz anderen Frage. Nächstes Mal schreib bitte einen neuen Post und lösche nicht den alten. Wer später diesen Thread anschaut kann sich das sonst nichtmehr zusammenreimen.

Ich muss eine Anova berechnen. Meine Annahmen sind alle erfüllt, aber ich habe 13 Ausreißer identifiziert (largr standardized und cooks Distanz). Ich habe keine Ausschlussgründe im Voraus registriert und ich habe keinen ausreichenden Grund anzunehmen, dass sie nicht zu meiner Zielpopulation gehören, also muss ich sie wohl einbeziehen?

Wenn die Ausreißer ein unsinniges Maß annehmen, dann darf man wohl auch im Nachhinein über deren Löschung nachdenken. Fehlende vorherige Festlegung kann ja kein Grund sein, mit unsinnigen Daten rechnen zu müssen. So unsinnig scheinen die aber in Deinem Kontext nicht zu sein. Neben den beiden Polen "Ausreißer löschen" und "Ausreißer drin lassen" gibt es aber vielleicht noch Alternativen. Eine robuste ANOVA, die die Ausreißer geringer gewichtet ohne sie ganz zu löschen könnte einen Kompromiss darstellen: https://rcompanion.org/rcompanion/d_08a.html

Ich bin mir nicht sicher, ob ich meine Daten wegen der Ausreißer transformieren muss oder ob Bootstrapping eine Option ist. Ich bin kein Statistikexperte, also suche ich hier nach der einfachsten Lösung.

Naja, zur Zeit ist es halt so, dass Du mit Statistik unsicher bist und alle anderen nicht mitdenken können, weil keiner weiß, worum es geht. Eine sinnvolle inhaltliche Beschreibung, worum es Dir geht, welche Frage Du beantworten willst und welche Größen da wie erhoben würden könnte ein sinnvoller Einstieg sein.

Das ist mein anova-Modell im Moment:

anova_model <- aov(dependentVariable ~ V1 * V2, Daten = daten)
summary(anova_model)

Ok, aber vor der Löschung Deines Eingangsthreads war das doch noch eine ANCOVA mit dem Alter als signifikantem Prädiktor. Macht es irgendwie Sinn, jetzt ohne das Alter zu rechnen? Ich kann natürlich nicht mitreden, weil ich nicht weiß, worum es geht. Aber jetzt das Problem ohne Alter zu lösen nur um nachher zu sagen, dass die Lösung nichts wert ist, weil sie das Alter nicht berücksichtigt, kann auch nicht Ziel des Threads sein.

Aber es geht bei V1 und der Interaktion von 0 bis 1, bei V2 (was in der ANOVA Ja signifikant wurde) ist das 95% CI [0.05, 1.00].

Komische Frage an ein Forum das nichts über Deine Daten weiß.

Habe ich in meinem Code etwas falsch gemacht?

Ohne zu wissen, in welchen Bereichen die Werte so liegen, ohne vollständige Angabe der ANOVA-Tabelle, ohne den Code zu kennen, mit dem die Daten aufbereitet wurden und ohne die Möglichkeit, die Daten mal zu plotten und ein Gefühl für die Verteilung zu kriegen würde ich mich so eine Antwort nicht trauen. Wie ich die anderen hier so kenne, hat da keiner Bock drauf.
Vielleicht kannst Du Deine Daten leicht verfälschen (die Funktion jitter fällt mir hier ein) und die falschen und daher für uns alle wertlosen Daten nebst einer Beschreibung, worum es eigentlich geht, hier posten? Ich könnte mir vorstellen, dass das Deine Chancen auf eine Antwort von Athomas, von EDi oder von jogo ganz gewaltig boosten würde.
Wie man künstliche Daten erstellt oder vorhandene Daten für das Forum zur Verfügung stellt, daher hat EDi hier mal eine Übersicht versucht: viewtopic.php?t=11

HTH,
Bernhard