Pakete gesucht um Effektstärkemaße gegeneinander zu testen?

Wie erweitere ich R um eigene Funktionen oder Pakete? Welches Paket ist passend für meine Fragestellung?

Moderatoren: EDi, jogo

Antworten
8ZRbP
Beiträge: 60
Registriert: Do Okt 13, 2016 11:56 am

Pakete gesucht um Effektstärkemaße gegeneinander zu testen?

Beitrag von 8ZRbP »

Hallo,

ich suche Pakete, mit denen ich die Werte von Effektstärkemaßen gegeneinander auf Signifikanz testen kann.

Beispiel: Ich habe zwei Werte für b und will diese beiden Werte gegeinander auf Signifikanz testen. Oder zwei Werte von Cramers V, eta², R², oder was auch immer.

Korrelationen r lassen sich im Paket Coco gegeneinander testen.


Somit ergeben sich für mich vier Fragen:




1. Mit welchen Paketen kann ich weitere Effektstärkemaße (Eta², b, Cramers V etc) gegeneinander testen?


2. Wenn es solche Pakete nicht gibt (warum nicht?), was ist das beste Workaraound? Kann man Cocor zweckentfremden, um auch andere Effektstärkemaße gegeneinander zu testen? Cocor verwendet als Teststatistik einen modifizierten z-Test von Pearson (1898):

https://cran.r-project.org/web/packages/cocor/cocor.pdf


3. Für Cohens d könnte es mit einem Paket für Metaanalysen gehen. Am liebsten würde ich alle Parameter direkt in die Console eingeben, ohne dass ich aktuell einen Datensatz braucht, um die Parameter (also Cohens d, n, SD etc) zu berechnen. In Pseudocode sollte also dies Funktion einne p-Wert zurückgeben der d1 und d2 gegneinander testet:

Code: Alles auswählen

p-Wert_d1_vs_d2 = (d1, d2 SD_d1, SD_d2, n1, n2)
Mit welchem Paket geht das?


4. Das i-Tüpfelchen wäre, wenn ich sogar noch ein Maß für die "Effektstärke" des Unterschieds zwischen den Effektstärkewerten ausgegeben bekomme.


Besten Dank und Grüße,
8zrpb
ruedi_br
Beiträge: 159
Registriert: Do Mär 01, 2018 3:53 pm

Re: Pakete gesucht um Effektstärkemaße gegeneinander zu testen?

Beitrag von ruedi_br »

Ist dieses Package bekannt: https://www.rdocumentation.org/packages ... ions/0.2-5 :?:
VG Ruedi
fortune(111)
8ZRbP
Beiträge: 60
Registriert: Do Okt 13, 2016 11:56 am

Re: Pakete gesucht um Effektstärkemaße gegeneinander zu testen?

Beitrag von 8ZRbP »

ruedi_br hat geschrieben: Fr Okt 15, 2021 9:58 am Ist dieses Package bekannt: https://www.rdocumentation.org/packages ... ions/0.2-5 :?:
VG Ruedi
Besten Dank für den Hinweis.

Ich bin mir unsicher.

Compute.es bietet die Möglichkeit, ganz unterschiedliche Effektstärkemaße zu berechnen. Überdies kann compute.ex offenbar auch die unterschiedlichen ES ineinander konvertierten und berechnet das CI. Es könnte sein, dass damit (indirekt) das gegeben ist, was ich suche. Wenn die zwei 95%-CI sich nicht (!) überlappen, müsste damit der Unterschied zwischen zwei ES-Werten bei alpha = 5 % signifikant sein. Damit weiß ich aber noch nicht, ob der Unterschied zwischen zwei ES-Werten groß oder klein ist?

Oder, ich ziehe dafür die übliche Literatur heran, und "zweckentfremde" dieser in der Interpretation. Ein Beispiel:

Cohen (1988) sagt:
r = | .10 | ist ein kleiner Effekt
r = | .30 | ist ein mittelstarker Effekt
r = | .50 | ist ein großer Effekt

Nehmen wir folgendes fiktive Beispiel:

  1. Angenommen ich habe zwei r-Werte (sei es weil ich zwei Korrelationen berechnet habe, oder weil ich ein anderes ES-Maß mit Compute.es in r konvertiert habe.
  2. Nehmen wir weiterhin an, die beiden 95%-CI der beiden ES-Werte überlappen sich nicht. Dann müsste ich davon ausgehen können, dass die beiden ES-Werte sich bei alpha = 5 % signifikant voneinander unterscheiden.
  3. Dann kann ich die Differenz delta zwischen den beiden r-Werten berechnen.
  4. Für die Interpretation von delta kann ich dann z.B. das oben stehende von Cohen vorgeschlagene Schema verwenden? Z.B. bei delta = | .10 | ist der Unterschied zwischen den beiden r-Werten klein, bei delta = | .30 | mittelstark bei delta = | .50 | ist der Unterschied zwischen den beiden r-Werten groß ausgeprägt?


Würde mich freuen, wenn jemand Lust hat zu meinen Überlegungen Feedback zu geben, oder diese zu kommentieren.
Benutzeravatar
EDi
Beiträge: 1599
Registriert: Sa Okt 08, 2016 3:39 pm

Re: Pakete gesucht um Effektstärkemaße gegeneinander zu testen?

Beitrag von EDi »

Wenn du die Effektgröße und Konfidenzinterval hast und du die sample size kennst, dann müsste man doch eine t-statistik aufstellen können indem man das CI in SE umrechnet, oder?

Übrigens können auch überlappende 95%CI einem p<0.05 entsprechen. Ein 83% Interval würde eher deiner Interpretation entsprechen - siehe Goldstein and Healy (1995).
Bitte immer ein reproduzierbares Minimalbeispiel angeben. Meinungen gehören mir und geben nicht die meines Brötchengebers wieder.

Dieser Beitrag ist lizensiert unter einer CC BY 4.0 Lizenz
Bild.
8ZRbP
Beiträge: 60
Registriert: Do Okt 13, 2016 11:56 am

Re: Pakete gesucht um Effektstärkemaße gegeneinander zu testen?

Beitrag von 8ZRbP »

EDi hat geschrieben: Mo Okt 18, 2021 5:02 pm Wenn du die Effektgröße und Konfidenzinterval hast und du die sample size kennst, dann müsste man doch eine t-statistik aufstellen können indem man das CI in SE umrechnet, oder?
Besten Dank für den vielversprechenden Hinweis. Ich muss darüber nachdenken und das ausprobieren.
Übrigens können auch überlappende 95%CI einem p<0.05 entsprechen. Ein 83% Interval würde eher deiner Interpretation entsprechen - siehe Goldstein and Healy (1995).
Besten Dank, ich schaue mir den Artikel von Goldstein und Healy an!
bigben
Beiträge: 2771
Registriert: Mi Okt 12, 2016 9:09 am

Re: Pakete gesucht um Effektstärkemaße gegeneinander zu testen?

Beitrag von bigben »

Hallo 8ZRbP,
8ZRbP hat geschrieben: So Okt 17, 2021 12:55 pmAngenommen ich habe zwei r-Werte (sei es weil ich zwei Korrelationen berechnet habe, oder weil ich ein anderes ES-Maß mit Compute.es in r konvertiert habe.
Für Korrelationskoeffizienten gibt es eine Testfunktion im Paket psych mit Namen r.test: https://www.rdocumentation.org/packages ... ics/r.test


ruedi_br hat geschrieben: Fr Okt 15, 2021 9:58 am Cohen (1988) sagt:
r = | .10 | ist ein kleiner Effekt
r = | .30 | ist ein mittelstarker Effekt
r = | .50 | ist ein großer Effekt
Ja, das wird viel zitiert. Aber wirklich sinnvoll ist so eine Einteilung doch nicht. Ob ein gegebener Zusammenhang groß oder klein, stark oder schwach ist hängt doch vom Thema, den Umständen, dem zu erwartenden ab. Ich habe diese Einteilung noch nie wirklich verstanden.
[*]Dann kann ich die Differenz delta zwischen den beiden r-Werten berechnen.
Da habe ich kein Wissen zu, kann mir aber nur wenig darunter vorstellen. r ist ein Bruch in dessen Nenner das Produkt der Standardabweichungen steht. Wenn man das mit getrennten Gruppen macht werden diese Brüche fast nie den gleichen Nenner haben. Aber Wissen habe ich da keines zu.
[*]Für die Interpretation von delta kann ich dann z.B. das oben stehende von Cohen vorgeschlagene Schema verwenden? Z.B. bei delta = | .10 | ist der Unterschied zwischen den beiden r-Werten klein, bei delta = | .30 | mittelstark bei delta = | .50 | ist der Unterschied zwischen den beiden r-Werten groß ausgeprägt?
Auch wenn es viel zitiert ist, halte ich das o. g. Schema für nicht sehr sinnvoll und würde es schon gar nicht auf Differenzen übertragen.

Zu EDis Vorschlag: Macht man da nicht normalerweise vorher eine Fishers z-Transformation? Die soll Korrelationskoeffizienten aus der beidseits zensierten in eine etwa normalverteilte Form bringen. Auch da nehme ich kein Expertenwissen für mich in Anspruch sondern will nur mal den Suchbegriff "Fisher'S z transformation" in die Runde werfen.

LG,
Bernhard
---
Programmiere stets so, dass die Maxime Deines Programmierstils Grundlage allgemeiner Gesetzgebung sein könnte
Antworten