Automatische Skalenoptimierung (Korrigierte Item-Skala-Korrelation und Cronbach's Alpha)

[braendma]

Hallo zusammen,
ich bin aktuell beschäftigt ein Testinstrument für meine Dissertation zu entwickeln. Dabei habe ich mir die Frage gestellt, ob es möglich ist mit R automatisiert die bestmögliche Item-Skala-Korrelation durchrechnen zu lassen, bei der am Ende eine bestmögliche finale Auswahl (mit dem höchsten Cronbach's Alpha Wert) der Aufgaben ausgegeben wird.

Es würde bei einem entsprechend umfangreichen Testinstrument einiges an Zeit sparen, die möglichen Kombinationen nicht alle "von Hand" in SPSS durchspielen zu müssen.

Beste Grüße,
braendma

[bigben]

Hallo braendma,

ich bin nicht ganz sicher, ob ich alles verstanden habe, aber ich bin recht sicher, dass die Antwort ja lautet. Bevor wir aber über das Programmieren eigener Algorithmen reden: Kann es sein, dass die Cronbach-Mesbah-Kurve bereits das erledigt, was Du planst? Die gibt es im Package CMC. Siehe http://www.lsta.upmc.fr/mesbah/PROQOL/Abstracts/Cameletti.pdf und
https://www.rdocumentation.org/packages/CMC/versions/1.0/topics/alpha.curve

Eines der besseren Zusatzpakete für psychometrische Fragestellungen ist psych. Wenn man damit Cronbachs Alpha berechnet, wird immer auch für jedes Item berechnet, wie hoch Alpha nach weglassen dieses Items noch wäre.
https://www.rdocumentation.org/packages/psych/versions/1.8.12/topics/alpha
in Anwendung:
https://www.uwo.ca/fhs/tc/labs/09.ItemAnalysis.pdf

LG,
Bernhard

[braendma]

Hallo Bernhard,
vielen Dank für deine schnelle Antwort.

Die Anpassung von Cronbach's Alpha wäre Schritt 1, das kann aber SPSS zum Glück auch noch leisten. Allerdings ändert sich bei mir nicht nur der Wert von Cronbach's Alpha, sondern auch die Item-Skala-Korrelation, wenn ich entsprechende Items herausnehme oder hinzufüge. Teilweise werden die Werte der Korrelation dann verschlechtert, dass ich diese ebenfalls herausnehmen müsste (bspw. negativ, was in dem Fall bedeutet, dass diese Items nicht brauchbar sind). Dazu ein optimales Verhältnis zwischen Item-Skala-Korrelation und Cronbach's Alpha automatisch ermitteln/durchrechnen zu können, mit einer möglichst hohen Anzahl an verwendbaren Aufgaben, das wäre enorm hilfreich.

Beste Grüße,
Marcus

[bigben]

Hallo Marcus,

1. Mein Instinkt sagt, dass Du nicht der erste bist, der sich Gedanken über eine automatisierte Zusammenstellung von Items zu Skalen macht. Es könnte schlauer sein, da zu recherchieren und einen bereits publizierten Algorithmus zu verwenden -- dann zitierst Du die Publikation und musst nicht lange rechtfertigen, warum Du das so und nicht anders gemacht hast. Ich bin aber kein Psychometriker und kein Psychologe und kann bei dieser Suche nicht weiter helfen.

2. Wenn Du kein Item-Skala-Korrelation schreibst, meinst Du dann durchschnittliche Item-Skala-Korrelation? Es gibt doch für jedes Item eine solche Korrelation.

3. zu

ein optimales Verhältnis zwischen Item-Skala-Korrelation und Cronbach's Alpha automatisch ermitteln/durchrechnen zu können

R ist eine vollständige Programmiersprache und wenn es Dir gelingt, ein optimales Verhältnis zwischen Item-Skala-Korrelation und Cronbachs Alpha zu definieren, dann kann man R sicher auch danach suchen lassen. Gibt es denn eine Definition, welche Item-Skala-Korrelation mit welchem Alpha besser oder schlechter ist?
Wenn Du viele Items hast, dann kannst Du irgendwann nicht mehr alle Item-Kombinationen durchprobieren, dann müsstest Du Dir einen schrittweisen Algorithmus überlegen. Der sollte dann nicht nur für Dich gut klingen, sondern auch in der Arbeit zu verteidigen sein.

4. Dumm gefragt: Macht man da nicht eigentlich eine Hauptkomponenten- oder Faktoranalyse und wählt diejenigen Items aus, die die höchsten Ladungen haben?

LG,
Bernhard

[braendma]

Hallo Bernhard,

mit Sicherheit haben sich diese Frage auch andere schon gestellt. Allerdings bin ich noch nicht wirklich fündig geworden, werde aber auf jeden Fall weiter recherchieren.

Es gibt doch für jedes Item eine solche Korrelation.

Genau, jedes Item hat eine solche Korrelation. Diese hängt jedoch für die gesamte Skala mit allen anderen Items zusammen und ändert sich daher, wenn einzelne Items entfernt werden.

Macht man da nicht eigentlich eine Hauptkomponenten- oder Faktoranalyse und wählt diejenigen Items aus, die die höchsten Ladungen haben?

Es handelt sich bei meinem Testinstrument tatsächlich um Aufgaben, die von Schüler*innen gelöst werden müssen. D.h. ich habe keine Likert-Skala sondern offene Antwortformate. Wichtig sind für mich Lösungsquoten und Trennschärfe (Item-Skala-Korrelation) der Items.
Ich schließe von vorneherein Aufgaben unter 20 % und über 80 % Lösungsquote aus. Mit den verbleibenden Items führe ich dann die Reliabilitätsanalyse durch und optimiere nach Trennschärfe und Cronbach's Alpha. Für eine belastbare Analyse mittels probabilistischer Testtheorie habe ich leider eine zu kleine Stichprobe.

Viele Grüße,
Marcus

[bigben]

Hallo Marcus,

und Faktorenanalysen nutzt man nur bei Likert-Skalen? Ok, das musst Du entscheiden.

Also nochmal, wenn es nur nach Cronbachs Alpha ginge, ginge das mit dem o. g. Paket. Wenn Du einen Algorithmus nach mehreren Kriterien (Alpha und Item-Skala-Korrelationen) selbst programmieren willst, musst Du erstmal entscheiden, wie das zu automatisierende Auswahlkriterium aussehen soll: Was ist ein "ein optimales Verhältnis zwischen Item-Skala-Korrelation und Cronbach's Alpha"?

LG,
Bernhard

[braendma]

Hallo Bernhard

und Faktorenanalysen nutzt man nur bei Likert-Skalen?

Meines Wissens ist das so nur möglich mit metrischen bzw. pseudo-metrischen Daten (zusammengefasste Likert-Skalen unter anderem).

Was ist ein "ein optimales Verhältnis zwischen Item-Skala-Korrelation und Cronbach's Alpha"?

Ein optimales Verhältnis wäre für mich, dass ich ein maximal hohes Cronbach's Alpha erhalte (bestensfalls über 0.8, aber sagen wir mal zwischen .7 und .8) unter der Prämisse, dass möglichst viele Items mit einer Trennschärfe (Korrigierte Item-Skala-Korrelation) mindestens >0.2 in meinem Test verbleiben, ich in R eben die zahlreichen Kombinationen automatisiert durchrechnen lassen könnte und mir am Ende als Tabelle ausgegeben wird, welche Variablenkombination das erfüllt (+ die entsprechenden Werte). Das würde mir bei insgesamt 10 Themengebieten mit jeweils ~30 Items schon einiges an Zeit ersparen. Außerdem soll am Ende ein großer Test, kombiniert aus 7 Themengebieten entstehen. Da sind die Kombinationsmöglichkeiten entsprechend noch umfangreicher.

Beste Grüße,
Marcus

[bigben]

Hallo braendma,

Was ist ein "ein optimales Verhältnis zwischen Item-Skala-Korrelation und Cronbach's Alpha"?

Ein optimales Verhältnis wäre für mich, dass ich ein maximal hohes Cronbach's Alpha erhalte (bestensfalls über 0.8, aber sagen wir mal zwischen .7 und .8) unter der Prämisse, dass möglichst viele Items mit einer Trennschärfe (Korrigierte Item-Skala-Korrelation) mindestens >0.2 in meinem Test verbleiben,

Eigentlich hatte ich mehr sowas in der Art erwartet wie eine Regel, die, gegeben zwei Itemsets, das bessere Itemset definiert. Aber so könnte man das natürlich auch als Abbruchkriterium definieren.

ich in R eben die zahlreichen Kombinationen automatisiert durchrechnen lassen könnte und mir am Ende als Tabelle ausgegeben wird, welche Variablenkombination das erfüllt

Die brutale Art wäre, alle möglichen Itemkombinationen zu erstellen, daraus alle die Zwischenschritte auszusuchen, die ein Alpha > .8 haben und aus dieser Teilmenge dann die heraussuchen, die die meisten Items mit einer Trennschärfe >.2 haben. Aber vorsicht: Itemkombinationen zwischen 5 und 15 Items aus eine Pool von 30 Items gibt es gut 0,6 Milliarden. Wenn Du in der SPSS-GUI eine Kombination in einer Sekunde durchprobierst bist Du 19 Jahre lang Tag und Nacht beschäftigt. Wenn R 100 in der Sekunde berechnen kann dauert das immer noch 0,19 Jahre, was Dir zu lang ist. Wenn es 31 anstelle von 30 Items sind, dann sind es schon 0,34 Jahre. Kombinatorik ist brutal. Du solltest Dir Gedanken zu einem effizienteren Algorithmus machen, wenn Du nicht C++/Haskell/Rust lernen und/oder einen Computer mit ganz vielen Kernen beschäftigen willst.

Es macht also durchaus Sinn, sich Alternativen zu überlegen. Wenn man zum Beispiel nach Art der Cronbach Mesbah Curve schrittweise nach alpha-optimalen Subsets sucht und unter all den dort enstehenden Zwischenschritten die heraussucht, bei denen die Trennschärfe passt, dann hat man vielleicht nicht die eine optimale Kombination, dafür rechnet R dann schneller als Du eine Tasse Tee kochen kannst.

LG,
Bernhard