43.651 Tests ausgewertet: So zuverlässig ist der IQ-Test

Zusammenfassung: Ich habe 43.651 historische Testdurchführungen auf IQ-Test.org ausgewertet. Das Ergebnis ist stark: Die 46 analysierten Aufgaben arbeiten insgesamt bemerkenswert konsistent zusammen. Cronbachs Alpha und McDonalds Omega liegen jeweils bei rund 0,88. Auch die meisten einzelnen Aufgaben hängen sinnvoll mit dem Gesamtergebnis zusammen, und in den Antworten zeigt sich ein deutlicher gemeinsamer Leistungsfaktor.

Diese interne Analyse zeigt allerdings nicht, ob der ausgegebene IQ-Wert exakt mit dem Ergebnis eines professionell durchgeführten Intelligenztests übereinstimmt. Sie untersucht zunächst, wie zuverlässig der Test in sich funktioniert. Zuverlässigkeit, Validität und weitere Anforderungen an einen Test müssen dabei klar voneinander unterschieden werden. [1]

Online-IQ-Tests werben häufig mit Begriffen wie „wissenschaftlich“, „präzise“ oder „zuverlässig“. Solche Aussagen sind jedoch nur dann hilfreich, wenn klar ist, was tatsächlich untersucht wurde.

Ich betreibe IQ-Test.org seit mehr als zehn Jahren. In dieser Zeit ist eine große Datenbasis entstanden, mit der ich den Test heute wesentlich genauer untersuchen kann als zu Beginn. Dabei standen für mich vier Fragen im Mittelpunkt:

1. Wie konsistent arbeiten die Aufgaben als gemeinsamer Test zusammen?
2. Wie leicht oder schwierig sind die einzelnen Aufgaben?
3. Wie gut unterscheiden sie zwischen niedrigeren und höheren Testleistungen?
4. Welche gemeinsame Struktur zeigt sich in den Antwortmustern?

Der Hauptteil fasst die Ergebnisse allgemein verständlich zusammen. Wer die Berechnungen genauer nachvollziehen möchte, findet am Ende die Methodik und Berechnungen im Detail sowie die verwendeten wissenschaftlichen Quellen.

Die wichtigsten Ergebnisse auf einen Blick

Welche Daten habe ich untersucht?

Ich habe 43.651 historische Testdurchführungen berücksichtigt, die nach einer internen Plausibilitätsprüfung mit norm_valid = 1 als für die Normierung verwendbar gekennzeichnet waren. Für diese Analyse habe ich ausschließlich die Antworten auf die Testaufgaben betrachtet. Alter, Geschlecht und andere demografische Merkmale spielten dabei keine Rolle.

Jede Aufgabe wurde als richtig oder falsch ausgewertet. Pro Testdurchführung entstand damit eine Folge aus Nullen und Einsen: 1 für eine richtige und 0 für eine falsche Antwort. Der analysierte Gesamtscore war die Summe der richtigen Antworten auf die 46 verwendbaren Aufgaben.

Im Durchschnitt wurden 24,45 von 46 Aufgaben richtig gelöst. Der Median lag bei 25, die Standardabweichung bei 8,00 Punkten. Die Ergebnisse streuten damit deutlich genug, um Unterschiede zwischen den Teilnehmenden und die Funktionsweise der Aufgaben untersuchen zu können.

Warum ich 46 statt 47 Aufgaben ausgewertet habe

Bei der Prüfung der historischen Daten zeigte sich ein Problem mit Aufgabe 40 (q40): Für diese Aufgabe war zeitweise die falsche Lösung 115 hinterlegt. Im gespeicherten Datensatz steht jedoch nur, ob eine Antwort nach der jeweils damals gültigen Auswertung als richtig oder falsch galt. Die ursprüngliche Eingabe der Teilnehmenden ist nicht mehr vorhanden.

Eine nachträgliche „Korrektur“ der historischen Daten wäre daher nicht möglich. Aus diesem Grund habe ich Aufgabe 40 (q40) konsequent aus der Berechnung des Gesamtscores, der Zuverlässigkeit, der Trennschärfen und der Faktorenanalyse entfernt. Die 43.651 Testdurchführungen selbst konnte ich weiterhin vollständig verwenden.

Die Aufgabe (q40) wurde mittlerweile im Test korrigiert. Sobald genügend neue und einheitlich ausgewertete Antworten vorliegen, kann ich sie erneut untersuchen.

Wie zuverlässig arbeiten die Aufgaben zusammen?

Mit „Zuverlässigkeit“ ist in diesem Artikel vor allem die interne Konsistenz der gesamten Skala gemeint: Erzielen Personen, die viele Aufgaben lösen, tendenziell auch bei anderen Aufgaben desselben Tests bessere Ergebnisse?

Ein intern konsistenter Test enthält Aufgaben, die nicht unabhängig oder widersprüchlich nebeneinanderstehen. Sie müssen dafür keineswegs identisch sein. Entscheidend ist, dass sie in sinnvoller Weise zu einem gemeinsamen Testergebnis beitragen.

Cronbachs Alpha: 0,876

Cronbachs Alpha ist eine verbreitete Kennzahl für die interne Konsistenz eines Tests. Vereinfacht gesagt vergleicht sie, wie stark die Aufgaben miteinander zusammenhängen, mit der Streuung des gesamten Testergebnisses. Der Koeffizient geht auf Cronbach (1951) zurück. [2]

Für die 46 analysierten Aufgaben beträgt Alpha 0,876. Das ist ein klarer Hinweis auf eine hohe interne Konsistenz der Gesamtskala.

Allein beweist der Wert aber weder, dass der Test nur eine einzige Fähigkeit misst, noch dass die IQ-Ausgabe extern richtig kalibriert ist, und er hängt auch von der schlichten Anzahl der Aufgaben ab. Deshalb lese ich Alpha immer zusammen mit Omega, den Trennschärfen und der Faktorenanalyse. [4]

McDonalds Omega: 0,875

McDonalds Omega beantwortet eine ähnliche Frage, beruht aber auf einem Faktorenmodell. Anders als Alpha kann dieses Modell berücksichtigen, dass die einzelnen Aufgaben unterschiedlich stark mit dem gemeinsamen Messwert zusammenhängen. [6]

Mit 0,875 liegt Omega fast exakt auf dem Niveau von Alpha – zwei unterschiedlich konstruierte Kennzahlen kommen hier also zur gleichen Schlussfolgerung: Der Gesamtscore der 46 Aufgaben ist intern hoch konsistent.

Wie schwierig sind die einzelnen Aufgaben?

Die sogenannte Itemschwierigkeit ist bei richtig/falsch bewerteten Aufgaben überraschend einfach: Sie entspricht dem Anteil der Personen, die eine Aufgabe richtig gelöst haben.

Ein Wert von 80 Prozent bedeutet also, dass 80 Prozent der Teilnehmenden die Aufgabe richtig beantwortet haben. Je höher dieser Anteil, desto leichter war die Aufgabe in dieser Stichprobe.

Die Lösungsquoten reichen von 98,13 Prozent bei Aufgabe q2 bis zu 2,19 Prozent bei Aufgabe q46. Der Median über alle Aufgaben liegt bei 53,76 Prozent. Damit liegt die typische Aufgabe ungefähr in der Mitte des beobachteten Leistungsbereichs.

Insgesamt befinden sich 37 der 46 Aufgaben zwischen 20 und 80 Prozent richtigen Antworten. Vier Aufgaben wurden von mehr als 90 Prozent der Teilnehmenden gelöst; zwei Aufgaben von höchstens 10 Prozent.

Die große Spannweite der Aufgabenschwierigkeiten ist eine Stärke des Tests. Leichte Einstiegsaufgaben erleichtern den Zugang und können den unteren Leistungsbereich abbilden. Anspruchsvolle Aufgaben können dagegen am oberen Ende des Leistungsspektrums besser unterscheiden.

Durch diese Mischung kann der Test Teilnehmende mit sehr unterschiedlichen Leistungen erfassen. Die Aufgaben konzentrieren sich nicht auf ein einziges Schwierigkeitsniveau, sondern decken einen breiten Bereich ab. Ob eine konkrete Aufgabe dabei tatsächlich gut unterscheidet, zeigt zusätzlich ihre Trennschärfe.

Welche Aufgaben unterscheiden besonders gut zwischen Teilnehmern?

Eine Aufgabe kann passend schwierig sein und trotzdem wenig zum Gesamttest beitragen. Deshalb habe ich zusätzlich ihre Trennschärfe berechnet.

Die korrigierte Item-Gesamtkorrelation zeigt, ob Personen, die eine bestimmte Aufgabe richtig lösen, tendenziell auch bei den übrigen 45 Aufgaben besser abschneiden. „Korrigiert“ bedeutet, dass die untersuchte Aufgabe aus dem Vergleichsscore herausgerechnet wird. Sie kann ihre eigene Korrelation also nicht künstlich erhöhen. [8]

Bei 32 der 46 Aufgaben beträgt die korrigierte Trennschärfe mindestens 0,30. Der Median liegt bei 0,362. Den höchsten Wert erreicht Aufgabe 38 (q38) mit 0,562.

Damit erreichen rund 70 Prozent der Aufgaben den hier verwendeten Orientierungswert von 0,30. Werte unter 0,20 sehe ich als Anlass für eine genauere Prüfung. Das sind keine starren Grenzen: Sehr leichte oder sehr schwierige Aufgaben können aufgrund ihrer geringen Antwortstreuung niedrigere Trennschärfen erreichen und trotzdem eine sinnvolle Funktion im Test erfüllen.

Deutlich auffällig ist Aufgabe 35 (q35) mit einer Trennschärfe von nur 0,017. Ob jemand diese Aufgabe richtig löste, stand damit praktisch nicht im Zusammenhang mit der Leistung bei den übrigen Aufgaben. Auch Aufgabe 11 (q11) ist mit 0,067 vergleichsweise schwach.

Niedrige Werte können unterschiedliche Ursachen haben, zum Beispiel eine missverständliche Darstellung, mehrere plausible Lösungswege, eine unpassende Lösung oder ein Antwortmuster, das stark von den übrigen Aufgaben abweicht. Deshalb werde ich q35 und q11 inhaltlich überprüfen und anschließend entscheiden, ob sie unverändert bleiben, überarbeitet oder ersetzt werden.

Der Gesamttest hängt allerdings nicht an einer einzelnen Aufgabe. Ohne Aufgabe 35 (q35) würde Alpha lediglich von 0,876 auf 0,879 steigen. Der Befund ist daher vor allem ein konkreter Hinweis zur Verbesserung des Itempools.

Messen die Aufgaben einen gemeinsamen Faktor?

Zuverlässigkeit allein beantwortet noch nicht, ob hinter den Antworten eine gemeinsame Struktur steckt. Dafür habe ich eine explorative Faktorenanalyse durchgeführt.

Eine Faktorenanalyse sucht nach Mustern: Welche Aufgaben werden häufig von denselben Personen gelöst, und lassen sich diese Zusammenhänge durch einen oder mehrere gemeinsame Leistungsfaktoren beschreiben? Ein Faktor ist keine direkt beobachtete Eigenschaft, sondern eine statistische Zusammenfassung gemeinsamer Antwortmuster.

Da die Antworten nur als richtig oder falsch vorliegen, habe ich die Faktorenanalyse auf Basis tetrachorischer Korrelationen berechnet. Dieses Verfahren nimmt an, dass hinter der beobachteten 0/1-Antwort eine stufenlos ausgeprägte Fähigkeit oder Lösungsneigung steht. Solche Verfahren werden häufig zur Faktorenanalyse binärer und ordinaler Aufgaben eingesetzt. [9]

Der erste Eigenwert beträgt 12,98, der zweite 2,45. Der erste ist damit rund 5,3-mal so groß wie der Zweite. Das spricht für einen gemeinsamen Leistungsfaktor, der die Antworten besonders stark prägt. Dieser erste Faktor fasst 28,2 Prozent der Gesamtvarianz der tetrachorischen Korrelationsmatrix zusammen; das ist eine andere Kennzahl als die Testzuverlässigkeit und sagt nichts darüber aus, wie zuverlässig der Test insgesamt ist.

In der Ein-Faktor-Lösung erreichen 39 der 46 Aufgaben eine Ladung von mindestens 0,30. Wer bei einem Teil des Tests gut abschneidet, schneidet also häufig auch bei anderen Aufgaben besser ab. Das ist ein sinnvolles Fundament für einen gemeinsamen Gesamtscore. Nicht alle Aufgaben zeigen dabei exakt dasselbe Antwortmuster, sodass die Analyse den Test nicht als vollkommen eindimensional ausweist; getrennte Leistungsbereiche habe ich hier nicht untersucht.

Mehrere Eigenwerte liegen über 1. Daraus leite ich nicht automatisch mehrere eigenständige Fähigkeiten ab. Die einfache Regel, jeden Faktor mit einem Eigenwert über 1 zu behalten, kann bei vielen Aufgaben zu einer zu großen Zahl kleiner Faktoren führen. [10]

Die Daten sprechen daher für einen dominanten gemeinsamen Leistungsfaktor, der die Bildung eines Gesamtscores stützt – ohne zu belegen, dass dieser Wert exakt der allgemeinen Intelligenz entspricht.

Was ich daraus für die Weiterentwicklung des Tests ableite

Für mich liefert die Analyse nicht nur zusammenfassende Kennzahlen, sondern auch konkrete Ansatzpunkte:

• Aufgabe 35 (q35) werde ich überprüfen. Die Aufgabe hat fast keine Beziehung zur übrigen Testleistung.
• Auch Aufgabe 11 (q11) möchte ich mir inhaltlich genauer ansehen. Ihre Trennschärfe ist deutlich niedriger als die der meisten anderen Aufgaben.
• q40 werde ich erst mit sauber gespeicherten Rohantworten wieder psychometrisch bewerten. Die historischen 0/1-Werte reichen dafür nicht aus.
• Den breiten Schwierigkeitsbereich möchte ich erhalten. Er hilft, sowohl im unteren als auch im oberen Leistungsbereich zu unterscheiden.

Die aktuelle Qualität ist kein Endzustand. Ich werde den Test laufend beobachten, überprüfen und anhand neuer Daten verbessern.

Was diese Analyse nicht zeigen kann

Die große Datenmenge macht die Schätzungen innerhalb dieses Datensatzes sehr präzise. Sie beseitigt aber keine methodischen Grenzen.

Keine externe Validierung

Ich habe die Ergebnisse nicht mit einem etablierten, professionell durchgeführten Intelligenztest verglichen. Die Analyse zeigt daher nicht, wie genau der ausgegebene IQ-Wert mit einem klinisch oder diagnostisch erhobenen IQ übereinstimmt. Wenn sich die Möglichkeit zu einer solchen Studie ergibt, möchte ich diesen Vergleich künftig durchführen.

Keine Test-Retest-Reliabilität

Interne Konsistenz untersucht das Zusammenspiel der Aufgaben innerhalb einer Durchführung. Ob dieselbe Person bei einer Wiederholung unter vergleichbaren Bedingungen ein ähnliches Ergebnis erzielt, wurde hier nicht geprüft.

Keine repräsentative Bevölkerungsstichprobe

Die Teilnehmenden haben den Online-Test selbst ausgewählt. Sie bilden nicht automatisch die Gesamtbevölkerung nach Alter, Bildung, Herkunft oder anderen Merkmalen ab. Aus der vorliegenden Analyse allein lässt sich deshalb keine neue repräsentative IQ-Norm ableiten.

Keine Aussage über die Genauigkeit eines einzelnen Ergebnisses

Eine Reliabilität von rund 0,88 bedeutet nicht, dass jeder ausgegebene IQ-Wert „zu 88 Prozent richtig“ ist. Für individuelle Aussagen wären unter anderem eine belastbare Normierung und ein Standardmessfehler in der verwendeten IQ-Skala erforderlich.

Keine vollständige Validitätsprüfung

Zuverlässigkeit ist eine wichtige Voraussetzung für belastbare Messungen, aber sie ist nicht dasselbe wie Validität. Validität betrifft die Frage, ob die Interpretation und Verwendung eines Testergebnisses durch geeignete Belege gestützt werden. Validität, Zuverlässigkeit und Fairness gelten deshalb als zusammenhängende, aber unterschiedliche Anforderungen an einen Test. [1]

Fazit: ein starkes Ergebnis mit klaren Grenzen

Die 46 auswertbaren Aufgaben des IQ-Tests von IQ-Test.org zeigen über 43.651 historische Testdurchführungen hinweg eine hohe interne Konsistenz. Cronbachs Alpha (0,876) und McDonalds Omega (0,875) kommen zu nahezu derselben Einschätzung. Die meisten Aufgaben hängen sinnvoll mit dem übrigen Testergebnis zusammen, decken einen breiten Schwierigkeitsbereich ab und tragen zu einem dominanten gemeinsamen Leistungsfaktor bei.

Gleichzeitig macht die Analyse sichtbar, wo ich den Test verbessern kann. Besonders Aufgabe q35 und in geringerem Umfang auch Aufgabe q11 werde ich inhaltlich überprüfen. Aufgabe q40 bleibt aus den historischen Berechnungen ausgeschlossen.

Als interne Gesamtskala funktioniert der Test damit zuverlässig und unterscheidet über einen breiten Schwierigkeitsbereich. Ob der ausgegebene IQ-Wert mit professionellen Intelligenztests übereinstimmt, kann nur eine separate externe Validierungsstudie zeigen.

Falls du Zugang zu einem professionellen Intelligenztest hast und eine entsprechende Studie durchführen möchtest, freue ich mich über eine Nachricht.

Methodik und Beschreibungen im Detail

Der folgende Abschnitt dokumentiert die Berechnungen für Leserinnen und Leser, die die Ergebnisse fachlich genauer nachvollziehen möchten. Zum Verständnis des Hauptartikels ist er nicht erforderlich.

Stichprobe und Datenaufbereitung

• Datenstand: historischer Datenbankexport bis 1. September 2026
• Beobachteter Zeitraum: 10. Mai 2010 bis 1. September 2026
• Einschlusskriterium: Nur geprüfte und valide Datensätze (norm_valid = 1)
• Stichprobengröße: (N = 43.651)
• Ursprüngliche Aufgaben: 47
• Analysierte Aufgaben: 46
• Ausschluss: q40 wegen historisch inkonsistentem Lösungsschlüssel und fehlenden Rohantworten
• Kodierung: richtig = 1, falsch = 0
• Analysierter Score: ungewichtete Summe der 46 Itemwerte

Cronbachs Alpha

Alpha wurde für die binären Itemwerte nach der klassischen Formel berechnet:

$α = [k / (k − 1)] × [1 − (Σᵢ₌₁ᵏ σᵢ² / σₓ²)]$

Dabei ist k die Anzahl der Aufgaben, σᵢ² die Varianz der jeweiligen Aufgabe und σₓ² die Varianz des Summenscores. Bei binären Aufgaben entspricht diese Berechnung dem KR-20-Ansatz. [2, 3]

Der folgenden Tabelle kann man die Faustregel zur Interpretation der Werte entnehmen.

	Bedeutung
> 0,9	exzellent
> 0,8	gut
> 0,7	akzeptabel
> 0,6	fragwürdig
> 0,5	schlecht
0,5	inakzeptabel

Das Ergebnis beträgt α = 0,8761. Starre Grenzen wie „gut“ oder „exzellent“ sind nur grobe Faustregeln und hängen vom Zweck eines Tests ab. Zusammen mit Omega, den Trennschärfen und der Faktorenanalyse spricht der Wert hier für eine hohe interne Konsistenz. Alpha wird nicht als Beleg für Eindimensionalität oder Validität interpretiert. [4]

McDonalds Omega

Ergänzend zu Cronbachs Alpha habe ich McDonalds Omega berechnet. Dafür wurde ein einfaktorielles Modell auf Grundlage der beobachteten Pearson-Korrelationen zwischen den 46 binär ausgewerteten Aufgaben verwendet. Das Grundprinzip lässt sich für ein standardisiertes Ein-Faktor-Modell so darstellen:

$ω = (Σ λᵢ)² / [(Σ λᵢ)² + Σ θᵢ]$

Dabei bezeichnet λᵢ die Faktorladung einer Aufgabe. Sie gibt an, wie stark die Aufgabe mit dem gemeinsamen Faktor zusammenhängt. θᵢ steht für den Anteil ihrer Varianz, der durch diesen Faktor nicht erklärt wird.

Auf dieser Grundlage ergibt sich ω = 0,8751. Der Wert liegt nahezu gleichauf mit Cronbachs Alpha von 0,8761. Beide Berechnungen führen damit zur gleichen Einschätzung. [5, 6]

Da die Aufgaben nur als richtig oder falsch erfasst werden, habe ich ergänzend eine ordinal modellierte Sensitivitätsanalyse mit tetrachorischen statt gewöhnlichen Pearson-Korrelationen berechnet. Vereinfacht gesagt wird dabei angenommen, dass hinter jeder Richtig-falsch-Antwort eine kontinuierliche Fähigkeit beziehungsweise Lösungsneigung steht.

Unter diesen Modellannahmen ergibt sich ein höheres Omega von 0,9377. Der Test wird dadurch nicht tatsächlich zuverlässiger – der höhere Wert hängt vor allem von den zusätzlichen Modellannahmen ab. Ich berichte ihn deshalb nur als Sensitivitätsanalyse, nicht als Ersatz für das oben genannte Omega von 0,8751. [7]

Itemschwierigkeit

Für jede Aufgabe (i) wurde der Anteil richtiger Antworten berechnet:

pᵢ = Anzahl richtiger Antworten auf Aufgabe i / N

Dabei bezeichnet N die Anzahl der ausgewerteten Testdurchführungen.

Ein hoher Wert von pᵢ steht bei dieser Definition für eine leichte Aufgabe. Die Werte reichen von 0,0219 bis 0,9813; der Median beträgt 0,5376.

Korrigierte Trennschärfe

Die korrigierte Trennschärfe zeigt, wie gut eine einzelne Aufgabe zwischen Personen mit insgesamt höheren und niedrigeren Testleistungen unterscheidet. Ich habe sie als Pearson-Korrelation zwischen der Antwort auf eine Aufgabe und dem Summenscore der übrigen 45 Aufgaben berechnet:

$rᵢₜ(i) = cor(Xᵢ, Xgesamt − Xᵢ)$

Die Formelzeichen bedeuten:

• rᵢₜ(i) ist die korrigierte Trennschärfe der Aufgabe i.
• cor steht für die Berechnung der Pearson-Korrelation.
• Xᵢ ist die Antwort auf die jeweilige Aufgabe: richtig wird mit 1, falsch mit 0 codiert.
• Xgesamt ist der Summenscore aus allen 46 ausgewerteten Aufgaben.
• Xgesamt − Xᵢ ist der sogenannte Restscore, also der Summenscore ohne die gerade untersuchte Aufgabe.

Die Pearson-Korrelation beschreibt, wie stark zwei Werte miteinander zusammenhängen. Sie kann zwischen −1 und +1 liegen. Ein hoher positiver Wert bedeutet hier: Wer die betreffende Aufgabe richtig löst, erzielt tendenziell auch bei den übrigen Aufgaben ein höheres Ergebnis. Ein Wert nahe 0 weist auf keinen deutlichen Zusammenhang hin. Ein negativer Wert wäre ein Warnsignal, weil leistungsstärkere Personen die Aufgabe dann tendenziell seltener richtig lösen würden.

Da Xᵢ nur die Werte 0 und 1 annehmen kann, handelt es sich genau genommen um eine punktbiseriale Korrelation. Sie ist mathematisch ein Sonderfall der Pearson-Korrelation.

Durch das Entfernen von Xᵢ aus dem Gesamtscore vermeide ich eine künstliche Überhöhung: Bliebe die untersuchte Aufgabe im Gesamtscore, würde sie teilweise mit sich selbst korreliert. [8]

Der Median der korrigierten Trennschärfen beträgt 0,3615. Von den 46 untersuchten Aufgaben erreichen 32 mindestens 0,30; elf liegen unter 0,20. Diese Grenzen dienen als grobe Orientierung und nicht als starre Entscheidungsvorgabe. Eine niedrige Trennschärfe allein ist kein ausreichender Grund, eine Aufgabe automatisch zu entfernen.

Faktorenanalyse: Welche gemeinsame Struktur zeigen die Aufgaben?

Mit einer Faktorenanalyse habe ich untersucht, ob die Antworten auf die 46 Aufgaben überwiegend durch einen gemeinsamen Faktor geprägt sind. Eine Faktorenanalyse sucht nach gemeinsamen Mustern in den Antworten. Ein Faktor bezeichnet dabei eine statistisch erkennbare Gemeinsamkeit zwischen mehreren Aufgaben.

Für alle 1.035 Aufgabenpaare habe ich tetrachorische Korrelationen geschätzt. Die Antworten liegen zwar nur als richtig oder falsch vor, das Modell nimmt jedoch an, dass dahinter eine stufenlos ausgeprägte Fähigkeit oder Lösungsneigung steht, die erst ab einem bestimmten Schwellenwert zur richtigen Lösung führt. Bei Antworten mit mehr als zwei Abstufungen wird das verwandte Verfahren als polychorische Korrelation bezeichnet. [9]

Ein erster Hinweis auf die gemeinsame Struktur sind die Eigenwerte der tetrachorischen Korrelationsmatrix. Sie zeigen, wie viel von den Zusammenhängen zwischen den Aufgaben durch einen Faktor zusammengefasst wird. Die vier größten Eigenwerte betragen:

1. 12,9766
2. 2,4518
3. 1,9117
4. 1,3756

Der erste Eigenwert ist damit mehr als fünfmal so groß wie der zweite und fasst 28,21 Prozent der Gesamtvarianz zusammen (zur Einordnung dieser Zahl siehe oben im Haupttext).

Diese Prozentzahl darf nicht mit der Zuverlässigkeit des Tests verwechselt werden. Sie bedeutet nicht, dass der Test nur zu 28,21 Prozent zuverlässig ist. Sie beschreibt, wie viel von der gesamten Struktur der Zusammenhänge zwischen den 46 Aufgaben durch einen einzigen Faktor zusammengefasst werden kann.

Zusätzlich habe ich betrachtet, wie stark jede Aufgabe mit diesem Faktor zusammenhängt. Dieser Zusammenhang wird als Faktorladung bezeichnet. In der Ein-Faktor-Lösung erreichen 39 von 46 Aufgaben eine Ladung von mindestens 0,30. Aufgabe 38 weist mit 0,746 die höchste Ladung auf. Aufgabe 35 erreicht dagegen nur 0,016 und zeigt praktisch keinen Zusammenhang mit diesem Faktor.

Insgesamt ist der gemeinsame Faktor für die Auswertung des Tests ein positives Ergebnis. Da am Ende ein Gesamtscore gebildet wird, sollten die Aufgaben eine gemeinsame Leistungsgrundlage besitzen. Die Analyse zeigt, dass dies bei der großen Mehrheit der Aufgaben der Fall ist.

Mehrere Eigenwerte liegen über 1. Daraus leite ich nicht automatisch getrennte Fähigkeiten ab. Die einfache Eigenwert-über-1-Regel kann insbesondere bei vielen Aufgaben zu viele kleine Faktoren ergeben. Deshalb bewerte ich sie nicht isoliert. [10]

Zeitliche Robustheitsprüfung

Als ergänzende Sensitivitätsanalyse habe ich den Datensatz zeitlich in zwei gleich große Hälften geteilt. Alpha betrug in der früheren Hälfte 0,873 und in der späteren 0,880. Die Aufgabenschwierigkeiten korrelierten zwischen beiden Hälften mit 0,986, die Trennschärfen mit 0,989.

Die zentralen Ergebnisse sind damit über die beiden Zeitabschnitte sehr ähnlich. Einzelne Aufgaben können sich dennoch verändern: Bei Aufgabe q5 sank die Lösungsquote zwischen den Hälften um rund 14,4 Prozentpunkte. Solche Veränderungen möchte ich künftig mit klar versionierten Aufgaben- und Auswertungsdaten beobachten.

Reproduzierbare Ergebniswerte

Quellen und weiterführende Literatur

1. American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014): Standards for Educational and Psychological Testing.
2. Cronbach, L. J. (1951): Coefficient Alpha and the Internal Structure of Tests. Psychometrika, 16, 297–334.
3. Kuder, G. F. & Richardson, M. W. (1937): The Theory of the Estimation of Test Reliability. Psychometrika, 2, 151–160.
4. Sijtsma, K. (2009): On the Use, the Misuse, and the Very Limited Usefulness of Cronbach’s Alpha. Psychometrika, 74, 107–120.
5. McDonald, R. P. (1978): Generalizability in Factorable Domains: Domain Validity and Generalizability. Educational and Psychological Measurement, 38, 75–79.
6. Dunn, T. J., Baguley, T. & Brunsden, V. (2014): From Alpha to Omega: A Practical Solution to the Pervasive Problem of Internal Consistency Estimation. British Journal of Psychology, 105, 399–412.
7. Green, S. B. & Yang, Y. (2009): Reliability of Summed Item Scores Using Structural Equation Modeling: An Alternative to Coefficient Alpha. Psychometrika, 74, 155–167.
8. Henrysson, S. (1963): Correction of Item-Total Correlations in Item Analysis. Psychometrika, 28, 211–218.
9. Flora, D. B. & Curran, P. J. (2004): An Empirical Evaluation of Alternative Methods of Estimation for Confirmatory Factor Analysis With Ordinal Data. Psychological Methods, 9, 466–491.
10. Zwick, W. R. & Velicer, W. F. (1986): Comparison of Five Rules for Determining the Number of Components to Retain. Psychological Bulletin, 99, 432–442.
11. George, D. & Mallery, P. (2003): SPSS for Windows step by step: A simple guide and reference. 11.0 update (4th ed.). Boston: Allyn & Bacon.