Kurzer IQ-Test: Wie aussagekräftig sind Tests mit 10 oder 20 Fragen?

Zehn Fragen, in wenigen Minuten absolviert und sofort ein Ergebnis in Form eines IQ-Wertes: Genau das macht einen kurzen IQ-Test attraktiv. Nur wie ernst sollte man die angezeigte Zahl nehmen? Meist liefert ein solcher Test eine grobe Orientierung. Mehr lässt sich erst sagen, wenn bekannt ist, wie die Aufgaben ausgewählt wurden, mit wem das Ergebnis verglichen wird und wie genau gerade diese Kurzform misst. Fehlen Angaben zu Normierung, Reliabilität und Messfehler, ist ein Ergebnis wie „IQ 124“ eher ein Anhaltspunkt als eine präzise Messung. [1] Zum nachlesen: So funktioniert ein IQ-Test.

Die Zahl der Fragen spielt dabei durchaus eine Rolle. Sie ist nur ein Teil des Ganzen. Ein sorgfältig entwickelter Test mit 16 guten Aufgaben kann mehr aussagen als ein längerer Test voller einseitiger oder schlecht gewählter Rätsel. Die fachlichen Standards beurteilen daher nicht nur die Testlänge. Sie berücksichtigen ebenso die Aufgabenqualität, die abgedeckten Fähigkeiten, die Auswertung, die Normen und den Zweck, für den ein Ergebnis verwendet werden soll. Es kommt also wie so häufig darauf an. [1]

Was zehn oder 20 Antworten leisten können

Bei vergleichbarer Aufgabenqualität haben 20 Fragen einen klaren Vorteil gegenüber zehn: Sie liefern mehr Beobachtungen und in der Regel einen genaueren Wert. Auch die Standards for Educational and Psychological Testing halten fest, dass längere Tests meist präziser messen. Für Kurz- und Langfassungen sollen die Gütekriterien jeweils eigens nachgewiesen werden – möglichst durch unabhängige Testungen. [1]

Bei einem einfachen Test mit zehn gleich gewichteten Aufgaben gibt es elf mögliche Rohwerte: von 0 bis 10 Punkten. Eine einzige Antwort verschiebt das Ergebnis bereits um zehn Prozentpunkte. Bei 20 Aufgaben sind es noch fünf. Werden Schwierigkeit und Trennschärfe der Aufgaben in der Auswertung berücksichtigt, sind die Abstufungen weniger grob. Die dünne Datenbasis bleibt jedoch. Gerade kurze Tests sollten deshalb einen Standardmessfehler oder ein Konfidenzintervall nennen. Sonst wirkt ein Wert wie 124 genauer, als er tatsächlich ist. [1]

Schwieriger wird es, wenn der Test mehrere Fähigkeiten abbilden soll. Für Zahlenreihen, sprachliches Schlussfolgern, Matrizen und räumliches Denken blieben bei insgesamt zehn Fragen im Durchschnitt nur wenige Aufgaben pro Bereich. Ein Zufallstreffer, ein Missverständnis oder eine besondere Stärke in genau einer Aufgabenart erhält dadurch viel Gewicht. In der Psychometrie spricht man von construct underrepresentation, wenn wichtige Teile des zu messenden Merkmals im Test kaum oder gar nicht vorkommen. [1]

Drei Dinge entscheiden über die Qualität

Die Begriffe Reliabilität und Validität werden leicht verwechselt. Reliabilität beschreibt, wie verlässlich beziehungsweise reproduzierbar ein Testwert ist. Bei der Validität geht es um die Belege für eine konkrete Interpretation und Verwendung. Ein Test mag denselben engen Teilbereich sehr zuverlässig erfassen. Damit ist noch nicht belegt, dass sein Ergebnis als umfassender IQ-Wert gelesen werden darf. Die Fachstandards beziehen Validität deshalb immer auf eine bestimmte Aussage und einen bestimmten Zweck. [1]

Bei einem IQ-Test kommt die Normierung hinzu. Aus zehn richtigen Antworten wird erst durch den Vergleich mit einer Referenzgruppe ein normierter Wert. Dafür muss nachvollziehbar sein, welche Menschen diese Gruppe abbildet und wie die Stichprobe zustande kam. Die freiwilligen Besucher einer Website können sich deutlich von der Gesamtbevölkerung unterscheiden. Ihre Ergebnisse bilden daher nicht automatisch eine repräsentative Bevölkerungsnorm. [1]

Auch kurze Tests können gut gemacht sein

Das zeigt zum Beispiel der frei verfügbare ICAR Sample Test. Seine 16 Aufgaben verteilen sich auf Buchstaben- und Zahlenfolgen, Matrizen, verbales Schlussfolgern und dreidimensionale Rotation. In der Entwicklungsstudie erreichte diese Kurzform eine interne Konsistenz von α = 0,81 und ein Omega total von 0,83. Bei der 60 Aufgaben umfassenden Fassung lagen die Werte mit α = 0,93 und Omega total = 0,94 höher. Alpha und Omega sind Kennwerte für die interne Konsistenz. Vereinfacht gesagt zeigen sie, wie gut die einzelnen Aufgaben gemeinsam einen verlässlichen Gesamtwert bilden. Beide Werte liegen zwischen 0 und 1; höhere Werte sprechen grundsätzlich für eine zuverlässigere Messung. Sechzehn sorgfältig ausgewählte Aufgaben lieferten hier bereits brauchbare Werte; die längere Fassung maß den Gesamtwert verlässlicher. [2]

Noch kürzer war die von Bilker und Kollegen entwickelte Fassung der Raven Standard Progressive Matrices. Das Team wählte gezielt neun Aufgaben aus dem 60 Aufgaben umfassenden Test und sagte daraus den Gesamtwert vorher. In den Validierungsdaten korrelierten vorhergesagte und tatsächliche Gesamtwerte mit r = 0,906 beziehungsweise r = 0,898. Das r steht für den Korrelationskoeffizienten und beschreibt, wie eng die Ergebnisse der Kurz- und Langfassung zusammenhängen. Werte nahe 1 weisen auf einen starken Zusammenhang hin. Wer in der Kurzform gut abschnitt, erzielte also meist auch in der vollständigen Fassung ein gutes Ergebnis. Identische Testwerte garantiert eine hohe Korrelation allerdings nicht. Das sagt viel über die Qualität dieser konkreten Kurzform aus. Auf beliebige neun Matrizenaufgaben lässt sich das Ergebnis nicht übertragen. Außerdem ging es um die Vorhersage eines bestimmten Tests zum abstrakten Schlussfolgern, nicht um ein detailliertes Profil verschiedener kognitiver Fähigkeiten. [3]

Für Kinder und Jugendliche wurden später zwei eigene Raven-Kurzformen mit jeweils 15 Aufgaben entwickelt. Bei den 9- bis 12-Jährigen korrelierten die vorhergesagten Werte mit r = 0,89 mit der vollständigen Fassung, bei den 13- bis 16-Jährigen mit r = 0,93. Empfohlen wurden diese Formen als Hintergrundvariable in Entwicklungsstudien. Die Forschenden legten damit recht genau fest, für welche Altersgruppe und für welchen Zweck ihre Ergebnisse gelten. [4]

Wie unterschiedlich kurze Computertests ausfallen können, zeigt die UK Biobank. Bei einer Überprüfung ihrer unbeaufsichtigt durchgeführten Aufgaben lagen die Zusammenhänge der Einzeltests mit etablierten Vergleichstests zwischen r = 0,22 und r = 0,83. Auch die Test-Retest-Korrelationen nach vier Wochen streuten stark: von r = 0,40 bis r = 0,89. Ein aus mehreren Aufgaben gebildeter Gesamtfaktor schnitt mit r = 0,83 deutlich besser ab. Die Bezeichnung „Kurztest“ verrät also noch nichts über seine Qualität. [5]

Zehn oder 20 Fragen: Was ist realistisch?

Bei gleicher Aufgabenqualität sind 20 Fragen aussagekräftiger als zehn. Eine feste Untergrenze, ab der ein Test plötzlich „genau“ wird, gibt es trotzdem nicht. Zehn sehr gut kalibrierte Aufgaben können für ein enges Screening ausreichen. Zwanzig einseitige Rätsel ohne passende Normen bleiben schwach. Die Zahl der Fragen allein erlaubt daher noch kein Urteil über den Test. [1–4]

Sechs Hinweise auf einen brauchbaren Schnelltest

Vor dem Start oder spätestens bei der Auswertung sollten diese Punkte nachvollziehbar sein. Sie orientieren sich an den allgemeinen Teststandards und den Richtlinien für technologiebasierte Tests. [1, 6]

• Messbereich: Der Anbieter sollte benennen, welche kognitiven Bereiche geprüft werden. Besteht der Test ausschließlich aus einer Art von Rätsel, erfasst er nur einen schmalen Ausschnitt. [1, 2]
• Normstichprobe: Alter, Zusammensetzung und Herkunft der Vergleichsdaten sollten beschrieben sein. [1]
• Gütekriterien der Kurzform: Kennwerte einer langen Originalfassung gelten nicht ohne Weiteres für eine gekürzte Version. Die Kurzform braucht eine eigene Prüfung. [1]
• Messunsicherheit: Jeder Testwert enthält einen Messfehler. Ein guter Ergebnisbericht macht diese Unsicherheit sichtbar, besonders in der Nähe von Grenzwerten. [1]
• Art der Auswertung: Adaptive Tests wählen Aufgaben gezielter aus. Dafür benötigen sie einen kalibrierten Aufgabenpool und einen nachvollziehbar dokumentierten Algorithmus. [1, 6]
• Testbedingungen: Ablenkung, Gerät, Internetverbindung und Umgebung beeinflussen eine unbeaufsichtigte Durchführung. Die internationalen Richtlinien empfehlen klare Hinweise zu einem ruhigen Arbeitsplatz, den technischen Anforderungen und dem erforderlichen Grad an Aufsicht. [6]

Ich würde einem Ergebnis wenig Gewicht geben, wenn nach wenigen Antworten ein scheinbar exakter IQ erscheint, aber Angaben zur Vergleichsgruppe, zum Messfehler und zur Untersuchung des Tests fehlen. In diesem Fall verspricht die Auswertung mehr, als die Daten hergeben. Der IQ-Test von IQ-Test.org steht mit seinen 47 Fragen aus unterschiedlichen Bereichen und der auf über 100.000 Datensätzen basierenden Vergleichsgruppe auf einer breiten Basis. Eine Angabe des Messfehlers oder des Konfidenzintervalls wird ganz bewusst nicht gemacht. Eine standardisierte Intelligenzdiagnostik unter kontrollierten Bedingungen gehört in die Hände entsprechend qualifizierter Psychologinnen und Psychologen. [1]

Wofür ein Schnelltest reicht

Für Neugier, eine unverbindliche Selbsteinschätzung oder ein erstes Screening ist ein kurzer IQ-Test durchaus brauchbar. Er zeigt grob, wie leicht oder schwer bestimmte Aufgaben fallen. Bei einer folgenlosen Orientierung ist eine geringere Messgenauigkeit eher vertretbar, vor allem wenn weitere Informationen hinzukommen. [1]

Für schulische Förderentscheidungen, eine Hochbegabungsdiagnostik, klinische Fragestellungen oder andere folgenreiche Einstufungen ist ein Schnelltest allein zu wenig. Hier verlangen die Teststandards stärkere Belege zur Messgenauigkeit und zur Zuverlässigkeit der Entscheidung. Gerade nahe einem Grenzwert kann schon der Messfehler darüber entscheiden, auf welcher Seite der Schwelle eine Person landet. [1]

Der IQ-Test auf IQ-Test.org umfasst 47 Aufgaben aus unterschiedlichen Bereichen; für die Bearbeitung stehen maximal 30 Minuten zur Verfügung. Das schafft mehr inhaltliche Breite als ein typischer Schnelltest mit 10 oder 20 Fragen. Die Durchführung bleibt unbeaufsichtigt. Ich ordne das Ergebnis daher als Orientierung zur eigenen kognitiven Leistung ein. Eine professionelle psychologische Diagnostik unter kontrollierten Bedingungen leistet natürlich mehr. [6, 7]

Fazit: Die Zahl der Fragen ist nur der Anfang

Zehn Fragen ergeben meist nur eine grobe Einschätzung. Bei vergleichbarer Qualität bieten 20 Aufgaben eine bessere Grundlage, einen belastbaren individuellen IQ-Wert garantieren sie noch nicht. Die untersuchten Kurzformen mit neun, 15 oder 16 Aufgaben zeigen zugleich, wie gut ein kurzer Test sein kann. Ihr Vorteil liegt in der sorgfältigen Entwicklung: Aufgabenauswahl, Auswertung, Normen und Einsatzgebiet wurden eigens geprüft. [1–5]

Zeigt ein Test nach zehn Fragen einen IQ von 124 an, würde ich die Zahl nicht wörtlich nehmen. Interessant ist zunächst die grobe Richtung. Wie viel mehr das Ergebnis aussagt, hängt von den Daten zu genau diesem Test ab. Ohne nachvollziehbare Angaben bleibt es eine Momentaufnahme. [1]

Häufige Fragen zu kurzen IQ-Tests

Gibt es eine Mindestzahl an Fragen für einen zuverlässigen IQ-Test?

Eine feste Mindestzahl gibt es nicht. Je kürzer ein Test ist, desto wichtiger werden die gezielte Auswahl der Aufgaben, eine passende Normierung und die Prüfung der Messgenauigkeit. Die Qualität lässt sich daher nicht allein an der Anzahl der Fragen ablesen. [1]

Wie stark kann das Ergebnis eines IQ-Schnelltests abweichen?

Das lässt sich nicht pauschal beziffern. Die mögliche Abweichung hängt vom jeweiligen Test und seinem Standardmessfehler ab. Nennt ein Anbieter weder Messfehler noch Konfidenzintervall, kann der angezeigte IQ-Wert nicht als punktgenaue Messung eingeordnet werden. [1]

Warum kann eine wissenschaftliche Kurzform zuverlässiger sein als ein längerer Online-Test?

Bei wissenschaftlichen Kurzformen werden die Aufgaben gezielt ausgewählt und anschließend für einen bestimmten Zweck und eine bestimmte Zielgruppe überprüft. Ein längerer Test ist dagegen nicht automatisch gut, wenn seine Aufgaben einseitig sind oder geeignete Vergleichsdaten fehlen. [1–4]

Quellen

[1] American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Volltext

[2] Condon, D. M. & Revelle, W. (2014). The International Cognitive Ability Resource: Development and initial validation of a public-domain measure. Intelligence, 43, 52–64. DOI: 10.1016/j.intell.2014.01.004 · Autorenfassung

[3] Bilker, W. B., Hansen, J. A., Brensinger, C. M., Richard, J., Gur, R. E. & Gur, R. C. (2012). Development of abbreviated nine-item forms of the Raven’s Standard Progressive Matrices Test. Assessment, 19(3), 354–369. DOI: 10.1177/1073191112446655

[4] Langener, A. M., Kramer, A.-W., van den Bos, W. & Huizenga, H. M. (2022). A shortened version of Raven’s Standard Progressive Matrices for children and adolescents. British Journal of Developmental Psychology, 40(1), 35–45. DOI: 10.1111/bjdp.12381

[5] Fawns-Ritchie, C. & Deary, I. J. (2020). Reliability and validity of the UK Biobank cognitive tests. PLOS ONE, 15(4), e0231627. DOI: 10.1371/journal.pone.0231627

[6] International Test Commission & Association of Test Publishers (2022). Guidelines for Technology-Based Assessment. Volltext

[7] IQ-Test.org. Kostenloser IQ-Test mit Zertifikat. Angaben zu Umfang, Bearbeitungszeit und Einordnung des Online-Tests. iq-test.org