{"id":209,"date":"2026-09-06T11:18:53","date_gmt":"2026-09-06T09:18:53","guid":{"rendered":"https:\/\/iq-test.org\/blog\/?p=209"},"modified":"2026-09-06T11:18:54","modified_gmt":"2026-09-06T09:18:54","slug":"iq-test-zuverlaessigkeit","status":"publish","type":"post","link":"https:\/\/iq-test.org\/blog\/de\/iq-test-zuverlaessigkeit\/","title":{"rendered":"43.651 Tests ausgewertet: So zuverl\u00e4ssig ist der IQ-Test"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\"><strong>Zusammenfassung:<\/strong> Ich habe 43.651 historische Testdurchf\u00fchrungen auf IQ-Test.org ausgewertet. Das Ergebnis ist stark: Die 46 analysierten Aufgaben arbeiten insgesamt bemerkenswert konsistent zusammen. Cronbachs Alpha und McDonalds Omega liegen jeweils bei rund 0,88. Auch die meisten einzelnen Aufgaben h\u00e4ngen sinnvoll mit dem Gesamtergebnis zusammen, und in den Antworten zeigt sich ein deutlicher gemeinsamer Leistungsfaktor.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Diese interne Analyse zeigt allerdings nicht, ob der ausgegebene IQ-Wert exakt mit dem Ergebnis eines professionell durchgef\u00fchrten Intelligenztests \u00fcbereinstimmt. Sie untersucht zun\u00e4chst, wie zuverl\u00e4ssig der Test in sich funktioniert. Zuverl\u00e4ssigkeit, Validit\u00e4t und weitere Anforderungen an einen Test m\u00fcssen dabei klar voneinander unterschieden werden. [1]<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Online-IQ-Tests werben h\u00e4ufig mit Begriffen wie \u201ewissenschaftlich\u201c, \u201epr\u00e4zise\u201c oder \u201ezuverl\u00e4ssig\u201c. Solche Aussagen sind jedoch nur dann hilfreich, wenn klar ist, was tats\u00e4chlich untersucht wurde.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ich betreibe IQ-Test.org seit mehr als zehn Jahren. In dieser Zeit ist eine gro\u00dfe Datenbasis entstanden, mit der ich den Test heute wesentlich genauer untersuchen kann als zu Beginn. Dabei standen f\u00fcr mich vier Fragen im Mittelpunkt:<\/p>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li>Wie konsistent arbeiten die Aufgaben als gemeinsamer Test zusammen?<\/li>\n\n\n\n<li>Wie leicht oder schwierig sind die einzelnen Aufgaben?<\/li>\n\n\n\n<li>Wie gut unterscheiden sie zwischen niedrigeren und h\u00f6heren Testleistungen?<\/li>\n\n\n\n<li>Welche gemeinsame Struktur zeigt sich in den Antwortmustern?<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Der Hauptteil fasst die Ergebnisse allgemein verst\u00e4ndlich zusammen. Wer die Berechnungen genauer nachvollziehen m\u00f6chte, findet am Ende die Methodik und Berechnungen im Detail sowie die verwendeten wissenschaftlichen Quellen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Die wichtigsten Ergebnisse auf einen Blick<\/h2>\n\n\n\n<div class=\"google-anno-skip\">\n\n\n\n<div class=\"google-anno-skip\"><figure class=\"wp-block-table is-style-stripes\"><table class=\"has-fixed-layout\"><tbody><tr><th>Kennzahl<\/th><th class=\"has-text-align-right\" data-align=\"right\">Ergebnis<\/th><th>Bedeutung in einem Satz<\/th><\/tr><tr><td>Ausgewertete Testdurchf\u00fchrungen<\/td><td class=\"has-text-align-right\" data-align=\"right\">43.651<\/td><td>Ber\u00fccksichtigt wurden intern gepr\u00fcfte historische F\u00e4lle, die als f\u00fcr die Normierung verwendbar gekennzeichnet waren.<\/td><\/tr><tr><td>Ausgewertete Aufgaben<\/td><td class=\"has-text-align-right\" data-align=\"right\">46<\/td><td>F\u00fcr diese Aufgaben lagen historisch einheitlich auswertbare Daten vor.<\/td><\/tr><tr><td>Cronbachs Alpha<\/td><td class=\"has-text-align-right\" data-align=\"right\">0,876<\/td><td>Die Aufgaben zeigen eine hohe interne Konsistenz.<\/td><\/tr><tr><td>McDonalds Omega<\/td><td class=\"has-text-align-right\" data-align=\"right\">0,875<\/td><td>Ein alternatives Modell kommt praktisch zum gleichen Ergebnis.<\/td><\/tr><tr><td>Aufgaben mit korrigierter Trennsch\u00e4rfe \u2265 0,30<\/td><td class=\"has-text-align-right\" data-align=\"right\">32 von 46<\/td><td>Rund 70 Prozent der Aufgaben h\u00e4ngen deutlich mit der \u00fcbrigen Testleistung zusammen.<\/td><\/tr><tr><td>Erster Faktor<\/td><td class=\"has-text-align-right\" data-align=\"right\">Eigenwert 12,98<\/td><td>In den Antworten zeigt sich ein dominanter gemeinsamer Leistungsfaktor.<\/td><\/tr><tr><td>Ladungen auf dem ersten Faktor \u2265 0,30<\/td><td class=\"has-text-align-right\" data-align=\"right\">39 von 46<\/td><td>Die meisten Aufgaben tragen erkennbar zu diesem gemeinsamen Faktor bei.<\/td><\/tr><\/tbody><\/table><\/figure><\/div>\n\n\n\n<\/div>\n\n\n\n<h2 class=\"wp-block-heading\">Welche Daten habe ich untersucht?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ich habe 43.651 historische Testdurchf\u00fchrungen ber\u00fccksichtigt, die nach einer internen Plausibilit\u00e4tspr\u00fcfung mit <code>norm_valid = 1<\/code> als f\u00fcr die Normierung verwendbar gekennzeichnet waren. F\u00fcr diese Analyse habe ich ausschlie\u00dflich die Antworten auf die Testaufgaben betrachtet. Alter, Geschlecht und andere demografische Merkmale spielten dabei keine Rolle.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Jede Aufgabe wurde als richtig oder falsch ausgewertet. Pro Testdurchf\u00fchrung entstand damit eine Folge aus Nullen und Einsen: 1 f\u00fcr eine richtige und 0 f\u00fcr eine falsche Antwort. Der analysierte Gesamtscore war die Summe der richtigen Antworten auf die 46 verwendbaren Aufgaben.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Im Durchschnitt wurden 24,45 von 46 Aufgaben richtig gel\u00f6st. Der Median lag bei 25, die Standardabweichung bei 8,00 Punkten. Die Ergebnisse streuten damit deutlich genug, um Unterschiede zwischen den Teilnehmenden und die Funktionsweise der Aufgaben untersuchen zu k\u00f6nnen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Warum ich 46 statt 47 Aufgaben ausgewertet habe<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Bei der Pr\u00fcfung der historischen Daten zeigte sich ein Problem mit Aufgabe 40 (q40): F\u00fcr diese Aufgabe war zeitweise die falsche L\u00f6sung <code>115<\/code> hinterlegt. Im gespeicherten Datensatz steht jedoch nur, ob eine Antwort nach der jeweils damals g\u00fcltigen Auswertung als richtig oder falsch galt. Die urspr\u00fcngliche Eingabe der Teilnehmenden ist nicht mehr vorhanden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Eine nachtr\u00e4gliche \u201eKorrektur\u201c der historischen Daten w\u00e4re daher nicht m\u00f6glich. Aus diesem Grund habe ich Aufgabe 40 (q40) konsequent aus der Berechnung des Gesamtscores, der Zuverl\u00e4ssigkeit, der Trennsch\u00e4rfen und der Faktorenanalyse entfernt. Die 43.651 Testdurchf\u00fchrungen selbst konnte ich weiterhin vollst\u00e4ndig verwenden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Aufgabe (q40) wurde mittlerweile im Test korrigiert. Sobald gen\u00fcgend neue und einheitlich ausgewertete Antworten vorliegen, kann ich sie erneut untersuchen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Wie zuverl\u00e4ssig arbeiten die Aufgaben zusammen?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Mit \u201eZuverl\u00e4ssigkeit\u201c ist in diesem Artikel vor allem die <strong>interne Konsistenz<\/strong> der gesamten Skala gemeint: Erzielen Personen, die viele Aufgaben l\u00f6sen, tendenziell auch bei anderen Aufgaben desselben Tests bessere Ergebnisse?<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ein intern konsistenter Test enth\u00e4lt Aufgaben, die nicht unabh\u00e4ngig oder widerspr\u00fcchlich nebeneinanderstehen. Sie m\u00fcssen daf\u00fcr keineswegs identisch sein. Entscheidend ist, dass sie in sinnvoller Weise zu einem gemeinsamen Testergebnis beitragen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Cronbachs Alpha: 0,876<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Cronbachs Alpha ist eine verbreitete Kennzahl f\u00fcr die interne Konsistenz eines Tests. Vereinfacht gesagt vergleicht sie, wie stark die Aufgaben miteinander zusammenh\u00e4ngen, mit der Streuung des gesamten Testergebnisses. Der Koeffizient geht auf Cronbach (1951) zur\u00fcck.  [2]<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr die 46 analysierten Aufgaben betr\u00e4gt Alpha <strong>0,876<\/strong>. Das ist ein klarer Hinweis auf eine hohe interne Konsistenz der Gesamtskala.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Allein beweist der Wert aber weder, dass der Test nur eine einzige F\u00e4higkeit misst, noch dass die IQ-Ausgabe extern richtig kalibriert ist, und er h\u00e4ngt auch von der schlichten Anzahl der Aufgaben ab. Deshalb lese ich Alpha immer zusammen mit Omega, den Trennsch\u00e4rfen und der Faktorenanalyse. [4]<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">McDonalds Omega: 0,875<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">McDonalds Omega beantwortet eine \u00e4hnliche Frage, beruht aber auf einem Faktorenmodell. Anders als Alpha kann dieses Modell ber\u00fccksichtigen, dass die einzelnen Aufgaben unterschiedlich stark mit dem gemeinsamen Messwert zusammenh\u00e4ngen. [6]<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mit <strong>0,875 <\/strong>liegt Omega fast exakt auf dem Niveau von Alpha \u2013 zwei unterschiedlich konstruierte Kennzahlen kommen hier also zur gleichen Schlussfolgerung: Der Gesamtscore der 46 Aufgaben ist intern hoch konsistent.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Wie schwierig sind die einzelnen Aufgaben?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die sogenannte <strong>Itemschwierigkeit<\/strong> ist bei richtig\/falsch bewerteten Aufgaben \u00fcberraschend einfach: Sie entspricht dem Anteil der Personen, die eine Aufgabe richtig gel\u00f6st haben.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ein Wert von 80 Prozent bedeutet also, dass 80 Prozent der Teilnehmenden die Aufgabe richtig beantwortet haben. Je h\u00f6her dieser Anteil, desto leichter war die Aufgabe in dieser Stichprobe.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"576\" src=\"https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/01_itemschwierigkeit-1024x576.png\" alt=\"Anteil richtiger Antworten je auswertbarer Aufgabe. Eigene Auswertung von 43.651 Testdurchf\u00fchrungen.\" class=\"wp-image-211\" srcset=\"https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/01_itemschwierigkeit-1024x576.png 1024w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/01_itemschwierigkeit-768x432.png 768w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/01_itemschwierigkeit-300x169.png 300w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/01_itemschwierigkeit-1536x864.png 1536w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/01_itemschwierigkeit.png 1600w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\"><em>Abbildung 1: Anteil richtiger Antworten je auswertbarer Aufgabe. Eigene Auswertung von 43.651 Testdurchf\u00fchrungen.<\/em><\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Die L\u00f6sungsquoten reichen von <strong>98,13 Prozent bei Aufgabe q2<\/strong> bis zu <strong>2,19 Prozent bei Aufgabe q46<\/strong>. Der Median \u00fcber alle Aufgaben liegt bei <strong>53,76 Prozent<\/strong>. Damit liegt die typische Aufgabe ungef\u00e4hr in der Mitte des beobachteten Leistungsbereichs.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Insgesamt befinden sich 37 der 46 Aufgaben zwischen 20 und 80 Prozent richtigen Antworten. Vier Aufgaben wurden von mehr als 90 Prozent der Teilnehmenden gel\u00f6st; zwei Aufgaben von h\u00f6chstens 10 Prozent.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die gro\u00dfe Spannweite der Aufgabenschwierigkeiten ist eine St\u00e4rke des Tests. Leichte Einstiegsaufgaben erleichtern den Zugang und k\u00f6nnen den unteren Leistungsbereich abbilden. Anspruchsvolle Aufgaben k\u00f6nnen dagegen am oberen Ende des Leistungsspektrums besser unterscheiden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Durch diese Mischung kann der Test Teilnehmende mit sehr unterschiedlichen Leistungen erfassen. Die Aufgaben konzentrieren sich nicht auf ein einziges Schwierigkeitsniveau, sondern decken einen breiten Bereich ab. Ob eine konkrete Aufgabe dabei tats\u00e4chlich gut unterscheidet, zeigt zus\u00e4tzlich ihre Trennsch\u00e4rfe.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Welche Aufgaben unterscheiden besonders gut zwischen Teilnehmern?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Eine Aufgabe kann passend schwierig sein und trotzdem wenig zum Gesamttest beitragen. Deshalb habe ich zus\u00e4tzlich ihre <strong>Trennsch\u00e4rfe<\/strong> berechnet.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die korrigierte Item-Gesamtkorrelation zeigt, ob Personen, die eine bestimmte Aufgabe richtig l\u00f6sen, tendenziell auch bei den \u00fcbrigen 45 Aufgaben besser abschneiden. \u201eKorrigiert\u201c bedeutet, dass die untersuchte Aufgabe aus dem Vergleichsscore herausgerechnet wird. Sie kann ihre eigene Korrelation also nicht k\u00fcnstlich erh\u00f6hen. [8]<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"576\" src=\"https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/02_trennschaerfe-1024x576.png\" alt=\"Korrigierte Trennsch\u00e4rfe je Aufgabe.\" class=\"wp-image-212\" srcset=\"https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/02_trennschaerfe-1024x576.png 1024w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/02_trennschaerfe-300x169.png 300w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/02_trennschaerfe-768x432.png 768w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/02_trennschaerfe-1536x864.png 1536w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/02_trennschaerfe.png 1600w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\"><em>Abbildung 2: Korrigierte Trennsch\u00e4rfe je Aufgabe. Die Linie bei 0,30 dient als grobe Orientierung, nicht als starre Qualit\u00e4tsgrenze. Eigene Auswertung.<\/em><\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Bei 32 der 46 Aufgaben betr\u00e4gt die korrigierte Trennsch\u00e4rfe mindestens 0,30. Der Median liegt bei <strong>0,362<\/strong>. Den h\u00f6chsten Wert erreicht Aufgabe 38 (q38) mit <strong>0,562<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Damit erreichen rund 70 Prozent der Aufgaben den hier verwendeten Orientierungswert von 0,30. Werte unter 0,20 sehe ich als Anlass f\u00fcr eine genauere Pr\u00fcfung. Das sind keine starren Grenzen: Sehr leichte oder sehr schwierige Aufgaben k\u00f6nnen aufgrund ihrer geringen Antwortstreuung niedrigere Trennsch\u00e4rfen erreichen und trotzdem eine sinnvolle Funktion im Test erf\u00fcllen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Deutlich auff\u00e4llig ist Aufgabe 35 (q35) mit einer Trennsch\u00e4rfe von nur <strong>0,017<\/strong>. Ob jemand diese Aufgabe richtig l\u00f6ste, stand damit praktisch nicht im Zusammenhang mit der Leistung bei den \u00fcbrigen Aufgaben. Auch Aufgabe 11 (q11) ist mit <strong>0,067<\/strong> vergleichsweise schwach.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Niedrige Werte k\u00f6nnen unterschiedliche Ursachen haben, zum Beispiel eine missverst\u00e4ndliche Darstellung, mehrere plausible L\u00f6sungswege, eine unpassende L\u00f6sung oder ein Antwortmuster, das stark von den \u00fcbrigen Aufgaben abweicht. Deshalb werde ich q35 und q11 inhaltlich \u00fcberpr\u00fcfen und anschlie\u00dfend entscheiden, ob sie unver\u00e4ndert bleiben, \u00fcberarbeitet oder ersetzt werden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der Gesamttest h\u00e4ngt allerdings nicht an einer einzelnen Aufgabe. Ohne Aufgabe 35 (q35) w\u00fcrde Alpha lediglich von 0,876 auf <strong>0,879<\/strong> steigen. Der Befund ist daher vor allem ein konkreter Hinweis zur Verbesserung des Itempools.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Messen die Aufgaben einen gemeinsamen Faktor?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Zuverl\u00e4ssigkeit allein beantwortet noch nicht, ob hinter den Antworten eine gemeinsame Struktur steckt. Daf\u00fcr habe ich eine explorative Faktorenanalyse durchgef\u00fchrt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Eine Faktorenanalyse sucht nach Mustern: Welche Aufgaben werden h\u00e4ufig von denselben Personen gel\u00f6st, und lassen sich diese Zusammenh\u00e4nge durch einen oder mehrere gemeinsame Leistungsfaktoren beschreiben? Ein Faktor ist keine direkt beobachtete Eigenschaft, sondern eine statistische Zusammenfassung gemeinsamer Antwortmuster.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Da die Antworten nur als richtig oder falsch vorliegen, habe ich die Faktorenanalyse auf Basis tetrachorischer Korrelationen berechnet. Dieses Verfahren nimmt an, dass hinter der beobachteten 0\/1-Antwort eine stufenlos ausgepr\u00e4gte F\u00e4higkeit oder L\u00f6sungsneigung steht. Solche Verfahren werden h\u00e4ufig zur Faktorenanalyse bin\u00e4rer und ordinaler Aufgaben eingesetzt. [9]<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"576\" src=\"https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/03_faktorstruktur_screeplot-1024x576.png\" alt=\"\" class=\"wp-image-213\" srcset=\"https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/03_faktorstruktur_screeplot-1024x576.png 1024w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/03_faktorstruktur_screeplot-300x169.png 300w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/03_faktorstruktur_screeplot-768x432.png 768w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/03_faktorstruktur_screeplot-1536x864.png 1536w, https:\/\/iq-test.org\/blog\/wp-content\/uploads\/2026\/09\/03_faktorstruktur_screeplot.png 1600w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><figcaption class=\"wp-element-caption\"><em>Abbildung 3: Eigenwerte der tetrachorischen Korrelationsmatrix. Der deutliche Abstand zwischen dem ersten und den folgenden Faktoren spricht f\u00fcr einen dominanten gemeinsamen Faktor. Eigene Auswertung.<\/em><\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Der erste Eigenwert betr\u00e4gt <strong>12,98<\/strong>, der zweite <strong>2,45<\/strong>. Der erste ist damit rund 5,3-mal so gro\u00df wie der Zweite. Das spricht f\u00fcr einen gemeinsamen Leistungsfaktor, der die Antworten besonders stark pr\u00e4gt. Dieser erste Faktor fasst 28,2 Prozent der Gesamtvarianz der tetrachorischen Korrelationsmatrix zusammen; das ist eine andere Kennzahl als die Testzuverl\u00e4ssigkeit und sagt nichts dar\u00fcber aus, wie zuverl\u00e4ssig der Test insgesamt ist.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">In der Ein-Faktor-L\u00f6sung erreichen 39 der 46 Aufgaben eine Ladung von mindestens 0,30. Wer bei einem Teil des Tests gut abschneidet, schneidet also h\u00e4ufig auch bei anderen Aufgaben besser ab. Das ist ein sinnvolles Fundament f\u00fcr einen gemeinsamen Gesamtscore. Nicht alle Aufgaben zeigen dabei exakt dasselbe Antwortmuster, sodass die Analyse den Test nicht als vollkommen eindimensional ausweist; getrennte Leistungsbereiche habe ich hier nicht untersucht.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mehrere Eigenwerte liegen \u00fcber 1. Daraus leite ich nicht automatisch mehrere eigenst\u00e4ndige F\u00e4higkeiten ab. Die einfache Regel, jeden Faktor mit einem Eigenwert \u00fcber 1 zu behalten, kann bei vielen Aufgaben zu einer zu gro\u00dfen Zahl kleiner Faktoren f\u00fchren. [10]<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Daten sprechen daher f\u00fcr einen dominanten gemeinsamen Leistungsfaktor, der die Bildung eines Gesamtscores st\u00fctzt \u2013 ohne zu belegen, dass dieser Wert exakt der allgemeinen Intelligenz entspricht.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Was ich daraus f\u00fcr die Weiterentwicklung des Tests ableite<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr mich liefert die Analyse nicht nur zusammenfassende Kennzahlen, sondern auch konkrete Ansatzpunkte:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Aufgabe 35 (q35) werde ich \u00fcberpr\u00fcfen.<\/strong> Die Aufgabe hat fast keine Beziehung zur \u00fcbrigen Testleistung.<\/li>\n\n\n\n<li><strong>Auch Aufgabe 11 (q11) m\u00f6chte ich mir inhaltlich genauer ansehen.<\/strong> Ihre Trennsch\u00e4rfe ist deutlich niedriger als die der meisten anderen Aufgaben.<\/li>\n\n\n\n<li><strong>q40 werde ich erst mit sauber gespeicherten Rohantworten wieder psychometrisch bewerten.<\/strong> Die historischen 0\/1-Werte reichen daf\u00fcr nicht aus.<\/li>\n\n\n\n<li><strong>Den breiten Schwierigkeitsbereich m\u00f6chte ich erhalten.<\/strong> Er hilft, sowohl im unteren als auch im oberen Leistungsbereich zu unterscheiden.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Die aktuelle Qualit\u00e4t ist kein Endzustand. Ich werde den Test laufend beobachten, \u00fcberpr\u00fcfen und anhand neuer Daten verbessern.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Was diese Analyse nicht zeigen kann<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die gro\u00dfe Datenmenge macht die Sch\u00e4tzungen innerhalb dieses Datensatzes sehr pr\u00e4zise. Sie beseitigt aber keine methodischen Grenzen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Keine externe Validierung<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Ich habe die Ergebnisse nicht mit einem etablierten, professionell durchgef\u00fchrten Intelligenztest verglichen. Die Analyse zeigt daher nicht, wie genau der ausgegebene IQ-Wert mit einem klinisch oder diagnostisch erhobenen IQ \u00fcbereinstimmt. Wenn sich die M\u00f6glichkeit zu einer solchen Studie ergibt, m\u00f6chte ich diesen Vergleich k\u00fcnftig durchf\u00fchren.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Keine Test-Retest-Reliabilit\u00e4t<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Interne Konsistenz untersucht das Zusammenspiel der Aufgaben innerhalb einer Durchf\u00fchrung. Ob dieselbe Person bei einer Wiederholung unter vergleichbaren Bedingungen ein \u00e4hnliches Ergebnis erzielt, wurde hier nicht gepr\u00fcft.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Keine repr\u00e4sentative Bev\u00f6lkerungsstichprobe<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Die Teilnehmenden haben den Online-Test selbst ausgew\u00e4hlt. Sie bilden nicht automatisch die Gesamtbev\u00f6lkerung nach Alter, Bildung, Herkunft oder anderen Merkmalen ab. Aus der vorliegenden Analyse allein l\u00e4sst sich deshalb keine neue repr\u00e4sentative IQ-Norm ableiten.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Keine Aussage \u00fcber die Genauigkeit eines einzelnen Ergebnisses<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Eine Reliabilit\u00e4t von rund 0,88 bedeutet nicht, dass jeder ausgegebene IQ-Wert \u201ezu 88 Prozent richtig\u201c ist. F\u00fcr individuelle Aussagen w\u00e4ren unter anderem eine belastbare Normierung und ein Standardmessfehler in der verwendeten IQ-Skala erforderlich.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Keine vollst\u00e4ndige Validit\u00e4tspr\u00fcfung<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Zuverl\u00e4ssigkeit ist eine wichtige Voraussetzung f\u00fcr belastbare Messungen, aber sie ist nicht dasselbe wie Validit\u00e4t. Validit\u00e4t betrifft die Frage, ob die Interpretation und Verwendung eines Testergebnisses durch geeignete Belege gest\u00fctzt werden. Validit\u00e4t, Zuverl\u00e4ssigkeit und Fairness gelten deshalb als zusammenh\u00e4ngende, aber unterschiedliche Anforderungen an einen Test. [1]<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Fazit: ein starkes Ergebnis mit klaren Grenzen<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die 46 auswertbaren Aufgaben des IQ-Tests von IQ-Test.org zeigen \u00fcber 43.651 historische Testdurchf\u00fchrungen hinweg eine hohe interne Konsistenz. Cronbachs Alpha (0,876) und McDonalds Omega (0,875) kommen zu nahezu derselben Einsch\u00e4tzung. Die meisten Aufgaben h\u00e4ngen sinnvoll mit dem \u00fcbrigen Testergebnis zusammen, decken einen breiten Schwierigkeitsbereich ab und tragen zu einem dominanten gemeinsamen Leistungsfaktor bei.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Gleichzeitig macht die Analyse sichtbar, wo ich den Test verbessern kann. Besonders Aufgabe q35 und in geringerem Umfang auch Aufgabe q11 werde ich inhaltlich \u00fcberpr\u00fcfen. Aufgabe q40 bleibt aus den historischen Berechnungen ausgeschlossen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Als interne Gesamtskala funktioniert der Test damit zuverl\u00e4ssig und unterscheidet \u00fcber einen breiten Schwierigkeitsbereich. Ob der ausgegebene IQ-Wert mit professionellen Intelligenztests \u00fcbereinstimmt, kann nur eine separate externe Validierungsstudie zeigen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Falls du Zugang zu einem professionellen Intelligenztest hast und eine entsprechende Studie durchf\u00fchren m\u00f6chtest, freue ich mich \u00fcber eine Nachricht.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Methodik und Beschreibungen im Detail<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Der folgende Abschnitt dokumentiert die Berechnungen f\u00fcr Leserinnen und Leser, die die Ergebnisse fachlich genauer nachvollziehen m\u00f6chten. Zum Verst\u00e4ndnis des Hauptartikels ist er nicht erforderlich.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Stichprobe und Datenaufbereitung<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Datenstand: historischer Datenbankexport bis 1. September 2026<\/li>\n\n\n\n<li>Beobachteter Zeitraum: 10. Mai 2010 bis 1. September 2026<\/li>\n\n\n\n<li>Einschlusskriterium: Nur gepr\u00fcfte und valide Datens\u00e4tze (<code>norm_valid = 1)<\/code><\/li>\n\n\n\n<li>Stichprobengr\u00f6\u00dfe: (N = 43.651)<\/li>\n\n\n\n<li>Urspr\u00fcngliche Aufgaben: 47<\/li>\n\n\n\n<li>Analysierte Aufgaben: 46<\/li>\n\n\n\n<li>Ausschluss: q40 wegen historisch inkonsistentem L\u00f6sungsschl\u00fcssel und fehlenden Rohantworten<\/li>\n\n\n\n<li>Kodierung: richtig = 1, falsch = 0<\/li>\n\n\n\n<li>Analysierter Score: ungewichtete Summe der 46 Itemwerte<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">Cronbachs Alpha<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Alpha wurde f\u00fcr die bin\u00e4ren Itemwerte nach der klassischen Formel berechnet:<\/p>\n\n\n\n<p class=\"has-text-align-center wp-block-paragraph\"><math data-latex=\"\u03b1 = [k \/ (k \u2212 1)] \u00d7 [1 \u2212 (\u03a3\u1d62\u208c\u2081\u1d4f \u03c3\u1d62\u00b2 \/ \u03c3\u2093\u00b2)]\"><semantics><mrow><mi>\u03b1<\/mi><mo>=<\/mo><mo form=\"prefix\" stretchy=\"false\">[<\/mo><mi>k<\/mi><mi>\/<\/mi><mo form=\"prefix\" stretchy=\"false\">(<\/mo><mi>k<\/mi><mo>\u2212<\/mo><mn>1<\/mn><mo form=\"postfix\" stretchy=\"false\">)<\/mo><mo form=\"postfix\" stretchy=\"false\">]<\/mo><mo>\u00d7<\/mo><mo form=\"prefix\" stretchy=\"false\">[<\/mo><mn>1<\/mn><mo>\u2212<\/mo><mo form=\"prefix\" stretchy=\"false\">(<\/mo><msubsup><mrow><mi mathvariant=\"normal\">\u03a3<\/mi><\/mrow><mrow><mi>i<\/mi><mo>=<\/mo><mn>1<\/mn><\/mrow><mi>k<\/mi><\/msubsup><msubsup><mi>\u03c3<\/mi><mi>i<\/mi><mn>2<\/mn><\/msubsup><mi>\/<\/mi><msubsup><mi>\u03c3<\/mi><mi>x<\/mi><mn>2<\/mn><\/msubsup><mo form=\"postfix\" stretchy=\"false\">)<\/mo><mo form=\"postfix\" stretchy=\"false\">]<\/mo><\/mrow><annotation encoding=\"application\/x-tex\">\u03b1 = [k \/ (k \u2212 1)] \u00d7 [1 \u2212 (\u03a3\u1d62\u208c\u2081\u1d4f \u03c3\u1d62\u00b2 \/ \u03c3\u2093\u00b2)]<\/annotation><\/semantics><\/math><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dabei ist <em>k<\/em> die Anzahl der Aufgaben, <em>\u03c3\u1d62\u00b2<\/em> die Varianz der jeweiligen Aufgabe und <em>\u03c3\u2093\u00b2<\/em> die Varianz des Summenscores. Bei bin\u00e4ren Aufgaben entspricht diese Berechnung dem KR-20-Ansatz. [2, 3]<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der folgenden Tabelle kann man die Faustregel zur Interpretation der Werte entnehmen.<\/p>\n\n\n\n<figure class=\"wp-block-table is-style-stripes\"><table class=\"has-fixed-layout\"><tbody><tr><th class=\"has-text-align-center\" data-align=\"center\"><strong><img decoding=\"async\" src=\"https:\/\/wikimedia.org\/api\/rest_v1\/media\/math\/render\/svg\/652e1fd9c3a2ca00e1a517783cdbb0e18e4181f8\" alt=\"{\\displaystyle \\alpha \\,}\"><\/strong><\/th><th class=\"has-text-align-center\" data-align=\"center\">Bedeutung<\/th><\/tr><tr><td>&gt; 0,9<\/td><td>exzellent<\/td><\/tr><tr><td>&gt; 0,8<\/td><td>gut<\/td><\/tr><tr><td>&gt; 0,7<\/td><td>akzeptabel<\/td><\/tr><tr><td>&gt; 0,6<\/td><td>fragw\u00fcrdig<\/td><\/tr><tr><td>&gt; 0,5<\/td><td>schlecht<\/td><\/tr><tr><td><img decoding=\"async\" src=\"https:\/\/wikimedia.org\/api\/rest_v1\/media\/math\/render\/svg\/440568a09c3bfdf0e1278bfa79eb137c04e94035\" alt=\"{\\displaystyle \\leq }\">\u00a00,5<\/td><td>inakzeptabel<\/td><\/tr><\/tbody><\/table><figcaption class=\"wp-element-caption\">Faustregel zur Interpretation der Alpha-Werte (nach George &amp; Mallery, 2003) [11]<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Das Ergebnis betr\u00e4gt <strong>\u03b1 = 0,8761<\/strong>. Starre Grenzen wie \u201egut\u201c oder \u201eexzellent\u201c sind nur grobe Faustregeln und h\u00e4ngen vom Zweck eines Tests ab. Zusammen mit Omega, den Trennsch\u00e4rfen und der Faktorenanalyse spricht der Wert hier f\u00fcr eine hohe interne Konsistenz. Alpha wird nicht als Beleg f\u00fcr Eindimensionalit\u00e4t oder Validit\u00e4t interpretiert. [4]<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">McDonalds Omega<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Erg\u00e4nzend zu Cronbachs Alpha habe ich McDonalds Omega berechnet. Daf\u00fcr wurde ein einfaktorielles Modell auf Grundlage der beobachteten Pearson-Korrelationen zwischen den 46 bin\u00e4r ausgewerteten Aufgaben verwendet. Das Grundprinzip l\u00e4sst sich f\u00fcr ein standardisiertes Ein-Faktor-Modell so darstellen:<\/p>\n\n\n\n<p class=\"has-text-align-center wp-block-paragraph\"><math data-latex=\"\u03c9 = (\u03a3 \u03bb\u1d62)\u00b2 \/ [(\u03a3 \u03bb\u1d62)\u00b2 + \u03a3 \u03b8\u1d62]\"><semantics><mrow><mi>\u03c9<\/mi><mo>=<\/mo><mo form=\"prefix\" stretchy=\"false\">(<\/mo><mrow><mi mathvariant=\"normal\">\u03a3<\/mi><\/mrow><msub><mi>\u03bb<\/mi><mi>i<\/mi><\/msub><msup><mo form=\"postfix\" stretchy=\"false\">)<\/mo><mn>2<\/mn><\/msup><mi>\/<\/mi><mo form=\"prefix\" stretchy=\"false\">[<\/mo><mo form=\"prefix\" stretchy=\"false\">(<\/mo><mrow><mi mathvariant=\"normal\">\u03a3<\/mi><\/mrow><msub><mi>\u03bb<\/mi><mi>i<\/mi><\/msub><msup><mo form=\"postfix\" stretchy=\"false\">)<\/mo><mn>2<\/mn><\/msup><mo>+<\/mo><mrow><mi mathvariant=\"normal\">\u03a3<\/mi><\/mrow><msub><mi>\u03b8<\/mi><mi>i<\/mi><\/msub><mo form=\"postfix\" stretchy=\"false\">]<\/mo><\/mrow><annotation encoding=\"application\/x-tex\">\u03c9 = (\u03a3 \u03bb\u1d62)\u00b2 \/ [(\u03a3 \u03bb\u1d62)\u00b2 + \u03a3 \u03b8\u1d62]<\/annotation><\/semantics><\/math><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dabei bezeichnet <em>\u03bb\u1d62<\/em> die Faktorladung einer Aufgabe. Sie gibt an, wie stark die Aufgabe mit dem gemeinsamen Faktor zusammenh\u00e4ngt. <em>\u03b8\u1d62<\/em> steht f\u00fcr den Anteil ihrer Varianz, der durch diesen Faktor nicht erkl\u00e4rt wird.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Auf dieser Grundlage ergibt sich <strong>\u03c9 = 0,8751<\/strong>. Der Wert liegt nahezu gleichauf mit Cronbachs Alpha von 0,8761. Beide Berechnungen f\u00fchren damit zur gleichen Einsch\u00e4tzung. [5, 6]<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Da die Aufgaben nur als richtig oder falsch erfasst werden, habe ich erg\u00e4nzend eine ordinal modellierte Sensitivit\u00e4tsanalyse mit tetrachorischen statt gew\u00f6hnlichen Pearson-Korrelationen berechnet. Vereinfacht gesagt wird dabei angenommen, dass hinter jeder Richtig-falsch-Antwort eine kontinuierliche F\u00e4higkeit beziehungsweise L\u00f6sungsneigung steht.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Unter diesen Modellannahmen ergibt sich ein h\u00f6heres Omega von 0,9377. Der Test wird dadurch nicht tats\u00e4chlich zuverl\u00e4ssiger \u2013 der h\u00f6here Wert h\u00e4ngt vor allem von den zus\u00e4tzlichen Modellannahmen ab. Ich berichte ihn deshalb nur als Sensitivit\u00e4tsanalyse, nicht als Ersatz f\u00fcr das oben genannte Omega von 0,8751.  [7]<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Itemschwierigkeit<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr jede Aufgabe (i) wurde der Anteil richtiger Antworten berechnet:<\/p>\n\n\n\n<p class=\"has-text-align-center wp-block-paragraph\"><em>p\u1d62 = Anzahl richtiger Antworten auf Aufgabe i \/ N<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dabei bezeichnet <em>N<\/em> die Anzahl der ausgewerteten Testdurchf\u00fchrungen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ein hoher Wert von <em>p\u1d62<\/em> steht bei dieser Definition f\u00fcr eine leichte Aufgabe. Die Werte reichen von <strong>0,0219<\/strong> bis <strong>0,9813<\/strong>; der Median betr\u00e4gt <strong>0,5376<\/strong>.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Korrigierte Trennsch\u00e4rfe<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Die korrigierte Trennsch\u00e4rfe zeigt, wie gut eine einzelne Aufgabe zwischen Personen mit insgesamt h\u00f6heren und niedrigeren Testleistungen unterscheidet. Ich habe sie als Pearson-Korrelation zwischen der Antwort auf eine Aufgabe und dem Summenscore der \u00fcbrigen 45 Aufgaben berechnet:<\/p>\n\n\n\n<p class=\"has-text-align-center wp-block-paragraph\"><math data-latex=\"r\u1d62\u209c(i) = cor(X\u1d62, Xgesamt \u2212 X\u1d62)\"><semantics><mrow><msub><mi>r<\/mi><mrow><mi>i<\/mi><mi>t<\/mi><\/mrow><\/msub><mo form=\"prefix\" stretchy=\"false\">(<\/mo><mi>i<\/mi><mo form=\"postfix\" stretchy=\"false\">)<\/mo><mo>=<\/mo><mi>c<\/mi><mi>o<\/mi><mi>r<\/mi><mo form=\"prefix\" stretchy=\"false\">(<\/mo><msub><mi>X<\/mi><mi>i<\/mi><\/msub><mo separator=\"true\">,<\/mo><mi>X<\/mi><mi>g<\/mi><mi>e<\/mi><mi>s<\/mi><mi>a<\/mi><mi>m<\/mi><mi>t<\/mi><mo>\u2212<\/mo><msub><mi>X<\/mi><mi>i<\/mi><\/msub><mo form=\"postfix\" stretchy=\"false\">)<\/mo><\/mrow><annotation encoding=\"application\/x-tex\">r\u1d62\u209c(i) = cor(X\u1d62, Xgesamt \u2212 X\u1d62)<\/annotation><\/semantics><\/math><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Formelzeichen bedeuten:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><em>r\u1d62\u209c(i)<\/em> ist die korrigierte Trennsch\u00e4rfe der Aufgabe <code><em>i<\/em><\/code>.<\/li>\n\n\n\n<li><em><code>cor<\/code> <\/em>steht f\u00fcr die Berechnung der Pearson-Korrelation.<\/li>\n\n\n\n<li><code><em>X\u1d62<\/em><\/code> ist die Antwort auf die jeweilige Aufgabe: richtig wird mit 1, falsch mit 0 codiert.<\/li>\n\n\n\n<li><em><code>Xgesamt<\/code> <\/em>ist der Summenscore aus allen 46 ausgewerteten Aufgaben.<\/li>\n\n\n\n<li><code><em>Xgesamt \u2212 X\u1d62<\/em><\/code> ist der sogenannte Restscore, also der Summenscore ohne die gerade untersuchte Aufgabe.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Die Pearson-Korrelation beschreibt, wie stark zwei Werte miteinander zusammenh\u00e4ngen. Sie kann zwischen \u22121 und +1 liegen. Ein hoher positiver Wert bedeutet hier: Wer die betreffende Aufgabe richtig l\u00f6st, erzielt tendenziell auch bei den \u00fcbrigen Aufgaben ein h\u00f6heres Ergebnis. Ein Wert nahe 0 weist auf keinen deutlichen Zusammenhang hin. Ein negativer Wert w\u00e4re ein Warnsignal, weil leistungsst\u00e4rkere Personen die Aufgabe dann tendenziell seltener richtig l\u00f6sen w\u00fcrden.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Da <em><code>X\u1d62<\/code> <\/em>nur die Werte 0 und 1 annehmen kann, handelt es sich genau genommen um eine punktbiseriale Korrelation. Sie ist mathematisch ein Sonderfall der Pearson-Korrelation.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Durch das Entfernen von <em>X\u1d62<\/em> aus dem Gesamtscore vermeide ich eine k\u00fcnstliche \u00dcberh\u00f6hung: Bliebe die untersuchte Aufgabe im Gesamtscore, w\u00fcrde sie teilweise mit sich selbst korreliert. [8]<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Der Median der korrigierten Trennsch\u00e4rfen betr\u00e4gt <strong>0,3615<\/strong>. Von den 46 untersuchten Aufgaben erreichen 32 mindestens 0,30; elf liegen unter 0,20. Diese Grenzen dienen als grobe Orientierung und nicht als starre Entscheidungsvorgabe. Eine niedrige Trennsch\u00e4rfe allein ist kein ausreichender Grund, eine Aufgabe automatisch zu entfernen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Faktorenanalyse: Welche gemeinsame Struktur zeigen die Aufgaben?<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Mit einer Faktorenanalyse habe ich untersucht, ob die Antworten auf die 46 Aufgaben \u00fcberwiegend durch einen gemeinsamen Faktor gepr\u00e4gt sind. Eine Faktorenanalyse sucht nach gemeinsamen Mustern in den Antworten. Ein Faktor bezeichnet dabei eine statistisch erkennbare Gemeinsamkeit zwischen mehreren Aufgaben.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">F\u00fcr alle 1.035 Aufgabenpaare habe ich tetrachorische Korrelationen gesch\u00e4tzt. Die Antworten liegen zwar nur als richtig oder falsch vor, das Modell nimmt jedoch an, dass dahinter eine stufenlos ausgepr\u00e4gte F\u00e4higkeit oder L\u00f6sungsneigung steht, die erst ab einem bestimmten Schwellenwert zur richtigen L\u00f6sung f\u00fchrt. Bei Antworten mit mehr als zwei Abstufungen wird das verwandte Verfahren als polychorische Korrelation bezeichnet. [9]<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ein erster Hinweis auf die gemeinsame Struktur sind die Eigenwerte der tetrachorischen Korrelationsmatrix. Sie zeigen, wie viel von den Zusammenh\u00e4ngen zwischen den Aufgaben durch einen Faktor zusammengefasst wird. Die vier gr\u00f6\u00dften Eigenwerte betragen:<\/p>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li><strong>12,9766<\/strong><\/li>\n\n\n\n<li><strong>2,4518<\/strong><\/li>\n\n\n\n<li><strong>1,9117<\/strong><\/li>\n\n\n\n<li><strong>1,3756<\/strong><\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Der erste Eigenwert ist damit mehr als f\u00fcnfmal so gro\u00df wie der zweite und fasst <strong>28,21 Prozent <\/strong>der Gesamtvarianz zusammen (zur Einordnung dieser Zahl siehe oben im Haupttext).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Diese Prozentzahl darf nicht mit der Zuverl\u00e4ssigkeit des Tests verwechselt werden. Sie bedeutet nicht, dass der Test nur zu 28,21 Prozent zuverl\u00e4ssig ist. Sie beschreibt, wie viel von der gesamten Struktur der Zusammenh\u00e4nge zwischen den 46 Aufgaben durch einen einzigen Faktor zusammengefasst werden kann.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Zus\u00e4tzlich habe ich betrachtet, wie stark jede Aufgabe mit diesem Faktor zusammenh\u00e4ngt. Dieser Zusammenhang wird als Faktorladung bezeichnet. In der Ein-Faktor-L\u00f6sung erreichen <strong>39 von 46 Aufgaben<\/strong> eine Ladung von mindestens 0,30. Aufgabe 38 weist mit <strong>0,746<\/strong> die h\u00f6chste Ladung auf. Aufgabe 35 erreicht dagegen nur <strong>0,016<\/strong> und zeigt praktisch keinen Zusammenhang mit diesem Faktor.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Insgesamt ist der gemeinsame Faktor f\u00fcr die Auswertung des Tests ein positives Ergebnis. Da am Ende ein Gesamtscore gebildet wird, sollten die Aufgaben eine gemeinsame Leistungsgrundlage besitzen. Die Analyse zeigt, dass dies bei der gro\u00dfen Mehrheit der Aufgaben der Fall ist.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Mehrere Eigenwerte liegen \u00fcber 1. Daraus leite ich nicht automatisch getrennte F\u00e4higkeiten ab. Die einfache Eigenwert-\u00fcber-1-Regel kann insbesondere bei vielen Aufgaben zu viele kleine Faktoren ergeben. Deshalb bewerte ich sie nicht isoliert. [10]<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Zeitliche Robustheitspr\u00fcfung<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Als erg\u00e4nzende Sensitivit\u00e4tsanalyse habe ich den Datensatz zeitlich in zwei gleich gro\u00dfe H\u00e4lften geteilt. Alpha betrug in der fr\u00fcheren H\u00e4lfte <strong>0,873<\/strong> und in der sp\u00e4teren <strong>0,880<\/strong>. Die Aufgabenschwierigkeiten korrelierten zwischen beiden H\u00e4lften mit <strong>0,986<\/strong>, die Trennsch\u00e4rfen mit <strong>0,989<\/strong>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die zentralen Ergebnisse sind damit \u00fcber die beiden Zeitabschnitte sehr \u00e4hnlich. Einzelne Aufgaben k\u00f6nnen sich dennoch ver\u00e4ndern: Bei Aufgabe q5 sank die L\u00f6sungsquote zwischen den H\u00e4lften um rund 14,4 Prozentpunkte. Solche Ver\u00e4nderungen m\u00f6chte ich k\u00fcnftig mit klar versionierten Aufgaben- und Auswertungsdaten beobachten.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Reproduzierbare Ergebniswerte<\/h3>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><tbody><tr><th>Analyse<\/th><th class=\"has-text-align-right\" data-align=\"right\">Wert<\/th><\/tr><tr><td>F\u00e4lle<\/td><td class=\"has-text-align-right\" data-align=\"right\">43.651<\/td><\/tr><tr><td>Items<\/td><td class=\"has-text-align-right\" data-align=\"right\">46<\/td><\/tr><tr><td>Mittelwert des Summenscores<\/td><td class=\"has-text-align-right\" data-align=\"right\">24,4468<\/td><\/tr><tr><td>Standardabweichung des Summenscores<\/td><td class=\"has-text-align-right\" data-align=\"right\">7,9980<\/td><\/tr><tr><td>Median des Summenscores<\/td><td class=\"has-text-align-right\" data-align=\"right\">25<\/td><\/tr><tr><td>Cronbachs Alpha<\/td><td class=\"has-text-align-right\" data-align=\"right\">0,876134<\/td><\/tr><tr><td>Standardisiertes Alpha<\/td><td class=\"has-text-align-right\" data-align=\"right\">0,872617<\/td><\/tr><tr><td>McDonalds Omega, beobachtete Pearson-Korrelationen<\/td><td class=\"has-text-align-right\" data-align=\"right\">0,875077<\/td><\/tr><tr><td>Ordinales Omega, tetrachorische Sensitivit\u00e4tsanalyse<\/td><td class=\"has-text-align-right\" data-align=\"right\">0,937743<\/td><\/tr><tr><td>Median der Itemschwierigkeiten<\/td><td class=\"has-text-align-right\" data-align=\"right\">0,537605<\/td><\/tr><tr><td>Median der korrigierten Trennsch\u00e4rfen<\/td><td class=\"has-text-align-right\" data-align=\"right\">0,361538<\/td><\/tr><tr><td>Erster tetrachorischer Eigenwert<\/td><td class=\"has-text-align-right\" data-align=\"right\">12,9766<\/td><\/tr><tr><td>Zweiter tetrachorischer Eigenwert<\/td><td class=\"has-text-align-right\" data-align=\"right\">2,4518<\/td><\/tr><tr><td>Verh\u00e4ltnis erster zu zweitem Eigenwert<\/td><td class=\"has-text-align-right\" data-align=\"right\">5,29<\/td><\/tr><tr><td>Anteil des ersten Faktors<\/td><td class=\"has-text-align-right\" data-align=\"right\">28,21 %<\/td><\/tr><tr><td>Ladungen auf Faktor 1 \u2265 0,30<\/td><td class=\"has-text-align-right\" data-align=\"right\">39 von 46<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\">Quellen und weiterf\u00fchrende Literatur<\/h2>\n\n\n\n<ol start=\"1\" class=\"wp-block-list\">\n<li>American Educational Research Association, American Psychological Association &amp; National Council on Measurement in Education (2014): <em><a href=\"https:\/\/www.aera.net\/publications\/books\/standards-for-educational-psychological-testing-2014-edition\" target=\"_blank\" rel=\"noopener\">Standards for Educational and Psychological Testing<\/a><\/em>.<\/li>\n\n\n\n<li>Cronbach, L. J. (1951): <em><a href=\"https:\/\/doi.org\/10.1007\/BF02310555\" target=\"_blank\" rel=\"noopener\">Coefficient Alpha and the Internal Structure of Tests<\/a><\/em>. Psychometrika, 16, 297\u2013334.<\/li>\n\n\n\n<li>Kuder, G. F. &amp; Richardson, M. W. (1937): <em><a href=\"https:\/\/doi.org\/10.1007\/BF02288391\" target=\"_blank\" rel=\"noopener\">The Theory of the Estimation of Test Reliability<\/a><\/em>. Psychometrika, 2, 151\u2013160.<\/li>\n\n\n\n<li>Sijtsma, K. (2009): <em><a href=\"https:\/\/pmc.ncbi.nlm.nih.gov\/articles\/PMC2792363\/\" target=\"_blank\" rel=\"noopener\">On the Use, the Misuse, and the Very Limited Usefulness of Cronbach\u2019s Alpha<\/a><\/em>. Psychometrika, 74, 107\u2013120.<\/li>\n\n\n\n<li>McDonald, R. P. (1978): <em><a href=\"https:\/\/doi.org\/10.1177\/001316447803800111\" target=\"_blank\" rel=\"noopener\">Generalizability in Factorable Domains: Domain Validity and Generalizability<\/a><\/em>. Educational and Psychological Measurement, 38, 75\u201379.<\/li>\n\n\n\n<li>Dunn, T. J., Baguley, T. &amp; Brunsden, V. (2014): <em><a href=\"https:\/\/doi.org\/10.1111\/bjop.12046\" target=\"_blank\" rel=\"noopener\">From Alpha to Omega: A Practical Solution to the Pervasive Problem of Internal Consistency Estimation<\/a><\/em>. British Journal of Psychology, 105, 399\u2013412.<\/li>\n\n\n\n<li>Green, S. B. &amp; Yang, Y. (2009): <em><a href=\"https:\/\/doi.org\/10.1007\/s11336-008-9099-3\" target=\"_blank\" rel=\"noopener\">Reliability of Summed Item Scores Using Structural Equation Modeling: An Alternative to Coefficient Alpha<\/a><\/em>. Psychometrika, 74, 155\u2013167.<\/li>\n\n\n\n<li>Henrysson, S. (1963): <em><a href=\"https:\/\/doi.org\/10.1007\/BF02289618\" target=\"_blank\" rel=\"noopener\">Correction of Item-Total Correlations in Item Analysis<\/a><\/em>. Psychometrika, 28, 211\u2013218.<\/li>\n\n\n\n<li>Flora, D. B. &amp; Curran, P. J. (2004): <em><a href=\"https:\/\/pmc.ncbi.nlm.nih.gov\/articles\/PMC3153362\/\" target=\"_blank\" rel=\"noopener\">An Empirical Evaluation of Alternative Methods of Estimation for Confirmatory Factor Analysis With Ordinal Data<\/a><\/em>. Psychological Methods, 9, 466\u2013491.<\/li>\n\n\n\n<li>Zwick, W. R. &amp; Velicer, W. F. (1986): <em><a href=\"https:\/\/doi.org\/10.1037\/0033-2909.99.3.432\" target=\"_blank\" rel=\"noopener\">Comparison of Five Rules for Determining the Number of Components to Retain<\/a><\/em>. Psychological Bulletin, 99, 432\u2013442.<\/li>\n\n\n\n<li><strong>George, D. &amp; Mallery, P. (2003):<\/strong> <em>SPSS for Windows step by step: A simple guide and reference. 11.0 update (4th ed.).<\/em> Boston: Allyn &amp; Bacon.<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Zusammenfassung: Ich habe 43.651 historische Testdurchf\u00fchrungen auf IQ-Test.org ausgewertet. Das Ergebnis ist stark: Die 46 analysierten Aufgaben arbeiten insgesamt bemerkenswert konsistent zusammen. Cronbachs Alpha und McDonalds Omega liegen jeweils bei rund 0,88. Auch die meisten einzelnen Aufgaben h\u00e4ngen sinnvoll mit dem Gesamtergebnis zusammen, und in den Antworten zeigt sich ein deutlicher gemeinsamer Leistungsfaktor. Diese interne [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":226,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[177],"tags":[186,180,181,184],"class_list":["post-209","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-iq-test","tag-aufgabenanalyse","tag-datenanalyse","tag-testqualitaet","tag-zuverlaessigkeit"],"_links":{"self":[{"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/posts\/209","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/comments?post=209"}],"version-history":[{"count":15,"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/posts\/209\/revisions"}],"predecessor-version":[{"id":228,"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/posts\/209\/revisions\/228"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/media\/226"}],"wp:attachment":[{"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/media?parent=209"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/categories?post=209"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/iq-test.org\/blog\/wp-json\/wp\/v2\/tags?post=209"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}