Hol' Dir diese Lernkarten, lerne & bestehe Prüfungen. Kostenlos! Auch auf iPhone/Android!

Im einfachsten Fall, bei dichotom zu verrechnenden Aufgaben eines Leistungstests (richtig vs. falsch), ergibt sich die (Item-)Schwierigkeit laut Klassischer Testtheorie als die relative Lösungshäufigkeit, mit der eine Aufgabe in der Eichstichprobe gelöst wurde.

Bei mehrkategoriell zu verrechnenden Aufgaben können zwar die relativen Häufigkeiten bestimmt werden, mit denen die einzelnen Kategorien in einer (Eich-)Stichprobe realisiert wurden, die Bezeichnung als "Schwierigkeit" ist aber pro Kategorie unüblich.

Demgegenüber wird die Bezeichnung "Schwierigkeit" häufig auch bei dichotom zu verrechnenden Items eines Persönlichkeitsfragebogens verwendet, obwohl es inhaltlich treffender wäre, vom "Grad der Herausforderung" zu sprechen, mit dem ein Item die Tp konfrontiert, in bestimmter Weise zu reagieren.

(Skalierung als Gütekriterium bezieht sich bei gegebener Eindimensionalität eines Tests darauf, ob die Verrechnung zu Testwerten empirisch begründet ist.)

Die Methoden der klassischen Testtheorie sind völlig ungeeignet, einen Test hinsichtlich des Gütekriteriums Skalierung zu prüfen und deshalb gibt es dieses Gütekriterium in diesem Ansatz gar nicht.

Im Zusammenhang mit der Skalierung verwendet die klassische Testtheorie folgende Methoden (in denen es vor allem um die Zusammenfassung von Items zu Tests geht):

• Innere Konsistenz
• Faktorenanalyse
• Interkorrelationen

Die Zielsetzung eindimensionaler Messungen entsprechend soll die innere Konsistenz eines Tests möglichst groß sein: Die Items ein und desselben Tests sollen gemeinsam auf einen einzigen Faktor laden und die Interkorrelationen aller Items nahzu 1 betragen.

Des Weiteren fordert die klassische Testtheorie bei der Itemzusammenstellung eines Test auch

• dass sich die Schwierigkeit des Items gleichmäßig innerhalb des Intervalls (0,05 bis 0,95) verteilen,
• dass die sog. "Trennschärfeindizes" der Items (das sind die Korrelationen des Testwerts pro Item mit dem Testwert aus allen übrigen Items) sehr hohe Werte annehmen.

Die Methoden der klassischen Testtheorie müssen jedoch grundsätzlich kritisiert werden. Sie sind alle stichprobenabhängig.
(Abbildung unten zeigt, dass die Korrelation der Testwerte zweier Aufgaben für 2 Teilstichproben gänzlich andere Werte annehmen kann als für die Gesamtstichprobe.)

Anders als die Klassische Testtheorie kann die Item-Response-Theorie durchaus prüfen, ob die gegebenen Verrechnungsvorschriften eines Tests zu Testwerten führen, die verhaltensadäquate Relationen wiedergeben.