Get these flashcards, study & pass exams. For free! Even on iPhone/Android!

Im Rahmen der klassischen Testtheorie gelten laut Moosbrugger & Kelava (2008)* die folgenden Axiome:

1. das Existenzaxiom,
2. das Verknüpfungsaxiom und
3. das Unabhängigkeitsaxiom.

* die angeführten Axiome unterscheiden sich von den üblicherweise angeführten.
Axiome sind nicht weiter zu hinterfragende Grundannahmen.

Das Existenzaxiom besagt, dass ein „wahrer Wert“ (= true score) existiert. Dieser „wahre Wert“ ist der Erwartungswert der gemessenen Leistung einer Person.

Demnach gilt

(Im Rahmen der klassischen Testtheorie gelten laut Moosbrugger & Kelava (2008) die folgenden Axiome: das Existenzaxiom, das Verknüpfungsaxiom und das Unabhängigkeitsaxiom.)

Das Verknüpfungsaxiom besagt, dass sich die gemessene Leistung einer Person aus ihrem wahren Wert und dem Messfehler zusammensetzt.

Der Messfehler spielt in der klassischen Testtheorie eine zentrale Rolle. Sie wird daher auch oft als „Messfehlertheorie“ bezeichnet.

(Im Rahmen der klassischen Testtheorie gelten laut Moosbrugger & Kelava (2008) die folgenden Axiome: das Existenzaxiom, das Verknüpfungsaxiom und das Unabhängigkeitsaxiom.)

Das Unabhängigkeitsaxiom besagt, dass der „wahre Wert“ einer Person und der bei der Messung entstandene Messfehler nicht korrelieren.

(Im Rahmen der klassischen Testtheorie gelten laut Moosbrugger & Kelava (2008) die folgenden Axiome: das Existenzaxiom, das Verknüpfungsaxiom und das Unabhängigkeitsaxiom.)

Da bei Messfehlertheorien im allgemeinen angenommen wird, dass es sich bei dem Messfehler um eine Zufallsvariable handelt, muss das Unabhängigkeitsaxiom erweitert werden.

(Klassische Testtheorie)

Äquivalente Messungen
Bei den äquivalenten Messungen geht es um die Frage, welche Voraussetzungen erfüllt sein müssen, um annehmen zu können, dass zwei Tests (oder auch Items), dasselbe psychologische Merkmal messen.
Es gibt hierfür vier unterschiedlich strenge „Zugänge“:
– Replikation,
– Parallelmessung
– - äquivalente Messungen und
– essentielle -äquivalente Messungen.

Replikation
Bei der Replikation wird gefordert, dass verschiedene Messinstrumente bei derselben Person zu exakt demselben Messergebnis kommen müssen, um von einer wiederholten Messung zu sprechen. Sie stellt somit die strengsten (und für die Praxis unrealistische) Forderungen.

Parallelmessung
Um eine Parallelmessung handelt es sich, wenn zwei Tests (oder Items), denselben Erwartungswert und die selbe Varianz besitzen.
Demnach gilt bei Parallelmessungen

Parallelmessungen erfassen das gleiche psychologische Merkmal gleich genau, da die Gleichheit der Varianzen der Messwerte auch gleiche Varianzen der Messfehler bedeutet.
Ein zu Test A paralleler Test wird in weiterer Folge mit A‘ bezeichnet.

- äquivalente Messungen
Um - äquivalente Messungen handelt es sich, wenn zwei Tests (oder Items), denselben Erwartungswert aber unterschiedliche Varianz besitzen.
Demnach gilt bei - äquivalenten Messungen

- äquivalente Messungen erfassen das gleiche Merkmal verschieden genau.

Essentiell äquivalente Messungen
Bei essentiell - äquivalente Messungen unterscheiden sich die Erwartungswerte zweier Tests (oder Items) um eine additive Konstante. Die Varianzen können ebenfalls verschieden sein.
Demnach gilt bei essentiell - äquivalenten Messungen

Nach der Planung und Entwicklung der Items eines Tests müssen diese einer für den zukünftigen Anwendungsbereich des Tests möglichst repräsentativen Stichprobe vorgelegt werden, um die Eignung der Items deskriptivstatistisch (und eventuell faktorenanalytisch) zu untersuchen.

Die üblicherweise berechneten Kennwerte sind

• Itemschwierigkeit
- Zahl zwischen 0 und 1- Eher Itemleichtigkeit – da: je näher als 1 desto leichter.- Bei Items die dichotom messen ist dies (mal 100) der Prozentsatz der Personen die die Aufgabe lösen.
• Itemvarianz
- Wie unterschiedlich sind die Ergebnisse?- Ist ein Hinweis, wie gut das Item es erlaubt unterschiedliche Personen auseinanderzuhalten.
• Itemtrennschärfe
- Korrelation der Items mit der Gesamtpunkteanzahl- Anders gesagt: Misst dieses Item das gleiche wie die anderen Items im Test.

Die Auswahl für den Test geeigneter Items basiert u.a. auf der gleichzeitigen Berücksichtigung der ermittelten Testkennwerte.

Selbstverständlich können auch die Ergebnisse der Faktorenanalyse zur Itemselektion herangezogen werden.

Der Schwierigkeitsindex Pi eines Items i ist der Quotient aus der bei diesem Item tatsächlich erreichten Punktesumme aller N Personen und der bei diesem Item von allen Personen maximal erreichbaren Punktesumme multipliziert mit 100.

- Zahl zwischen 0 und 1
- Eher Itemleichtigkeit – da: je näher als 1 desto leichter.
- Bei Items die dichotom messen ist dies (mal 100) der Prozentsatz der Personen die die Aufgabe lösen.

Die Varianz der Items wird mittels der aus der Statistik bekannten Formeln für die Varianz ermittelt.

Vereinfacht gilt: je größer die Varianz eines Items, umso besser seine Fähigkeit zur Differenzierung (=Diskriminationsfähigkeit).

- Korrelation der Items mit der Gesamtpunkteanzahl
- Anders gesagt: Misst dieses Item das gleiche wie die anderen Items im Test.

Die Trennschärfe ri,t eines Item i ist der korrelative Zusammenhang zwischen den Punkten, die von einer Person v im Item i und den Punkten die von Person v im Gesamttest erzielt werden.

Neben der unkorrigierten Itemtrennschärfe gibt es auch noch
die korrigierte Itemtrennschärfe bei der die Punkteanzahl, die
eine Person im Gesamttest erzielt hat, um die Punktezahl die
im jeweiligen Item erzielt wurde reduziert wird.

Obwohl sich Tests, die nach der klassischen Testtheorie konstruiert wurden, in der Praxis durchaus bewährt haben, gibt es zahlreiche Kritikpunkte.

• Die Grundannahmen (Axiome) können nicht überprüft werden.
Z.B. Korrelation der Parameter
• Das Intervallskalenniveau der Testergebnisse wird vorausgesetzt, kann jedoch nicht generell bewiesen werden.
Problem mit rangskalierten Werten – man benötigt intervallskalierte Items, da man mit Varianzen, etc. arbeitet
• Alle im Rahmen der klassischen Testtheorie gewonnenen Kennwerte sind stichprobenabhängig.
D.h. die Werte sind nicht verallgemeinerbar.
• Die Fairness der Summenbildung über verschiedene Items zur Ermittlung eines Gesamttestwerts ist nicht gesichert.
Beispiel: 20 dichotome Items. Alle Personen die 3 Items richtig haben, sind alle gleich gut. Es ist aber unklar ob eine Person die schwierigeren Aufgaben gelöst hat, oder nicht. - Dies kann mit der modernen Testtheorie mathematisch bewiesen werden.

Itemschwierigkeit
Je besser die Stichprobe an der die Schwierigkeit eines Items erhoben wird, desto leichter erscheint das Item. Aber auch der Vergleich des Schwierigkeitsverhältnisses zweier Items hängt von der Stichprobe ab.

Itemvarianz
Die größte Varianz kann bei mittelschweren Items erzielt werden. Je schwerer (oder leichter) ein Item wird, umso geringer ist die Varianz aufgrund von Boden- und Deckeneffekten.
z.B. : Dichotome Items: Extrem leichte (immer gelöste) oder extrem schwere (nie gelöste) Items, haben eine Varianz von 0.

Reliabilität

Validität

Da wir gezeigt haben, dass die Reliabilität von der Stichprobe abhängt, hängt auch die Validität von der Stichprobe ab.