Welche Methoden zur Modellkontrolle gibt es?
Um zu überprüfen, ob die vorliegenden Items dem dichotom logistischen Modell von Rasch entsprechen, können verschiedene Modelltests herangezogen werden.
Dazu gehören z.B.
Bei den Modellkontrollen wird überprüft ob/welche Item nicht das Rasch-Modell erfüllen.
Es werden solange Items aus dem Test entfernt bis die Modelltests nicht mehr signifikant sind.
Müssen mehr als in etwa 20% der Items entfernt werden, sollten die verbleibenden Items an einer neuen Stichprobe abermals geprüft werden.
Dazu gehören z.B.
- die grafische Modellkontrolle,
- der z-Test nach Wald,
- der bedingte Likelihood Quotienten Test nach Andersen und
- der Martin Löf Test.
Bei den Modellkontrollen wird überprüft ob/welche Item nicht das Rasch-Modell erfüllen.
Es werden solange Items aus dem Test entfernt bis die Modelltests nicht mehr signifikant sind.
Müssen mehr als in etwa 20% der Items entfernt werden, sollten die verbleibenden Items an einer neuen Stichprobe abermals geprüft werden.
Tags: IRT, Modellkontrollen, Rasch-Modell
Quelle: F290
Quelle: F290
Welche Methoden müssen zur Normierung der Itemschwierigkeit bzw. -leichtigkeit eingesetzt werden?
Für Itemschwierigkeiten ist die „Summe 0“ Normierung zu empfehlen (d.h. die Summe aller Itemschwierigkeiten ist 0).
Wenn dies nicht der Fall ist, dann können die Items nachträglich normiert werden. Man berechnet sich den Mittelwert und zieht diese von der Itemschwierigkeit ab.
Für Itemleichtigkeiten sollte die „Produkt 1“ Normierung verwendet werden (d.h. das Produkt aller Itemleichtigkeiten ist 1).
Wenn dies nicht der Fall ist, dann können die Items nachträglich normiert werden. Man berechnet sich den Mittelwert und zieht diese von der Itemschwierigkeit ab.
Für Itemleichtigkeiten sollte die „Produkt 1“ Normierung verwendet werden (d.h. das Produkt aller Itemleichtigkeiten ist 1).
Tags: Itemschwierigkeit, Modellkontrollen, Normierung, Rasch-Modell
Quelle: F297
Quelle: F297
Was ist der z-Test nach Wald?
(Modellkontrollen)
Beim z-Test nach Wald werden die in zwei Stichproben (A, B) erhobenen und normierten Itemschwierigkeitsparameter miteinander verglichen.
Ist der Betrag des z-Werts größer als der kritische z-Wert, ist das Ergebnis signifikant und das Modell von Rasch gilt für dieses Item nicht.
Da der z-Test pro Item erfolgt und demnach die Gefahr der Alpha Überhöhung gegeben ist, kann aus den z-Werten ein Globaltest für alle in einem Test enthaltenen Items berechnet werden.
Ist der
-Wert größer als der kritische, ist das Ergebnis
signifikant und man muss zumindest das Item mit dem betragsmäßig größten z-Wert aus dem Test entfernen.
Dann muss der Test erneut durchgeführt werden.
Beim z-Test nach Wald werden die in zwei Stichproben (A, B) erhobenen und normierten Itemschwierigkeitsparameter miteinander verglichen.
Ist der Betrag des z-Werts größer als der kritische z-Wert, ist das Ergebnis signifikant und das Modell von Rasch gilt für dieses Item nicht.
Da der z-Test pro Item erfolgt und demnach die Gefahr der Alpha Überhöhung gegeben ist, kann aus den z-Werten ein Globaltest für alle in einem Test enthaltenen Items berechnet werden.
Ist der
-Wert größer als der kritische, ist das Ergebnissignifikant und man muss zumindest das Item mit dem betragsmäßig größten z-Wert aus dem Test entfernen.
Dann muss der Test erneut durchgeführt werden.
Tags: Modellkontrollen, Rasch-Modell, z-Test
Quelle: F298
Quelle: F298
Was ist der LQT?
Bei Likelihood Quotienten Tests (LQT) werden die Likelihoods zweier Modelle miteinander verglichen.
Die beiden Modelle müssen drei Bedingungen erfüllen
Sind diese drei Bedingungen erfüllt, kann man den LQT in eine verteilte Prüfgröße umwandeln.
Beim bedingten LQT Test nach Andersen wird für Modell 1 angenommen, dass zwei (oder mehr) Gruppen von Personen unterschiedliche Itemparameter haben.
Bei Modell 2 wird davon ausgegangen, dass die Itemparameter in allen Gruppen gleich sind (= spezifische Objektivität).
Lässt sich kein Unterschied zwischen der Likelihood der beiden Modelle nachweisen(= nicht signifikantes Ergebnis), darf Modell 2 (und damit die Gültigkeit des RM) angenommen werden.
Die beiden Modelle müssen drei Bedingungen erfüllen
- Modell 1 muss ein echtes Obermodell von Modell 2 sein (d.h. dass Modell 2 durch Restriktionen von Parametern aus Modell 1 entsteht).
- Modell 2 darf nicht durch 0 setzen von Parametern entstehen.
- Modellgültigkeit von Modell 1 muss nachgewiesen sein.
Sind diese drei Bedingungen erfüllt, kann man den LQT in eine
verteilte Prüfgröße umwandeln.Beim bedingten LQT Test nach Andersen wird für Modell 1 angenommen, dass zwei (oder mehr) Gruppen von Personen unterschiedliche Itemparameter haben.
Bei Modell 2 wird davon ausgegangen, dass die Itemparameter in allen Gruppen gleich sind (= spezifische Objektivität).
Lässt sich kein Unterschied zwischen der Likelihood der beiden Modelle nachweisen(= nicht signifikantes Ergebnis), darf Modell 2 (und damit die Gültigkeit des RM) angenommen werden.
Tags: LQT, Modellkontrollen, Rasch-Modell
Quelle: F300
Quelle: F300
Was ist der Martin Löf Test?
(Modellkontrollen)
Der Martin Löf Test basiert im Wesentlichen auf derselben Annahme wie der bedingte LQT von Andersen, jedoch werden nicht die Personen, sondern die Items in zwei Gruppen aufgeteilt. Demnach wird geprüft, ob die Schätzungen der Personenparameter in beiden Itemgruppen gleich sind.
Auch hier deutet ein signifikantes Ergebnis auf eine Verletzung der Annahmen des Rasch Modells bei zumindest einem Item hin.
Es werden solange Items aus dem Test entfernt bis die Modelltests nicht mehr signifikant sind.
Müssen mehr als in etwa 20% der Items entfernt werden, sollten die verbleibenden Items an einer neuen Stichprobe abermals geprüft werden.
Der Martin Löf Test basiert im Wesentlichen auf derselben Annahme wie der bedingte LQT von Andersen, jedoch werden nicht die Personen, sondern die Items in zwei Gruppen aufgeteilt. Demnach wird geprüft, ob die Schätzungen der Personenparameter in beiden Itemgruppen gleich sind.
Auch hier deutet ein signifikantes Ergebnis auf eine Verletzung der Annahmen des Rasch Modells bei zumindest einem Item hin.
Es werden solange Items aus dem Test entfernt bis die Modelltests nicht mehr signifikant sind.
Müssen mehr als in etwa 20% der Items entfernt werden, sollten die verbleibenden Items an einer neuen Stichprobe abermals geprüft werden.
Tags: Modellkontrollen, Rasch-Modell
Quelle: F304
Quelle: F304
Was zeigen diese Ausdruck? Was kann interpretiert werden?
Ein Test zur Erfassung von Raumvorstellung besteht aus 13 dichotomen Items. Es soll geprüft werden, ob die Items dem Modell von Rasch entsprechen. Als Teilungskriterien werden der Mittelwert und der Median des Rohscores herangezogen.
Grafische Darstellung:
Grafische Darstellung:
Tags: Modellkontrollen, Rasch-Modell, z-Test
Quelle: F306
Quelle: F306
Was zeigt dieser Ausdruck?
Modellkontrolle:
Der Martin Löf Test basiert im Wesentlichen auf derselben Annahme wie der bedingte LQT von Andersen, jedoch werden nicht die Personen, sondern die Items in zwei Gruppen aufgeteilt. Demnach wird geprüft, ob die Schätzungen der Personenparameter in beiden Itemgruppen gleich sind.
Auch hier deutet ein signifikantes Ergebnis auf eine Verletzung der Annahmen des Rasch Modells bei zumindest einem Item hin.
Es werden solange Items aus dem Test entfernt bis die Modelltests nicht mehr signifikant sind.
Müssen mehr als in etwa 20% der Items entfernt werden, sollten die verbleibenden Items an einer neuen Stichprobe abermals geprüft werden.
Der Martin Löf Test basiert im Wesentlichen auf derselben Annahme wie der bedingte LQT von Andersen, jedoch werden nicht die Personen, sondern die Items in zwei Gruppen aufgeteilt. Demnach wird geprüft, ob die Schätzungen der Personenparameter in beiden Itemgruppen gleich sind.
Auch hier deutet ein signifikantes Ergebnis auf eine Verletzung der Annahmen des Rasch Modells bei zumindest einem Item hin.
Es werden solange Items aus dem Test entfernt bis die Modelltests nicht mehr signifikant sind.
Müssen mehr als in etwa 20% der Items entfernt werden, sollten die verbleibenden Items an einer neuen Stichprobe abermals geprüft werden.
Tags: Martin Löf Test, Modellkontrollen, Rasch-Modell
Quelle: F310
Quelle: F310
Kartensatzinfo:
Autor: coster
Oberthema: Psychologie
Thema: Testtheorie
Schule / Uni: Universität Wien
Ort: Wien
Veröffentlicht: 12.06.2013
Schlagwörter Karten:
Alle Karten (187)
adaptive Testen (1)
adaptiver Test (1)
adaptives Testen (1)
apparativer Test (1)
Axiome (6)
Berechnung (20)
Birnbaum Modelle (1)
Definition (18)
Eigenwert (5)
Erwartungswert (1)
Existenzaxiom (1)
Faktorenanalyse (21)
Faktorenrotation (3)
Faktorenzahl (1)
Faktorwert (1)
Faktorwerte (1)
Fragebogen (2)
Guttman-Skala (4)
Häufigkeit (1)
Hypothese (2)
IRT (32)
Itemanalyse (9)
Itemkonstruktion (3)
Itemtrennschärfe (3)
Itemvarianz (2)
Kennwert (2)
Kennwerte (1)
Kommunalität (2)
Korrelation (3)
Kosten-Nutzen (1)
Kovarianz (1)
Kritik (1)
Ladung (2)
Leistungstest (1)
Likelihood (4)
LLTM (2)
LQT (1)
Marker-Item (1)
Martin Löf Test (1)
Merkmal (3)
Messung (1)
Mittelwert (1)
Modellkontrolle (1)
Modellkontrollen (7)
Normalverteilung (1)
Normierung (4)
Normwerte (5)
Objektivität (5)
Parallelität (1)
Population (2)
projektiver Test (1)
Prozentränge (2)
Rasch-Modell (26)
Regression (1)
Reliabilität (26)
Routineverfahren (2)
Skalenniveau (2)
Skalierung (1)
Spearman-Brown (3)
Stichprobe (1)
Test (8)
Testarten (1)
Testkonstruktion (2)
Tests (1)
Testtheorie (1)
Validität (28)
Varianz (4)
Wissenschaft (2)
z-Test (2)
z-Wert (2)
