This flashcard is just one of a free flashcard set. See all flashcards!
84
Welche Rolle spielt der Rateeffekt bei MC-Format und wie kann dieser in den Griff bekommen werden (6)?
Sehr oft unterschätzt wird die diagnostische Tragweite des Rateeffekts beim Multiple-Choice-Format. Die Wahrscheinlichkeit nämlich, dass die Tp bei einer Aufgabe nur zufällig die richtige Antwortmöglichkeit wählt und folglich die Aufgabe als "gelöst" verrechnet wird, kann relativ groß werdne.
Die "a-priori Ratewahrscheinlichkeit" bezeichnet die Wahrscheinlichkeit, wenn die Wahrscheinlichkeit eines "Treffers", lediglich von der Anzahl der dargebotenen Antwortmöglichkeiten abhängt.
Heute gibt es häufig 5 Antwortmöglichkeiten (1 Lösung + 4 Distraktoren); dass heißt die Ratewahrscheinlichkeit beträgt dann 1/5 = 0,20.
Diese Ratewahrscheinlichkeit wird höher (bis zu 1/2), wenn die Person über ein moderates Fähigkeitsniveau verfügt.
Ein allfälliger Rateeffekt ist testtheoretisch am besten mit dem 3PL bzw. dem Difficulty-plus-Guessing PL-Modell in den Griff zu bekommen: Hier wird der gesuchte Personenparameter eben gerade unter Berücksichtigung der Item-Rateparameter geschätzt.
Die Chance, erfolgreich zu raten, wird also in den Testwert mit ein kalkuliert, es kommt zu einer fairen Verrechnung der Testleistung.
Eine weitere Möglichkeit den Rateeffekt zu minimieren, ist die Anzahl der Antwortmöglichkeiten extrem anzuhöhen - dies ist jedoch unpraktikabel. Eine weitere Möglichkeit ist zwei richtige Antwortmöglichkeiten vorzusehen (und die Antwort ist nur richtig wenn beide angekreuzt werden).
Beispiel mit 5 Antwortmöglichkeiten: (5/2) = 1/10 = 0,10.
Noch stärker lässt sich die a-priori-Ratewahrscheinlichkeit reduzieren, wenn beliebig viele der Antwortmöglichkeiten richtig oder falsch sein können, also sogar auch einmal gar keine oder auch alle.
Weiters gibt es die Möglichkeit mit besonderen Instruktionen oder Antwortmöglichkeiten die Tp vom Raten abzuhalten.
(Beispiel 3DW: 2 Antwortmöglichkeiten "Ich weiß die Lösung nicht" und "Kein Würfel richtig".)
Auch kann die Ratewahrscheinlichkeit durch das sequenzielle vorgeben der Antwortmöglichkeiten, im gegensatz zur parallelen Vorgabe erheblich reduziert werden.
Die "a-priori Ratewahrscheinlichkeit" bezeichnet die Wahrscheinlichkeit, wenn die Wahrscheinlichkeit eines "Treffers", lediglich von der Anzahl der dargebotenen Antwortmöglichkeiten abhängt.
Heute gibt es häufig 5 Antwortmöglichkeiten (1 Lösung + 4 Distraktoren); dass heißt die Ratewahrscheinlichkeit beträgt dann 1/5 = 0,20.
Diese Ratewahrscheinlichkeit wird höher (bis zu 1/2), wenn die Person über ein moderates Fähigkeitsniveau verfügt.
Ein allfälliger Rateeffekt ist testtheoretisch am besten mit dem 3PL bzw. dem Difficulty-plus-Guessing PL-Modell in den Griff zu bekommen: Hier wird der gesuchte Personenparameter eben gerade unter Berücksichtigung der Item-Rateparameter geschätzt.
Die Chance, erfolgreich zu raten, wird also in den Testwert mit ein kalkuliert, es kommt zu einer fairen Verrechnung der Testleistung.
Eine weitere Möglichkeit den Rateeffekt zu minimieren, ist die Anzahl der Antwortmöglichkeiten extrem anzuhöhen - dies ist jedoch unpraktikabel. Eine weitere Möglichkeit ist zwei richtige Antwortmöglichkeiten vorzusehen (und die Antwort ist nur richtig wenn beide angekreuzt werden).
Beispiel mit 5 Antwortmöglichkeiten: (5/2) = 1/10 = 0,10.
Noch stärker lässt sich die a-priori-Ratewahrscheinlichkeit reduzieren, wenn beliebig viele der Antwortmöglichkeiten richtig oder falsch sein können, also sogar auch einmal gar keine oder auch alle.
Weiters gibt es die Möglichkeit mit besonderen Instruktionen oder Antwortmöglichkeiten die Tp vom Raten abzuhalten.
(Beispiel 3DW: 2 Antwortmöglichkeiten "Ich weiß die Lösung nicht" und "Kein Würfel richtig".)
Auch kann die Ratewahrscheinlichkeit durch das sequenzielle vorgeben der Antwortmöglichkeiten, im gegensatz zur parallelen Vorgabe erheblich reduziert werden.
Tags: Formal, Multiple-Choice-Format
Source: S134
Source: S134
Flashcard info:
Author: coster
Main topic: Psychologie
Topic: Psychologische Diagnostik
School / Univ.: Universität Wien
City: Wien
Published: 12.06.2013