Welche formalen Aspekte von psychologisch-diagnostischen Verfahren können unterschieden werden (im Überblick)?
- Gestaltungsweisen - Freies Antwortformat vs. Multiple-Choice-Format- Power- vs. Speed-and-Power-Test- Gruppen- vs. Individualverfahren- Papier-Bleistift-Verfahren vs. Computerverfahren
- Erhebungstechniken - Prüfen- Fragen- Beobachten
- Prozess-Strategien - Untersuchungsstrategien- EntscheidungsstrategienDiesbezüglich gewinnen oder verlieren einzelne psychologisch-diagnostische Verfahren an Bedeutung.
Tags: Formal
Quelle: S129
Quelle: S129
Was versteht man unter
- power-test?
- speed-test?
- speed-and-power-test?
- power-test?
- speed-test?
- speed-and-power-test?
power-test
Test der Leistungshöhe, ...haben entweder keine oder eine großzügig bemessene Zeitbegrenzung.
speed-tests
sind Tests, bei denen die Bearbeitungsgeschwindigkeit als Leistung bewertet wird. Der Schwierigkeitsgrad der Aufgaben ist dabei sehr niedrig.
Speed-and-Power-Tests
beinhalten sowohl eine power- als auch seine Speed-Komponente, stellen also anspruchsvolle Leistungsanforderungen unter Zeitdruck.
Test der Leistungshöhe, ...haben entweder keine oder eine großzügig bemessene Zeitbegrenzung.
speed-tests
sind Tests, bei denen die Bearbeitungsgeschwindigkeit als Leistung bewertet wird. Der Schwierigkeitsgrad der Aufgaben ist dabei sehr niedrig.
Speed-and-Power-Tests
beinhalten sowohl eine power- als auch seine Speed-Komponente, stellen also anspruchsvolle Leistungsanforderungen unter Zeitdruck.
Tags: Formal, Speed-and-Power-Test
Quelle: S129
Quelle: S129
Was sind die Vor- und Nachteile von Multiple-Choice-Formaten?
- Verrechnungssicherheit - Vorteil: verrechnungssicher (Anmerkung: es können natürlich auch Tests mit freiem Antwortformat verrechnungssicher sein)- Nachteil: diagnostisch weniger aufschlussreich als freies Antwortformat(Anmerkung: Jedoch ist mit einem freien Antwortformat nicht jedes Mal ein "aufschlussreicheres" Diagnostizieren verbunden.)
- Gruppen- vs Individualverfahren - Vorteil: mittels MC-Format kann Gruppenverfahren konzipiert werden.
- Rateeffekt: 3-PL bzw. Difficulty plus Guessing PL Modell Dem gravierenden Nachteil des MC-Formats, mehr oder weniger große Rateeffekte zu provozieren, könnte durch die Skalierung eines Tests nach einem dieser Modelle begegnet werden.
- Zumutbarkeit Gerade die Chance, nicht durch Fähigkeit, sondern durch Raten zur Lösung zu kommen, ohne dass dieses Faktum in faierer Weise mit einkalkuliert wird, spricht gegen das MC-Format.
- Wirtschaftlichkeit - Vorteil: Gestaltung als Gruppenverfahren, vergleichsweise kurze Bearbeitungsdauer je Aufgabe, geringer AuswertungsaufwandAnmerkung: Unter Umständen stößt man an inhaltliche Grenzen :- bei Prüfung gelernter Inhalte fällt das "Wiedererkennen" leichter als das "Reproduzieren"- es können mehrere qualitativ verschiedene Lösungsstrategien angewandt werden und das könnte dem Streben nach eindimensionaler Messung zuwiderlaufen.
Tags: Formal, Multiple-Choice-Format
Quelle: S130
Quelle: S130
Welche inhaltlichen Gründe können für die Verwendung des MC-Formats sprechen?
Bei manchen Testkonzepten ist die Aufgabenstellung erst über die Antwortmöglichkeiten definiert.
Der Untertest N-Test 1 aus dem KFT 4-12+R zum Beispiel, verlangt von der Testperson, pro Aufgabe eine gemeinsame Eigenschaft von 3 Figuren herauszufinden, wobei diese erst durch die beigegebenen fünf Antwortmöglichkeiten bestimmt ist.
(Beispiel noch einscannen - S133 unten)
Der Untertest N-Test 1 aus dem KFT 4-12+R zum Beispiel, verlangt von der Testperson, pro Aufgabe eine gemeinsame Eigenschaft von 3 Figuren herauszufinden, wobei diese erst durch die beigegebenen fünf Antwortmöglichkeiten bestimmt ist.
(Beispiel noch einscannen - S133 unten)
Tags: Formal, Multiple-Choice-Format
Quelle: S133
Quelle: S133
Welche Rolle spielt der Rateeffekt bei MC-Format und wie kann dieser in den Griff bekommen werden (6)?
Sehr oft unterschätzt wird die diagnostische Tragweite des Rateeffekts beim Multiple-Choice-Format. Die Wahrscheinlichkeit nämlich, dass die Tp bei einer Aufgabe nur zufällig die richtige Antwortmöglichkeit wählt und folglich die Aufgabe als "gelöst" verrechnet wird, kann relativ groß werdne.
Die "a-priori Ratewahrscheinlichkeit" bezeichnet die Wahrscheinlichkeit, wenn die Wahrscheinlichkeit eines "Treffers", lediglich von der Anzahl der dargebotenen Antwortmöglichkeiten abhängt.
Heute gibt es häufig 5 Antwortmöglichkeiten (1 Lösung + 4 Distraktoren); dass heißt die Ratewahrscheinlichkeit beträgt dann 1/5 = 0,20.
Diese Ratewahrscheinlichkeit wird höher (bis zu 1/2), wenn die Person über ein moderates Fähigkeitsniveau verfügt.
Ein allfälliger Rateeffekt ist testtheoretisch am besten mit dem 3PL bzw. dem Difficulty-plus-Guessing PL-Modell in den Griff zu bekommen: Hier wird der gesuchte Personenparameter eben gerade unter Berücksichtigung der Item-Rateparameter geschätzt.
Die Chance, erfolgreich zu raten, wird also in den Testwert mit ein kalkuliert, es kommt zu einer fairen Verrechnung der Testleistung.
Eine weitere Möglichkeit den Rateeffekt zu minimieren, ist die Anzahl der Antwortmöglichkeiten extrem anzuhöhen - dies ist jedoch unpraktikabel. Eine weitere Möglichkeit ist zwei richtige Antwortmöglichkeiten vorzusehen (und die Antwort ist nur richtig wenn beide angekreuzt werden).
Beispiel mit 5 Antwortmöglichkeiten: (5/2) = 1/10 = 0,10.
Noch stärker lässt sich die a-priori-Ratewahrscheinlichkeit reduzieren, wenn beliebig viele der Antwortmöglichkeiten richtig oder falsch sein können, also sogar auch einmal gar keine oder auch alle.
Weiters gibt es die Möglichkeit mit besonderen Instruktionen oder Antwortmöglichkeiten die Tp vom Raten abzuhalten.
(Beispiel 3DW: 2 Antwortmöglichkeiten "Ich weiß die Lösung nicht" und "Kein Würfel richtig".)
Auch kann die Ratewahrscheinlichkeit durch das sequenzielle vorgeben der Antwortmöglichkeiten, im gegensatz zur parallelen Vorgabe erheblich reduziert werden.
Die "a-priori Ratewahrscheinlichkeit" bezeichnet die Wahrscheinlichkeit, wenn die Wahrscheinlichkeit eines "Treffers", lediglich von der Anzahl der dargebotenen Antwortmöglichkeiten abhängt.
Heute gibt es häufig 5 Antwortmöglichkeiten (1 Lösung + 4 Distraktoren); dass heißt die Ratewahrscheinlichkeit beträgt dann 1/5 = 0,20.
Diese Ratewahrscheinlichkeit wird höher (bis zu 1/2), wenn die Person über ein moderates Fähigkeitsniveau verfügt.
Ein allfälliger Rateeffekt ist testtheoretisch am besten mit dem 3PL bzw. dem Difficulty-plus-Guessing PL-Modell in den Griff zu bekommen: Hier wird der gesuchte Personenparameter eben gerade unter Berücksichtigung der Item-Rateparameter geschätzt.
Die Chance, erfolgreich zu raten, wird also in den Testwert mit ein kalkuliert, es kommt zu einer fairen Verrechnung der Testleistung.
Eine weitere Möglichkeit den Rateeffekt zu minimieren, ist die Anzahl der Antwortmöglichkeiten extrem anzuhöhen - dies ist jedoch unpraktikabel. Eine weitere Möglichkeit ist zwei richtige Antwortmöglichkeiten vorzusehen (und die Antwort ist nur richtig wenn beide angekreuzt werden).
Beispiel mit 5 Antwortmöglichkeiten: (5/2) = 1/10 = 0,10.
Noch stärker lässt sich die a-priori-Ratewahrscheinlichkeit reduzieren, wenn beliebig viele der Antwortmöglichkeiten richtig oder falsch sein können, also sogar auch einmal gar keine oder auch alle.
Weiters gibt es die Möglichkeit mit besonderen Instruktionen oder Antwortmöglichkeiten die Tp vom Raten abzuhalten.
(Beispiel 3DW: 2 Antwortmöglichkeiten "Ich weiß die Lösung nicht" und "Kein Würfel richtig".)
Auch kann die Ratewahrscheinlichkeit durch das sequenzielle vorgeben der Antwortmöglichkeiten, im gegensatz zur parallelen Vorgabe erheblich reduziert werden.
Tags: Formal, Multiple-Choice-Format
Quelle: S134
Quelle: S134
Was versteht man unter "Response-Set"?
Das "ist die Bezeichnung für alle jene Einflüsse, die sich durch bestimmte Antwortstereotypen der Testperson verfälschend auf die intendierte Dimension eines Tests auswirken.
Es werden zwei grundlegende Formen unterschieden:
Es werden zwei grundlegende Formen unterschieden:
- Formale Response Sets: durch spezielle Form der Antwortvorgabe bedingt.
- Inhaltliche Reponse Sets: verfälschende Antwort aufgrund spezifischen Inhalts eines Items oder Tests (defensive Einstellungen, soziale Erwünschtheit, Abweichungsreaktionen, Lügen)
Tags: Formal, Multiple-Choice-Format, Persönlichkeitsfragebogen
Quelle:
Quelle:
Was sind die Vor- und Nachteile von Power vs. Speed-and-Power-Test?
Gruppenverfahren erzwingen praktisch die Gestaltung als Speed-and-Power-Test wenn sie als Papier-Bleistift-Verfahren durchgeführt werden.
Wie beim MC-Format stoßen Speed-and-Power-Tests dann an inhaltliche Grenzen, wenn allein der wirtschaftliche Aspekt, nämlich die Gestaltungsmöglichkeit als Gruppenverfahren, verantwortlich für die Begrenzung der Bearbeitungszeit.
Geht es um hochwertige bis herausragende Leistungen so ist die Gestaltung als Speed-and-Power-Test verfehlt.
Die Vermengung zweier Eigenschaftsdimensionen bei einem Speed-and-Power-Test steht dem Streben nach Eindimensionalität entgegen und es ist keine förderungsorientierte Diagnostik möglich.
Manchmal ist die Vermengung der Komponenten gewünscht - z.B. Raumvorstellungstest für Piloten.
Wie beim MC-Format stoßen Speed-and-Power-Tests dann an inhaltliche Grenzen, wenn allein der wirtschaftliche Aspekt, nämlich die Gestaltungsmöglichkeit als Gruppenverfahren, verantwortlich für die Begrenzung der Bearbeitungszeit.
Geht es um hochwertige bis herausragende Leistungen so ist die Gestaltung als Speed-and-Power-Test verfehlt.
Die Vermengung zweier Eigenschaftsdimensionen bei einem Speed-and-Power-Test steht dem Streben nach Eindimensionalität entgegen und es ist keine förderungsorientierte Diagnostik möglich.
Manchmal ist die Vermengung der Komponenten gewünscht - z.B. Raumvorstellungstest für Piloten.
Tags: Formal, Speed-and-Power-Test
Quelle: S143
Quelle: S143
Was sind die Vor- und Nachteile von Gruppen- und Individualverfahren?
Vorteil Individualverfahren
Vorteile Gruppenverfahren
Amelang und Schmit-Atzert (2006) führen 3 Nachteile von Gruppenverfahren an:
- Einsatzmöglichkeit ganz besonderer Testmaterialien: z.B. Puzzles.
Vorteile Gruppenverfahren
- Wirtschaftliche Aspekte
- mutmaßliche Testleiterunabhängigkeit
- ev. ziehen Testpersonen "Anonymität" vor
Amelang und Schmit-Atzert (2006) führen 3 Nachteile von Gruppenverfahren an:
- Benachteiligung von Tpn mit geringer Lesefertigkeit infolge der obligatorischen schriftlichen Fassung des Gruppenverfahrens
- Gefahr des Abschreibens der Tpn untereinander
- Störung der Tp durch die anderen Tpn
Tags: Formal, Gruppenverfahren, Individualverfahren
Quelle: S145
Quelle: S145
Kartensatzinfo:
Autor: coster
Oberthema: Psychologie
Thema: Psychologische Diagnostik
Schule / Uni: Universität Wien
Ort: Wien
Veröffentlicht: 12.06.2013
Tags: SS2013, Holocher-Ertl
Schlagwörter Karten:
Alle Karten (119)
16 PF-R (3)
AIST-R/UST-R (2)
Aufmerksamkeit (1)
Beobachten (1)
Big Five (1)
culture-fair (5)
Definition (3)
Diagnostik (15)
Eichmaßstäbe (3)
Eichung (9)
Eigenschaft (1)
Ethik (1)
Fairness (7)
Faktorenanalyse (2)
Formal (8)
Fragen (3)
Freiwillige (1)
GIS (1)
Grundsätze (6)
Gruppenverfahren (1)
Gütekriterien (1)
Intelligenz (1)
Interessen (4)
IQ (1)
Konzentration (1)
Laien (1)
Leistungsdiagnostik (13)
Memory (1)
Merkmal (1)
Messen (1)
NEO-PI-R (2)
Nützlichkeit (2)
Objektivität (5)
Ökonomie (3)
Postkorb (1)
Profil (1)
Prognose (1)
Prozentrang (2)
Prüfen (3)
Psychologe (1)
Rasch-Modell (5)
Reasoning (1)
Reliabilität (6)
Schwierigkeit (1)
Skalierung (8)
Space (1)
Test (2)
trait (1)
Validität (8)
Verfahren (3)
Voraussetzung (1)
Zumutbarkeit (2)