Hol' Dir diese Lernkarten, lerne & bestehe Prüfungen. Kostenlos! Auch auf iPhone/Android!

Ein Test ist objektiv wenn er das jenige Merkmal das er misst unabhängig vom Testleiter und Testauswerter misst.

Es müssen klare und anwenderunabhängige Regeln für die Ergebnisinterpretation vorliegen.

1 Durchführungsobjektivität - Testmanuale, Standardisierung

2 Auswertungsobjektivtät - Multiple Choice, bei offenen Fragen muss Übereinstimmung verschiedener Auswerter erreicht werden

3 Interpretationsobjektivität Normetabellen, Manuale

Wenn genau das gemessen wird was gemessen werden soll und dies ohne Messfehler.

Ausmaß der Reliabiltität wird über den Reliabilitätskoeffizienten erfasst, der einen Wert zwischen 0 und 1 annimmt.

Ein Wert von 1 bedeutet das Freisein von Messfehlern.

Ein Wert von 0 bedeutet das Messergebnis ist durch Messfehler zustandegekommen.

Reliabilität ist formal der Anteil der wahren Varianz an der Gesamtvarianz der Testwerte.

1. Retest - Reliabilität
Ein Test wird zu zwei Zeitpunkten vorgelegt, es wird die Korrelation der beiden Testergebnisse ermittelt, es muss der Einfluss des Testzeitpunktes berücksichtigt werden = Latent-State-Trait- Modelle

2. Paralleltest - Reliabilität
Ist oftmals der Königsweg, Korrelationen zwischen beobachteten Testergebnissen in zwei parallelen Testformen berechnet, die aus inhaltlich ähnlichen Items bestehen. Die Ergebnisse sollten trotz nicht identischer Itemstichproben zu gleichen wahren Werten führen.

3. Testhalbierungs - Reliabilität
Möglichst zwei gleich große Testhälften und die Korrelation der beiden Testhälften ermitteln. Split-Half-Reliabiltität, es muss ein Korrekturfaktor berücksichtigt werden = Spearman-Brown-Formel

Jedes einzelne Item eines Tests wird als eigenständiger Testteil betrachtet, je stärker diese einzelnen Teile miteinander korrelieren, desto stärker ist die interne Konsistenz des gesamten Tests bzw. des Verfahrens.
= Cronbach Alpha Koeffizient der Reliabilität

Messgenauigkeit = wenn der Test jenes Merkmal misst was es messen soll und nicht ein anderes Merkmal

Ist das wichtigste Gütekriterium!

Es ermöglicht die Schlussfolgerung der Generalisierbarkeit des Merkmals bzw. beobachteten Verhaltens auch ausserhalb der Testsituation.

1. Inhaltsvalidität = inwieweit  ein Test oder Item das zu erfassende Merkmal repräsentativ erfasst, wird nicht numerisch sondern inhaltlich logisch geprüft von ExpertInnen, Items stellen den richtigen Verhaltensbereich dar wie z.B. Fahrprobe für Fahrtauglichkeit

2. Augenscheinvalidität = inwiefern ein Test einem Laien vom bloßem Augenschein gerechtfertigt erscheint, Gestaltung des Tests ist z.B. glaubwürdig, ist aus wissensch. Perspektive nicht immer gegeben.

3. Konstruktvalidität = theoretische Fundierung des gemessenen Merkmals, es können aufgrund des Tests Rückschlüsse auf traits gegeben werden, oder Einstellungen, Fähigkeiten ....

1. Struktursuchende Vorgehensweise
exploratorische Faktorenanalysen
Faktorenladungen und Homogenität der Testitems
deskriptive Einordnung in bestehendes theoretisches Gefüge z.B. Bildung eines nomologischen Netzwerks = Betrachtung theoriekonformer Zusammenhänge zu anderen Tests

• Konvergente Valität = Ausmaß der Übereinstimmung mit Ergebnissen aus Tests mit ähnlichen Merkmalen
• Diskriminante und divergente Validität = Abgrenzbarkeit zu anderen Merkmalen, geringe korrelative Zusammenhänge mit anderen Variablen, Test wird dazu mit relativ konstruktnahen Tests in Beziehung gesetzt

2. Strukturüberprüfendes Vorgehen
Inferenzstatistische Schlüsse ziehen, nur auf Basis latenter Variablen möglich, die eine explizite Beziehung zwischen Merkmalen und manifesten Variablen herstellen

• die in exploratorischen Faktorenanalysen gefundene Struktur kann an neuen Datensätzen überprüft werden
• Einzelne Dimensionen können mittels IRT-Modellen bezüglich Homogenität geprüft werden
• es sind Multitrait-Multimethod Analysen möglich, Zusammenhang zwischen verschiedenen Merkmalen und Herauspartialisierung von Methodeneinflüssen werden strukturberprüfend untersucht

Das Gütekriterium der Skalierung ist erfüllt, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adequat abbilden =

eine leistungsfähigere Testperson einen besseren Testwert erhalten muss als eine weniger leistungsfähige Person.

Damit steht das Skalenniveau in Verbindung.

Eine Nominalskala reicht nicht aus, um kleinere / größere Testrelationen zu beschreiben.

Es muss zumindest eine Ordinalskala geben.

Intraindividuelle Unterschiede sind nur mittels Intervallskalen messbar.

In der klassischen Testtheorie können Anzahl von gelösten Aufgaben zu einem Testwert verrechnet werden.

In der Item-Response-Theorie ist die Skalierung empirisch überprüfbar indem untersucht wird ob das Verhalten aller Testpersonen einem mathematischen Modell folgt.

Darunter versteht man das Erstellen eines Bezugssystems mit dessen Hilfe man die Ergebnisse von Testpersonen mit Merkmalsausprägungen anderer Personen eindeutig eingeordnet und interpretiert werden können.

Ergebnisse der Testeichung werden in Normtabellen dokumentiert, diese sollte aus einer möglichst repräsentativen Stichprobe bestehen.

Normorientierte Beurteilungen werden in Relation zu Ergebnissen der Eichstichprobe interpretiert.

1. Prozentrangnormen:
Es wird der Prozentsatz jener Personen ermittelt, deren Ergebnisse unter und über den Referenzwerten der Eichstichprobe liegen. Als Normwert wird der Prozentrang der Testwerte in der Eichstichprobe verwendet.

2. Standardnormen:
Abstand des individuellen Testwerts vom Mittelwert der Eichstichprobe, drückt die resultierende Differenz in Einheiten der Standardabweichung SD der Verteilung aus. Diese Werte heißen Standardwerte z .

Weitere Normwerte die auf Standardwerte aufbauen sind:
IQ-Werte, T-Werte, Centil-Werte, Stanine-Werte, Pisa-Werte, Standardschulnoten

Wichtig: Merkmal muss in der Population normalverteilt sein. Andernfalls müssen Prozentrangwerte zur Interpretation herangezogen werden.

Die für die Normierung herangezogene Eichstichprobe muss repräsentativ für die Grundgesamtheit von Personen sein, für die der Test anwendbar sein soll.

Dafür müssen Normtabellen aktuell gehalten werden.
Bei berufsbezogenen Eignungstest müssen alle 8 Jahre neue Normtabellen erstellt werden.

Ursachen für die Neunormierung sind:
- Lerneffekte der Bevölkerung
- im Durchschnitt veränderte Teilleistungen

das Gütekriterium der Testökonomie ist dann erfüllt, wenn sie gemessen am diagnostischen Erkenntnisgewinn relativ wenig Kosten und zeitliche Ressourcen verursacht.

Finanzieller Aufwand = Kosten für Testmaterial und zeitliche Ressourcen für die Durchführung, z.B. Lizenzgebühren bzw. Aufwände für Computermaterials und Software.

Zeitlicher Aufwand = für Vorbereitung und Durchführung, Testleiter und weitere Personen, für Auswertung und Ergebnisrückführung.

Höhere Kosten sind dann in Kauf zu nehmen, wenn geringere Kosten zu Lasten der Validität gehen.

Das vom Test gemessene Merkmal hat praktische Relevanz und die daraus getroffenen Maßnahmen ergeben mehr Nutzen als Schaden.

Praktische Relevanz = Test misst ein Merkmal das im Sinne der Kriteriumsvalidität nützliche Anwendungsmöglichkeiten aufweist.

Ein Test ist dann zumutbar wenn er absolut und relativ zum resultierenden Nutzen die zeitliche, physische und psychische Belastung der Testpersonen nicht überschreitet.

Die Zumutbarkeit betrifft ausschließlich die Testperson und nicht den oder die Testleiter.

wenn die Testperson nicht durch gezieltes Verhalten oder beeinflusste Antworten ein Testergebnis verzerren oder steuern kann.

Verzerrung = die Testperson durchschaut das Messprinzip und erkennt wie sie antworten muss, um z.B. in einem guten Licht dazustehen = soziale Erwünschtheit.

Persönlichkeitsfragebögen sind anfällig für Verzerrungen da sie eine hohe Augenscheinvalidität besitzen.

Leistungstests sind leicht durchschaubar und wenig zu verzerren.

Um die Augenscheinvalidität zu entkräften sind Objektive Tests eine Möglichkeit = die Testperson wird über das zu messende Merkmal im Unklaren gelassen.

Ergebnisse dürfen in keinster Weise zu diskriminierenden Auswirkungen führen und Testpersonen diskreditieren oder stigmatisieren.

Fairness bezieht sich unmittelbar auf inhaltliche Aspekte der Testitems = Itembias

Auch die Normierung und Interpretation von Ergebnissen eines Tests ist auf Fairness zu prüfen. Da es dazu keine Standards gibt, erfolgt diese auf individueller Basis für jeden einzelnen Test.

sind zur Lösung von Aufgaben nicht an sprachliche Kompetenzen gebunden oder an andere Fähigkeiten der soziokulturellen Gruppe

Ist di Berücksichtigung von Eigenschaften und Fähigkeiten zur Bearbeitung eines Tests

z.B. die Bedienung eines Computers bei Älteren oder Jüngeren.

Dass sich bestimmte Personengruppen mit Testdurchführung besser auskennen als andere.