3421 Testkonstruktion | Learn flashcards online

All main topics / Psychologie / Testkonstruktion

3421 Testkonstruktion (76 Cards)

Say thanks

1
Cardlink

Definition: Psychologischer Test

wissenschafttliches Routineverfahren
zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale
Ziel: möglichst quantitative Aussage über relativen Grad der individuellen Merkmalsausprägung

Bestimmungsstücke:

wissenschaftlich: Test soll eindeutig definierte und relevante Merkmale erfassen, Konstruktion basiert auf statistischen Modellen psychologischer Testtheorien, empirisch bewährt anhand von Testkriterien
Routineverfahren: Verfahrenablauf und Bewertung genau vorgegeben und wiederholbar
Persönlichkeitsmerkmal: alle Arten individueller Differenzen; Verrechnung zu einem Score (Rohwert)

Tags: Bestimmungsstücke, Definition, psychologischer Test
Source:

2
Cardlink

Internationale Teststandards

COTAN
AERA Standards for educational and psychological testing
ITC Internatioal Test Commission
DIN 33430
TBS-TK
ISO 9000ff

3
Cardlink

Gütekriteriem: Homogenität

MIC: mittlere Interitemkorrelation

4
Cardlink

CFA: Einordnung

SEM
Modell gemeinsamer Faktoren
Prüfung zuvor spezifizierter Modelle
EFA und multiple Regression als Spezialfälle
Software: LISREL, AMOS, EQS, Mplus

5
Cardlink

CFA: Aspekte für lineare Struktugleichungsmodelle

Kline

konfirmatorisch (Denken in Modellen)
manifeste und latente Variablen
Analyse von Kovarianzmatrizen
für korrelative Designs, aber auch experimentell erhobene Daten
große Stichproben nötig
Signifikanztests untergeordnet

6
Cardlink

CFA: Pfaddiagramme

latente Variablen	Konstrukte als Kreise, Elipsen	griech. Buchst.
manifeste Variablen	Indikatoren als Rechtecke	lat. Buchst.
Residuen, Fehler	Kreis (oft ohne)	griech. Buchst.

latente Variablen	in Modell erklärt	"abhängig"	"endogen"
	nicht im Modell	"unabhängig"	"exogen"

Pfeile / Pafde

korrelative Annahmen	Doppelpfeil
Benennung	griech. Buchstaben
Ladungskoeffizienten	berechnet oder festgelegt
Parameter	doppelt: (1):Ziel, (2)Ursprung

7
Cardlink

CFA: max. 7 Klassen von Variablen im Pfaddiagramm

Eta		latente endogene V.
Ksi		latente exogene V.
y		Indikator latente endogene V.
x		Indikator latente exogene V.
Epsilon		Residualvariable für y
Delta		Residualvariable für x
Zeta		Residualvariable für Eta

8
Cardlink

CFA: Strukturgleichungsmodell

Strukturmodell	Beziehung latenter Variablen (ausschl)
Messmodell exog. Var.	exog. Var und Indikatoren
Messmodell endog. Var	endog. Var und Indikatoren

einzelne Teile untersuchbar
wenn latente Ebene ausgelassen: expolrative Pfadanalyse

CFA der Primärfaktoren	Messmodell der exogenen Variablen
CFA 2. Ordnung	Messmodell exogener Variablen
	Strukturmodell
	kein Messmodell endogener Variablen
	ergeben sich aus Kovarianzen der Primärfaktoren

9
Cardlink

CFA: Strukturgleichungsmodell in Matrixalgebra

8 Matrizen nötig

für Strukturmodell
für Messmodell der lat. endog. Variablen
für Messmodell der lat. exog. Variablen

lat exogene Variablen

Residuen

Mathematisches Ziel: komplexes Gleichungssystem auflösen

10
Cardlink

CFA: Vorgehen

Modellspezifikation
Bestimmung Identifizierbarkeit
Design und Datenerhebung
SEM-Analyse

Datenmatrix und Schätzalgorithmus

Evaluation Passung

Modellalternativen

Interpretation Parameter

Modifikation und Respezifikation
Dokumentation

11
Cardlink

CFA: Modellspezifikation

Festlegungen:

Items (Indikatoren) - latente Variablen (Faktoren) ?
Beziehung zwischen Faktoren ?
Korrelationen zwischen Fehlertermen ?
wenn Nullkorrelation unterstellt, Pfeil weglassen (ist aber bereits eine Spezifikation)
Einfachstruktur: Items laden auf best. Faktoren auf andere nicht
Relaxierung: Aufgabe unkorrelierter Fehlerwerte

Parameter

frei	post hoc frei berechnet
fix	Fixierung auf 1 zur Standardisierung
beschränkt	beliebiger Wert (constrainted)
	Gleichheitsbeschränkung
	Ungleichheitsbeschränkung

12
Cardlink

CFA: Identifizierbarkeit des Modells

unteridentifiziert	unendlich viele gleichgute Lösungen
gerade identifiziert	eindeutig lösbar
überidentifiziert	keine eindeutig richtige Lösung
	Modell hat Freiheitsgrad(e)
	Maß für Güter der Anpassung nötig

13
Cardlink

Geschichte psychologischer Tests

Antike: Auswahleverfahren für chinesische Beamte
Francis Galton 1822 - 1911
Alfred Binet 1857 - 1911
Army Alpha Test WK 1

Tags: Geschichte, Meilensteine
Source:

14
Cardlink

Klassifikation von Tests

Testbeurteilung nur hinsichtlich spezifischer Anwendungen

Unterscheidung nach Inhalt (Brähler):

Leistungstests
Psychometrische Persönlichkeitstests
Persönlichkeitsentfaltungsmöglichkeiten

Unterscheidung nach Teststrategie

Konstrukttests (normorientiert an Eigenschaften/Fähigkeiten)
kriterienorientierte Tests (zielorientiert an Idealnorm)

Formal

Speedtests
Powertests (Niveautest)
ein-/mehrdimensional
Gruppen-/Individualtest
Technologie (Papier-und Bleistift, PC-gestützt, online)
adaptiv

Tags: Klassifikation
Source:

15
Cardlink

Gegenstand der Testtheorie

Testtheorie beschäftigt sich mit dem Ausmaß, in dem es zulässig ist:

einzelne Items als Indikatoren eines latenten Konstrukts anzusehen
Items zu einem oder mehrere testscore zusammenzufassen
aus der Ausprägung des Testscores auf psychologisches Merkmal zu schließen

Tags: Gegenstand, Testtheorie
Source:

16
Cardlink

Grundlagen der Klassische Testtheorie

95% aller Tests (Rost)
Ursprung bei Gulliksen 1950
einfache Anwendbarkeit
bewährt

Axiomen und Folgerungen: Varianz von Messwerten

intraindividuell
interindividuell

Tags: Axiome, Folgerungen, Grundlagen
Source:

17
Cardlink

KTT: Wahrer Wert

Mittelwert der hypothetischen Normalverteilung ist der "wahre Wert" (Existenzaxiom)
Jede Messung hat einen Fehler
Mittelwert der Messfehler ist 0:

kein Zusammenhang in Messfehlern:
kein Zusammenhang in Messfehlern zweier Tests:
Unkorreliertheit:
Intervallskalenniveau; aber per fiat auch Aufsummierung richtiger Lösungen als Annäherung an Differenzen

Tags: Fehler, Unkorreliertheit, wahrer Wert
Source:

18
Cardlink

KTT: Reliabilität

Reliabilität

: Messgenauigkeit

Reliabilität: Anteil

an Gesamtvarianz

,

da

oder auch

19
Cardlink

KTT: Reliabilität und Valididtät

Zielkonstruct C und Verzerrung B für Bias
erweiterete Grundgleichung:
Reliabilität
Validität: Anteil der Zielkonstruktvarianz an der Gesamtvarianz

20
Cardlink

KTT: Kritik (nach Fischer)

bias wird wahrem Wert zugeordnet (nicht intendierter systematischer Varianzanteil)
keine Verbindung zwischen Fähigkeit, Merkmal, Eigenschaft und Itembeanwortung
Übungs- und Transfereffekte
ungenauere Messung im extremen Bereich
KTT setzt Eindimensionalität ohne Prüfung voraus
Testwerte der KTT stichprobenabhängig

Tags: Kritik, KTT
Source:

21
Cardlink

Testkonstruktion: Vorgehen für Entwurf

Grundsätzlich

Abgrenzung Merkmalsbereich und Geltungsbereich
Ansprüche an empirische Prüfung und Normierung steigen mit der Breite von Anwendungsbereich und Zielgruppe
Auswahl an Vorgehensmöglichkeit
Generierung Itempool

Vorgehen

Literaturrecherche
Mummenddey & Grau 2008
Exploratives Vorgehen (Basis Arbeitstheorie, Ausnahme AFA, CIT)
- qualitative Interviews
- Facettentheorie (Guttman)
- Act Frequecy Appraoch AFA (Buss & Clark)
- Methode der kritischen Ereignisse CIT (Flanagan)

22
Cardlink

Testkonstruktion: Prinzipien und Strategien des Konstruktionsprinzips

rationale, deduktive, theoriegeleitete Konstruktion
externale, empirische, kriteriumsorientierte Strategie
internal, induktiv, faktorenanalytisches Prinzip
typologisierender Ansatz
Prototypenansatz

23
Cardlink

Testtheorie:rationale Testkonstruktion

theoretische Definition des Zielkonstrukts
Ableitung spezifischer, direkt beobachtbarer Indikatoren (deduktiv)
Beispiel: Berliner Intelligenz Struktur Test (BIS)
Beispiel: Retrospective Behavioral Self-Control Scale RBS, Marcus 2003)

BIS

Modi : Inhalte, Operationen
sieben Fähigkeiten, bimodal
hierachrische Struktur mit 12 Elementen

Tags: BIS, rationale Testkonstruktion
Source:

24
Cardlink

Testtheorie: externale Testkonstruktion

Empirische Daten im Vordergrund

Kennzeichnend nach Amelang und Schmidt-Atzert:

Vorliegen verschiedener Gruppen
Ziel: Diskriminierung

Typische Anwendungsfälle:

Persönlichkeitsstörungen
künstliche Gruppen
z.B. vertikale Prozentmethode nach England 1971

Auswahl der Items nach Prinzip der Maximierung des Zusammenhangs (Dust bowl empiricisms), also kriterienorientiert

Folge

inhaltlich schwer interpretierbare Skalen
große repräsentative Stichproben
unabhängige Replikation nötig (Kreuzvalidierung)
gut auch bei geringem theoretischem Vorwissen

Beispiel: Minnesota Mulitphasic Personality Inventory (Auswahl Items nach Kontrastgruppenmethode) und California Psychological Inventory CPI

25
Cardlink

Testtheorie: internale Testkonstruktion

auch: induktive Methode

Typischerweise wird Itempool generiert, der einen breiten Merkmalsbereich abdeckt (theoretische Vorstellungen existieren).

Danach Bearbeitung durch Stichprobe.

Untersuchung der Items nach Korrelationsmustern per Faktorenanalyse.

Ergebnis: Mehrdimensionale Inventare

Über Binnenstruktur werden zunächst keine Annahmen getroffen. Später wird induktiv auf Modell geschlossen.

Beispiel: Primärfaktorenmodell der Intelligenz (Thurstone & Thurstone 1941), Big Five

Tags: induktive Methode, internal, testkonstruktion
Source:

26
Cardlink

Testtheorie: typologisierende Testkonstruktion

mit Elementen der externalen und internalen Strategie

Ziel: Identifikation von Gruppen von Personen oder Objekten auf Grundlage empirischer Information.

Dominierend: Klassifikation aufgrund mehrerer simultan erfasster merkmale mittels Clusteranalyse

Verwendung von Dimensionen. Daher: Informationsverlust (=Validitätsverlust)

Beispiel: Myers-Briggs-Type-Indicator MBTI

27
Cardlink

Testkonstruktion: Prototypenansatz

Ähnlichkeit mit idealtypisch eingeschätztem Vertreter eines Typs

kognitiver Ankerreiz zur Einschätzung anderer Objekte

Gefahr: Stereotypisierung

Tags: AFA, Prototypenansatz
Source:

28
Cardlink

Testkonstruktion: Bewertung Hauptprinzipien

kaum systematische Validitätsvorteile

bei kriterienbezogener Validität:
leichte Vorteile der rationalen Strategie
leichte Nachteile der internalen Strategie

	rational	internal	external
Vorteile	theoretische Fundierung	Exploration unbek. Situationen	geringe Voraussetzung an theor. Kenntnis
	Testergebnisse interpretierbar	Identifikation homogener Konstrukte	gute Kriteriumsvalidität
Nachteile	subjektive Vorentscheidungen	große Stichproben für Faktorenlösungen	Ergebnisse instabil
	ungeeignet bei wenig erforschten Situationen	subj. Interpretation der Skalen, kriterienbez. Val. eingeschränkt	Kreuzvailidierung zwingend, große Stichproben

Faustregel: So rational wie möglich.

Tags: Hauptprinzipien, Testkonstruktion, Vergleich
Source:

29
Cardlink

Itempoolgenerierung: Kategorien von Persönlichkeitseigenschaften

nach inhaltlichen Gesichtspunkten nach Angleitner:

Beschreibung von Reaktionen (offene/beobachtbare , verborgene/interne , Symptome/phys. Reaktionen)
Eigenschaftszuschreibungen
Wünsche, Interessen
Biografische Fakten
Einstellungen und Überzeugungen
Reaktionen anderer auf eigene Person
Bizarre Items

Unterscheidungen

objektiv
subjektiv (Selbst- oder Fremdeinschätzungen)

Tags: Kategorien, Persönlichkeitseigenschaften
Source:

30
Cardlink

Itempool: International Personality Item Pool (IPIP)

frei zugänglich

Tags: IPIP
Source:

31
Cardlink

Itempool: Generierung

unsystematisch
Intuition
Geschick

jedes Item sollte innerhalb des definierten Bereichs liegen
Itemmenge sollte Bereich repräsentativ abdecken

Tags: Itemgenerierung
Source:

32
Cardlink

Itemgenerierung: systematische Hilfsmittel (act frequency approach; auch: Ansatz der Verhaltensauffälligkeiten)

eine "Metatheorie" der Persönlichkeit
Dispositionen als kognitive Kategorien, in denen Verhaltensweisen zusammengefasst werden
ohne eigentlichen Erklärungswert zusammengefasst
Bsp: "Maria ist arrogant"
es gibt prototypische / zentrale Eigenschaften und periphere
AFA: Methode, solche Unterschiede auzudecken

Versuchspersonen wird eine Eigenschaft vorgegeben
Versuchspersonen sollen sich solche realen, bekannte Personen vorstellen
Versuchspersonen sollen Verhaltensweise aufschreiben
dadurch Itemsammlung
anschließende Einschätzung der Prototypizität durch andere Personen
Übernahme der besten Items
Transfer ich Ich-Form

Tags: AFA Methode
Source:

33
Cardlink

Itemgenerierung: Bewertung AFA

AFA erlaubt Zuordnung Items zu Skalen unabh. von Intention des Testautors
psychometrisches Problem: manche Vpn neigen dazu, anzugeben, dass sie Verhalten jeglicher Art gezeigt haben --> dadurch korrelieren Eigenschaften stärker

Tags: AFA, Bewertung
Source:

34
Cardlink

Itemgenerierung: CIT Critical incident technique (auch: Methode der kritischen Ereignisse)

entstammt Organisationspsychologie
urspr. Verfahren der beruflichen Leistungsbeurteilung
Ansatz:
kritische Ereignisse umfangreicher als acts (Vor- und Nachgeschichte inkludiert)
vom Autor unabhängige Befragungen generierbar
Umsetzung mit Einstellungsinterview und Einschätzung der Erfolgswirksamkeit

35
Cardlink

Itemgenerierung: Bewertung CIT (Schuler & Marcus)

emprisch bewährt bei Eignungsdiagnose
valide hinsichtlich Vorhersage beruflicher Leistung
Ziel: Maximierung kriterienbezogener Validität
erlaubt es, relevanten Merkmalsbereich abzugrenzen
Verhaltensbeispiele für mittleres Verhalten schwer zu finden
Sammlung kritischer Ereignisse gibt nicht unbedingt homnogenes, interpretierbares Produkt

Tags: Bewertung, CIT
Source:

36
Cardlink

Item Formate

Item = Itemstamm + Antwortformat (mögliche Reaktionen)
offen oder gebunden
Regeln

Förderung Verständlichkeit
Eindeutigkeit
Vermeidung Bevorzugung bestimmter Alternativen

Vermeiden

doppelten Verneinungen
nicht verstehbare Ausdrücke
zu lang
mehr als ein Gedanke pro Item
starke Verallgemeinerungen
mehrdeutige Bezüge
suggestive Formulierungen
Gemeinplätze

Tags: Itemgenerierung, Regeln
Source:

37
Cardlink

Item Formate

gebunden / offen / atypisch

Offen:
qualitative Auswertung
unerlässlich für manche Fragestellungen
qualitative Auswertung

Gebunden:
vollkommen auswertungsobjektiv
häufig: abgestufte Einstufungs-/Ratingskala

Optimum Stufen: 5 bis 9

unipolar (logisches Minimum) / bipolar (Gegensätze)

Tags: Item Formate
Source:

38
Cardlink

Item: Skalenniveau metrisch bei Ratingskalen

viele Skalenstufen
mehr Items aggregiert
Empfindung gleichmäßiger Abstände

Assymmetrische Abstände eventuell gewollt (bessere Differenzierung)

Antworttendenzen
- sozial erwünscht
- Tendenz zur Zustimmung ( Akquieszens)
- Bevorzugung best. Skalenbereiche

Tags: Ratingskalen, Skalenniveau
Source:

39
Cardlink

Items: dichotome Auswahlaufgaben

erzeugt mehr richtige Zufallslösungen

Informationsverlust

erleichtert Anwendung der PTT

Tags: dichtotome Auswahlaufgaben
Source:

40
Cardlink

Items: Mehrfachwahlaufgaben

multiple choice

irrationale Lösungsstrategien

Distraktoren

Forced-choice
auch bei Q Sort
wechselnder erfolg
ipsative Messung: wenn Antwortalternativen nicht unterschiedlichen Graden, sondern verschiedenen Merkmalen in mehrdimensionalen Tests zugeordnet werden. Problem: fehlende stoch. Unabhängigkeit. Folge: künstliche negative Korrelationen zwischen Merkmalen -

in Persönlichkeitsbereich: Mehrfachantwortformat
in Leistungstests: egal, denn Distraktoren messen kein weiteres Konstrukt

Tags: Items, Mehrfachwahlaufgaben
Source:

41
Cardlink

Items: Ordnungsaufgaben

Zuordnung

erhöhte Ratewahrscheinlichkeit

Folgefehlerwahrscheinlichkeit
Empfehlung: eine ganz falsche Antwort

Umordnung
ermöglichen Erfassung schlussfolgerndem Denkens mit nonerbalem Material

Tags: Ordnungsaufgaben
Source:

42
Cardlink

Items: Reihenfolgeeffekte

positive Verzerrung: Assimilationseffekt
negative Verzerrung: Kontratseffekt
event. auch Niederschlag in verzerrten Korrelationen zwischen Merkmalsbereichen

Gegenmaßnahme: Zufällige Anordnung, inhaltlich zusammenhängende Items weit trennen

Tags: Items, reihenfolgeeffekte
Source:

43
Cardlink

Itemanalyse: Deskritpive Analyse

Standardwabw. sollte bei 5er Skala 1 betragen
Regel: rechtssteile Verteilung ( negative Schiefe)
Regel: Exzess (Kurtosis) häufiger negativ
Normalverteilung: kolomogorov-Smirnov-Test
Mittelwert Grundlage für Itemschwierigkeiten

44
Cardlink

Itemschwierigkeit

korrigierte Itemschwierigkeit mit Zufallskorrektur

m: Anzahl Wahlmöglichkeiten,

: Anzahl Falschlöser

möglich auch Inangriffnahmekorrektur:

statt

Tags: Itemschwierigkeit
Source:

45
Cardlink

Transformation und Schwierigkeitsanalyse bei Ratingskalen

Transformieren: Theoretisches Minimum Wert 0

für Anzahl richtiger Lösungen muss der transformierte Mittelwert eingesetzt werden

für Anzahl der Probanden muss der transformierte Maximalwert

eingesetzt werden

Idealerweise mittlere Schwierigkeit für Maximum der Unterscheidungen.

Faustregeln: <20% und >80% eleminieren

Schwerigkeit sagt etwas über die maximal in einem Item enthaltene Information aus, nicht über tatsächliche Informationshaltigkeit.

Schwierigkeit beeinflusst Varianz eines Items

Tags: Schwierigekeitsanalyse Ratingskalen
Source:

46
Cardlink

Trennschärfe

in KTT Indikator dafür, wie gut einzelnes Item das Merkmal abbildet

korrigierte Korrelation (part-whole-Korrektur) einer Aufgabe mit Skala

Trennschärfenanalyse ersetzt nicht Validitätsstudie

Eigentrennschärfe
Korrelation mit Skala

Fremdtrennschärfe
Korrelation mit anderen Skalen

Part-Whole-Korrektur: sonst geht partielle Eigenkorrelation mit ein.

Bei Ratingskala: Produkt-Moment-Korrelation
Bei dichot. Items: punktbiseriale Korrelation

Fausregel: unter .30 Item verwerfen oder solange sie zur Relaibilität beitragen.
Ausnahme: External konstruierte Skale

47
Cardlink

Korrektur extremer Schwierigkeiten bei Items

Moosburger & Zistler

schwierigkeitsproportionale Stichprobenverteilung

Berechnung eines Selektionskennwerts

48
Cardlink

PTT: Raschmodell

Fähigkeit -> Personenparameter
Schwierigkeit -> Itemparameter

Erschöpfende Statistik: Summenwert einer Person liefert alle Informationen über die Fähigkeitsausprägung einer Person

eindimensionales Konstrukt: Antowort auf ein Item misst nur eine Eigenschaft

Modelltests möglich
Wenn nicht verworfen, dann eindimensional (dann, wenn Korrelation zwischen Items nach Auspartialisierung der latenten Eigenschaft verschwindet = lokale Unabhängigkeit )

Tags: eindimesional, lokale Unabhängigkeit, Modelltest, Rasch
Source:

49
Cardlink

Raschmodell: lokale statistische Unabhängigkeit

Dann gegeben, wenn für jede Person Lösungswahrscheinlichkeiten zweier Items multipliziert werden dürfen

50
Cardlink

Raschmodell: Spezifische Objektivität

zwei Arten invarianter Vergleiche

Vergleiche zwischen Personen sind invariant über die Items und Maße
Vergleiche zwischen Items sind invariant über die spezifischen Personen, an denen die Items kalibriert werden

51
Cardlink

Raschmodell: Itemparameter

zu schätzen über conditional Maximum Likelihood Methode cML

Differenzskalenniveau (logarithmierte Verhätlnisskala), daher Logit-Einheit

Itemrohwerte werden nicht verwendet

Personenparameter zu schätzen über Kenntnis der Itemparameter.

Item- und Personenparameter besitzen gleiche Einheit (Logit-Einheit)
Logitbereich: i.d.R. -3 ... +3, theor.

...

negative Werte: leichte Items/Personen mit geringer Fähigkeit
positive Werte: schwere Items/Personen mit hoherFähigkeit

52
Cardlink

Raschmodell: Item Caracteristic Curve

subtraktive Verknüpfung von Personen- und Itemparameter

Beziehung Itemlösungswahrscheinlichkeit und Parameter logistische Funktion

ergibt ICC

eine kriteriumsorientierte Interpretation der Personenparameter ist möglich. Keine Normstichprobe nötig.

53
Cardlink

Raschmodell: Grafischer Modelltest

Streudiagramm

Darstellung der geschätzten Itemparameter aus zwei Stichproben (z.B. Teilung der Stichprobe am Median)

Regressionsgerade (=Winkelhalbierende im Diagramm)

kein Signifikanztest. Dafür gibt es den Andersen-Likelihood-Quotienten-Test, andere wie Pearson Chi oder Bootstrap kritisch.

Bootstrap: simuliert Verteilung der verschiedener Prüfgrößen verschiedener Modelltests

54
Cardlink

Rasch Modell: Annahmen

wenn durch Modelltest nicht abgelehnt, dann:

Lösungswahrscheinlichkeit durch logistische Funktion
Summenwerte sind suffizente und erschöpfende Statistiken der Personenfähigkeit
Vergleiche zwischen Items und Personen sind spezifisch objektiv
Items sind eindimensional
Items besitzen gleiche Trennschärfe (im dichothomen Raschmodell)

55
Cardlink

Birnbaum-Modell (2-Parameter-Modell)

enthält zusätzlich Trennschärfeparameter
Trennschärfe

Steigung der ICC am Wendepunkt p=.50

Trennschärfen einzelner Items können sich unterscheiden

Itemschwierigkeit
x-Achsenposition bei Lösungswahrscheinlichkeit .50

unterschiedliche Trennschärfen müssen geschätzt werden
ungenauere Schäzgenauigkeit
keine ungewichtete Summenbildung mehr
Nachweis Eindimensionalität müsste erbracht werden

56
Cardlink

PTT: 3-Parameter-Modell

zusätzlich: Ratewahrscheinlichkeit

möglich wäre auch Irtrtumswahrscheinlichkeit

Anwendung 3PL Modell nicht zu empfehlen (wegen leichten Distraktoren)

57
Cardlink

PTT: Probabilistische Modelle für Ratingskalen

ordinales Raschmodell für Items mit mehr als 2 Antwortkategorien

Übergang von der Wahrscheinlichkeit einer Antwortketegorie auf die nächste heißt Schwelle (daher: Schwellenparameter)

dann: Category Characteristic Curve (CCC) oder auch Kategoriefunktionen

Partial Credit Modell

Voraussetzung: geordnete Antwortschwellen (keine Überschneidung)

Mittelung der Schwellenparameter für jedes Item führt zum Itemparameter für jedes Item

58
Cardlink

PTT: Mixed rasch Modelle

quantifizieren und klassifizieren

sucht nach Personengruppen, die sich im Antwortmuster maximal unterscheiden

in jeder Klasse gilt das Raschmodell

Nützlich für Testkonstruktion: Können Verletzung der Eindimensionalitätsannahme zeigen (wenn Zweiklassenlösung gefunden wird)

59
Cardlink

EFA: Ursprung und Grundlagen

Spearman 1904 (Intelligenzforschung)

aus linearen Modell

untersucht latente Zusammenhänge

Korrelationsmuster von manifesten Variablen, Ziel: Datenstrukturierung

Kombination von Varianquellen: Catell (drei varianzquellen, sechs mögliche Arten von Korrelationsmatrizen unterschieden)

hier: R-Technik

trimodale Faktorenanalyse: drei Varianzquellen simultan
keine theoretischen Modellannahmen vorausgesetzt

60
Cardlink

EFA: zentrale Zwecke (Thomson)

Prüfung der Gültigkeit (Validität; faktorielle Validität)
Entwicklung von Theorien (interne Struktur psychologischer Konstrukte)
Datenreduktion (übergeordnete Faktoren)

61
Cardlink

EFA: Effektindikatoren vs. Kausalindikatoren

simultaner Einfluss jedes Faktors auf mehrere beobachtete Variablen

Bollen, Lennox

Effektindikatorenmodell (Faktorenanalyse)

Indikatoren kovariieren untereinander

Messmodell der KTT beruht darauf

Kausalindikatorenmodell (Regressionsanalyse)

bei Zusammenhang der Items mit einem Außemkriterium

Homogenität bzw. Korreliertheit der Items nicht zu unterstellen

62
Cardlink

EFA: PAF und PCA

Hauptachsenanalyse (PAF; principal axes f.a.)

Ziel: Aufdeckung latenter Strukturen im Datensatz

Hauptkomponentenanalyse (PCA; principal components f.a)

Ziel: Datenreduktion und Beschreibung

Tags: PAF, PCA
Source:

63
Cardlink

EFA: Voraussetzungen

Voraussetzungen

Sphärizität, signifikater Bartlett Test

KMO Koeffizient nicht unter .50

Kommunalitäten nicht unter .20

MSA (measure of sample adequacy)

große Stichprobe (Minimum: N = Anzahl Variablen, mind. N=60)

je mehr Items, je weniger Items/Faktor, je unrelaiblere Items, desto mehr N

Intervallskalenniveau

Normalverteilung

Methodenartefakte

wenn Items ähnliche Verteilung haben, sich abwr zwischen den Faktoren auffällig unterscheiden

64
Cardlink

EFA: Metoden zur Korrektur bei Nichtnormalverteilung

log-lineare Transformierung
parcelling (Zusammenfassung von Items)
Miniskalen vor Faktorisierung
Faktorenanalyse höherer Ordnung
statt Produkt-Moment-Korrelationsmatrix tetrachorische (dichotome Items) bzw. polychorische (Ratingskalen) Korrelationen nutzen

65
Cardlink

EFA: Extraktionsmethoden-Wahl

Modell mehrerer gemeinsamer Faktoren

Matrix aus Variablen und Faktoren : Ladungsmatrix

Zeilensumme der quadrierten Ladungen: Kommunalitäten (Annahme unkorrelierter Faktoren)

Anteil der Varianz eines Items, der durch alle Faktoren aufgeklärt werden kann

mehrere Faktoren

kein Fehlerterm

66
Cardlink

EFA: Kommunalitätenschätzung

Kommunalitäten werden benötigt, um diese in die Korrelationsmatrix einzusetzen

Dilemma: Kommunalitäten sollten vor Faktorenanalyse bekannt sein.
PCA unterscheidet sich hier von anderen faktorenanalytischen Methoden.

PCA

1 in der Hauptdiagonalen der Korrelationsmatrix
Kommunalitätenschätzung geht von vollständiger Aufklärung der Varianz aus

PAF

für Anfangskommunalitäten werden die quadr. multipl Korrelationskoeffizenten zwischen Item und anderen Items eingesetzt
konservativere Schätzung der Kommunalitäten (in jedem Item Anteil spez. Varianz)

67
Cardlink

EFA: Prinzip PCA

ein Berechnungsschritt
Produzierung eines neue Variablensatzes, nach Bedeutung geordnet
jede Komponente soll ein Maximum an noch verbleibender Varianz aufklären
erste Hauptkomponente größere standardisierte varianz als 1 (Eigenwert)
danach neue Komponente, die unabhängig ist
Optimierung: Minimum an Komplexität, Maximum an Information, also Datenreduzierung als Ziel

Tags: EFA, Prinzip
Source:

68
Cardlink

EFA: PAF

iterativer Prozess
anfänglich Kommunalitätenschätzung geht nicht von vollständiger Varianzaufklärung aus
neue Schätzungen: eingesetzt in die Hauptdiagonale der Korrelationsmatrix
nach Berechnung gehen die Schätzungen wieder in die Korrelationsmatrix ein
Abbruchkriterium
manchmal keine Konvergenz

geringe Stichprobengröße

Ziel: Entdeckung theoretischer Variablen hinter beobachteten
theoriebildendes Verfahren, hypothesengenerierend
manche raten ab

Tags: PAF
Source:

69
Cardlink

EFA: Zahl der Faktoren

inhaltiches Kriterium
Eigenwerte

aus quadrierten Ladungen

aufsummiert spaltenweise (alle Faktorladungen eines Items)

= Varianz des Faktors gemessen in Einheiten der Varianz je Item

in PCA:1, d.h. Eigenwert von 3 -> Varianzstärke von 3 Items
Eigenwert durch Gesamtzahl Items: Anteil des Faktors an Varianz
Summe Eigenwerte = Summe der Elemente der Hauptdiagonalen
Regeln für Faktorenanzahl

Faustregel: Kaiser-Guttman-Kriterium (KG-Kriterium)

Scree-Test

stat. Methoden: z.B. Bartlett (Thompson rät ab), Chi-Quad.

Tags: Eigenwert, Kaiser-Guttman-Test
Source:

70
Cardlink

EFA: Parallelanalyse

nach Horn
viele Matrizen gleichen Rangs mit Zufallszahlen erzeugt
Zufallskorrelationen
Vergleich mit Zufallseigenwerten
neigt zu Überschätzung der Faktorenzahl
ähnlich im Ergebnis: MAP-Test (Minimum Average Partial Test)

Tags: MAP, Paralleltest
Source:

71
Cardlink

EFA: Rotationen

meist wird Einfachstruktur angestrebt
Einfachstruktur: Jedes Item soll auf einen Faktor hoch, auf andere niedrig laden
Zwei Arten

Achsen rechtwinklig

Unkorreliertheit aufgegeben

keine zeilenweise Summierung

Entscheidung inhaltlich
Unabhängikeitsunterstellung begründungspflichtig

Tags: Rotation
Source:

72
Cardlink

EFA: Rotationsverfahren

Prokrustes

wenn CFA Bedingungen ungünstig

konfirmatorisch

Varimax

orthagonal

verbreitet

Unterschiede der Ladungen innerhalb eines Faktors maximiert

Quartimax

erhöhte Zuordnung zu einem Faktor

Equamax
Promax

oblique

Direkte Oblimin-Rotation

Tags: Equamax, oblique, orthogonal, Prokrustes, Promax, Quartimax, Varimax
Source:

73
Cardlink

EFA: Faktorenanalyse zweiter Ordnung

aus entstandenen Ladungsmatrizen
Korrelationsmatrix der rotierten Komponenten (Primärfaktoren)
weitere Faktorenanalyse

z.B. bei hierarchischen Strukturen

Bsp: Fünf Faktorenmodell

neue Ladungsmatrizen: Mustermatrix und Strukturmatrix

Tags: Mustermatrix, Primärfaktoren, Strukturmatrix
Source:

74
Cardlink

EFA: Interpretation

Strukturmatrix enthält Strukturkoeffizienten
Mustermatrix enthält partielle stand. Regressionsgewichte des Items mit neuen Faktoren (factor Pattern coeff.)
identisch bei orthogonaler Rotation
Interpretiert werden Musterkoeffizienten

indirekte Korrelationen auspartialisiert

Musterkoeffizienten können >1 und <-1 sein

bedeutsam sind nicht quad. Ladungskoeffizienten

Markiervariablen

ein Faktor soll mit viele hohen Ladungen definiert sein (Überdeterminiertheit)

Tags: Faktornusterkoeffizienten, Markiervariable, Überdeterminiertheit
Source:

75
Cardlink

EFA: Faktorwerte versus Rohwertsummen

gewichtete Kombination der Items, die zu einem Faktor beitragen
Koeffizientenmatrix der Faktorenwerte in SPSS
stichprobenabhängig
mit gegenüber Verteilung robusteren Rohwertsummen rechnen
Regressionsrechnung häufig
z-standardisierte Variablen, daher keine Mittelwertsvergleiche mit Faktorenwerten
Faktoranalyse zweiter Ordnung untersucht korrelierte Faktorwerte auf gemeinsame Sekundärfaktoren

Tags: Rohwertsummen
Source:

76
Cardlink

EFA: Bewertung