VO Ausgewählte Methoden | Karteikarten online lernen

Alle Oberthemen / Psychologie / Statistik

VO Ausgewählte Methoden (175 Karten)

Sag Danke

Was versteht man unter Beurteilerübereinstimmung? In welchen Fällen ist diese notwendig?

Erhebungsmethoden in der empirischen Forschung und klinischen
Psychologie nicht auf Selbstberichte (z.B. standardisierte Fragebögen) beschränkt.
Fremdbeurteilungen durch i. d. R. geschulte Rater stellen eine weitere wichtige Informationsquelle dar, z.B.:

Beim Stellen von Diagnosen
Für die klinische Einschätzung von Schweregraden (z.B. HRSD)
Allgemein zur Einschätzung der Ausprägung beliebiger Merkmale

Analog zur Messgüte bei Fragebogenverfahren (Validität, Reliabilität, etc.) stellt sich auch bei Fremdbeurteilungen die Frage nach deren Güte

INTERRATERRELIABILITÄT
Kommen zwei (oder mehr) Beurteiler unabhängig voneinander zur
gleichen Einschätzung/Diagnose ?

Tags: Interraterreliabilität
Quelle: VO08

126
Kartenlink

Was versteht man unter der Interraterreliabilität und welche Aussagen liefert sie?

INTERRATERRELIABILITÄT
Kommen zwei (oder mehr) Beurteiler unabhängig voneinander zur
gleichen Einschätzung/Diagnose ?
(notwendig bei Fremdbeurteilungen)

Interraterreliabilität liefert Aussagen hinsichtlich

Genauigkeit von Urteilen
Objektivität (sind Urteile unabhängig von der Person des jeweiligen Raters?)

Urteile sollten davon unabhängig sein, wer sie vergeben hat
(vgl. Wirtz & Caspar, 2002, S. 15)

(prinzipielle) Austauschbarkeit der Rater
Urteile eines Raters ausreichend
Urteile spiegeln „wahre Merkmalsausprägung“ (klassische Testtheorie) reliabel wider

Tags: Interraterreliabilität
Quelle: VO08

127
Kartenlink

Wie kann die Interraterreliabiltät berechnet werden? Voraussetzungen?

Erfassung und Untersuchung der Interraterreliabilität setzt voraus, dass

mindestens zwei Rater
Urteile zu denselben Objekten abgegeben haben

Interraterreliabilität kann dann mithilfe von Maßen der Beurteilerübereinstimmung berechnet werden.

Unterscheidung gemäß Skalenniveau und anhand der jeweils
verwendeten Definition von Übereinstimmung

nominale/ordinale Skalen: Konkordanz
metrische Skalen: Reliabilität i. e. S.

Konkordanz bezieht sich i. A. auf die (absolute) Gleichheit von Urteilen,
Reliabilität auf die Ähnlichkeit (relative Gleichheit) von Urteilen.

Tags: Interraterreliabilität
Quelle: VO08

128
Kartenlink

Was versteht man unter
a) Konkordanz?
b) Reliabilität?

(Interraterreliabilität - Beurteilerübereinstimmung)

Konkordanz bezieht sich i. A. auf die (absolute) Gleichheit von Urteilen,
Reliabilität auf die Ähnlichkeit (relative Gleichheit) von Urteilen.
(Gut = Sehr gut / Genügend != Sehr gut)

Tags: Interraterreliabilität, Konkordanz, Reliabilität
Quelle: VO08

129
Kartenlink

Was ist die Konkordanz?

Interraterreliabilität, Beurteilungsübereinstimmung
Anwendung auf nominalskalierte (kategoriale) Merkmale (z.B. Diagnosen)
Erfassung des Ausmaßes der Gleichheit von Urteilen

Tags: Interraterreliabilität, Konkordanz
Quelle: VO08

130
Kartenlink

Welche Rolle spielt die Interraterreliabilität in der Diagnostik? In welchen Fällen ist keine Übereinstimmung erwartbar?

Diagnostik in der klinischen Psychologie basiert häufig auf der Anwendung strukturierter klinischer Interviews

Operationalisierte und standardisierte Diagnostik psychischer Störungen

Objektiv (Standardisierung, Raterschulung)
Valide (operationalisierte Diagnostik nach ICD-10 und/oder DSM-IV)

Aber: Werden spezifische Diagnosen von unterschiedlichen Ratern nach Durchführung des Interviews übereinstimmend vergeben ?

Nicht-Übereinstimmungen i. A. erwartbar

Ebene der Operationalisierung (z.B. unpräzise Diagnosekriterien)
Ebene des Durchführenden (z.B. Symptomgewichtung, Anwendungsfehler)
Ebene des Interviewten (z.B. unterschiedliche Offenheit)

Tags: Interraterreliabilität
Quelle: VO08

131
Kartenlink

Was zeigte die Untersuchung des DIPS - wie kann die Konkordanz berechnet werden:

Was ist bei der Berechnung bzw. Interpretation der Konkordanz zu beachten?

DIPS (Diagnostisches Interview bei psychischen Störungen; Schneider & Margraf, 2005): Erlaubt die standardisierte Diagnostik einer Anzahl definierter Störungsbilder nach ICD-10 und DSM-IV-TR

Angaben zur Konkordanz (in Bezug auf Lebenszeitdiagnosen) geschulter Rater im Manual (N = 237 Patienten)

Einfachste Möglichkeit der Konkordanzbestimmung

(Also 13% nicht übereinstimmende Resultate)

Prozentuale Übereinstimmung einfaches und anschauliches Maß
Allerdings: aus statistischer Sicht ist auch dann mit Übereinstimmungen zu rechnen, wenn Rater Urteile völlig zufällig vergeben (vgl. Analyse von Vier-Felder-Tafeln, χ2-Tests)
Zufällige Übereinstimmungen werden in prozentualer Übereinstimmung nicht berücksichtigt und können somit zu einer Überschätzung der Konkordanz führen

Cohens Kappa

Tags: Interraterreliabilität, Konkordanz
Quelle: VO08

132
Kartenlink

Was ist Cohens Kappa? Welche Maßzahlen können berechnet werden?

Bei einer einfachen Konkordanzbestimmung mittels prozentueller Darstellung werden zufällige Übereinstimmungen nicht berücksichtigt und können somit zu einer Überschätzung der
Konkordanz führen - deshalb Verwendung von Cohens Kappa.

Cohens Kappa (κ) ist ein zufallsbereinigtesMaß der Beurteilerübereinstimmung (Konkordanz) für 2 Rater (Cohen, 1960)
Ähnlich wie für χ2-Tests wird für die Berechnung von Kappa die Anzahl zufällig konkordanter Urteile aus den Randverteilungen geschätzt (unter Annahme der Unabhängigkeit der Urteile)

- P0 = beobachteten Urteile
- Pe = erwartenden Urteile

Tags: Cohens Kappa, Interraterreliabilität
Quelle: VO08

133
Kartenlink

In welchem Wertebereich kann das Cohens Kappa liegen?

Wertebereich von Kappa −1 bis +1
Ähnlich Korrelation, allerdings mit anderer Interpretation negativer Werte
κ = +1: Perfekte Übereinstimmung/Konkordanz
κ = −1: keine beobachteten Übereinstimmungen (a = d = 0 ... p0 = 0) bei maximaler Wahrscheinlichkeit zufälliger Übereinstimmungen
κ = 0: beobachtete Übereinstimmung ist nicht besser als die durch den Zufall erwartete (p0 = pe)

Tags: Cohens Kappa, Interraterreliabilität
Quelle: VO08

134
Kartenlink

Was zeigt dieser SPSS-Ausdruck:

Beispiel: 2 Rater und wie sie Major Depression diagnostiziert haben

Kappa = .73, p < .001 (einseitig)
Spricht ein Kappa von .73 für eine gute Konkordanz? - Ja.

Tags: Cohens Kappa, Interraterreliabilität, SPSS
Quelle: VO08

135
Kartenlink

Wann spricht man guter Konkordanz bei Cohens Kappa? Was ist bei der Interpretation der Werte zu beachten?

Cutoffs für Kappa (Fleiss, 1981) – Signifikanz vorausgesetzt

Allerdings: Wertebereich und Ausprägung des Koeffizienten von einer Anzahl an Faktoren beeinflusst, die nicht Konkordanz selbst betreffen .... erschwert Interpretation von Kappa und verringert den Nutzen von Cutoffs

Kappa beeinflusst durch

Randverteilungen (vgl. Phi-Koeffizient)
Anzahl der Kategorien und der Besetzung von Zellen
Prävalenz des untersuchten Merkmals

Effekte gehen in gleiche Richtung .... i. A. Unterschätzung der Konkordanz

Tags: Cohens Kappa, Interraterreliabilität
Quelle: VO08

136
Kartenlink

Wodurch wird das Cohens Kappa beeinflusst?

Wertebereich und Ausprägung des Koeffizienten von einer Anzahl an Faktoren beeinflusst, die nicht Konkordanz selbst betreffen ... erschwert Interpretation von Kappa und verringert den Nutzen von Cutoffs

Kappa beeinflusst durch

Randverteilungen (vgl. Phi-Koeffizient)
Anzahl der Kategorien und der Besetzung von Zellen
Prävalenz des untersuchten Merkmals

Effekte gehen in gleiche Richtung i. A. .... Unterschätzung der Konkordanz

Tags: Cohens Kappa, Interraterreliabilität, Konkordanz
Quelle: VO08

137
Kartenlink

Welche weiteren Varianten des Cohens Kappa können berechnet werden? Welche anderen Koeffizienten sind noch zu empfehlen?

Berechnung des gewichteten Kappa (weighted Kappa;
Cohen, 1968)
Kappa verrechnet alle Nicht-Übereinstimmungen gleich schwer, kann unangemessen sein, wenn Merkmale z.B. ordinal skaliert sind

Fleiss‘ Kappa

Liegen Urteile von mehr als 2 Ratern vor und ist man an deren Übereinstimmung interessiert
Mittlere Konkordanz aller Rater über alle Objekte
Inhaltlich kann Fleiss‘ Kappa analog zu Cohens Kappa interpretiert werden, Gewichtung ist aber nicht möglich

Probleme des Kappa-Koeffizienten führten auch zur Empfehlung der Verwendung anderer Koeffizienten

Für dichotome Ratingsskalen und 2 Rater z.B. Odds Ratio oder Yules Y (vgl. Wirtz & Caspar, 2002)
Für metrische Ratingskalen ist insbesondere die Intraklassenkorrelation (ICC) ein gebräuchliches Maß zur Bestimmung der Interraterreliabilität

Tags: Cohens Kappa, Interraterreliabilität
Quelle: VO08