VO Ausgewählte Methoden | Learn flashcards online

All main topics / Psychologie / Statistik

VO Ausgewählte Methoden (175 Cards)

Was ist Cohens Kappa? Welche Maßzahlen können berechnet werden?

Bei einer einfachen Konkordanzbestimmung mittels prozentueller Darstellung werden zufällige Übereinstimmungen nicht berücksichtigt und können somit zu einer Überschätzung der
Konkordanz führen - deshalb Verwendung von Cohens Kappa.

Cohens Kappa (κ) ist ein zufallsbereinigtesMaß der Beurteilerübereinstimmung (Konkordanz) für 2 Rater (Cohen, 1960)
Ähnlich wie für χ2-Tests wird für die Berechnung von Kappa die Anzahl zufällig konkordanter Urteile aus den Randverteilungen geschätzt (unter Annahme der Unabhängigkeit der Urteile)

- P0 = beobachteten Urteile
- Pe = erwartenden Urteile

Tags: Cohens Kappa, Interraterreliabilität
Source: VO08

133
Cardlink

In welchem Wertebereich kann das Cohens Kappa liegen?

Wertebereich von Kappa −1 bis +1
Ähnlich Korrelation, allerdings mit anderer Interpretation negativer Werte
κ = +1: Perfekte Übereinstimmung/Konkordanz
κ = −1: keine beobachteten Übereinstimmungen (a = d = 0 ... p0 = 0) bei maximaler Wahrscheinlichkeit zufälliger Übereinstimmungen
κ = 0: beobachtete Übereinstimmung ist nicht besser als die durch den Zufall erwartete (p0 = pe)

Tags: Cohens Kappa, Interraterreliabilität
Source: VO08

134
Cardlink

Was zeigt dieser SPSS-Ausdruck:

Beispiel: 2 Rater und wie sie Major Depression diagnostiziert haben

Kappa = .73, p < .001 (einseitig)
Spricht ein Kappa von .73 für eine gute Konkordanz? - Ja.

Tags: Cohens Kappa, Interraterreliabilität, SPSS
Source: VO08

135
Cardlink

Wann spricht man guter Konkordanz bei Cohens Kappa? Was ist bei der Interpretation der Werte zu beachten?

Cutoffs für Kappa (Fleiss, 1981) – Signifikanz vorausgesetzt

Allerdings: Wertebereich und Ausprägung des Koeffizienten von einer Anzahl an Faktoren beeinflusst, die nicht Konkordanz selbst betreffen .... erschwert Interpretation von Kappa und verringert den Nutzen von Cutoffs

Kappa beeinflusst durch

Randverteilungen (vgl. Phi-Koeffizient)
Anzahl der Kategorien und der Besetzung von Zellen
Prävalenz des untersuchten Merkmals

Effekte gehen in gleiche Richtung .... i. A. Unterschätzung der Konkordanz

Tags: Cohens Kappa, Interraterreliabilität
Source: VO08

136
Cardlink

Wodurch wird das Cohens Kappa beeinflusst?

Wertebereich und Ausprägung des Koeffizienten von einer Anzahl an Faktoren beeinflusst, die nicht Konkordanz selbst betreffen ... erschwert Interpretation von Kappa und verringert den Nutzen von Cutoffs

Kappa beeinflusst durch

Randverteilungen (vgl. Phi-Koeffizient)
Anzahl der Kategorien und der Besetzung von Zellen
Prävalenz des untersuchten Merkmals

Effekte gehen in gleiche Richtung i. A. .... Unterschätzung der Konkordanz

Tags: Cohens Kappa, Interraterreliabilität, Konkordanz
Source: VO08

137
Cardlink

Welche weiteren Varianten des Cohens Kappa können berechnet werden? Welche anderen Koeffizienten sind noch zu empfehlen?

Berechnung des gewichteten Kappa (weighted Kappa;
Cohen, 1968)
Kappa verrechnet alle Nicht-Übereinstimmungen gleich schwer, kann unangemessen sein, wenn Merkmale z.B. ordinal skaliert sind

Fleiss‘ Kappa

Liegen Urteile von mehr als 2 Ratern vor und ist man an deren Übereinstimmung interessiert
Mittlere Konkordanz aller Rater über alle Objekte
Inhaltlich kann Fleiss‘ Kappa analog zu Cohens Kappa interpretiert werden, Gewichtung ist aber nicht möglich

Probleme des Kappa-Koeffizienten führten auch zur Empfehlung der Verwendung anderer Koeffizienten

Für dichotome Ratingsskalen und 2 Rater z.B. Odds Ratio oder Yules Y (vgl. Wirtz & Caspar, 2002)
Für metrische Ratingskalen ist insbesondere die Intraklassenkorrelation (ICC) ein gebräuchliches Maß zur Bestimmung der Interraterreliabilität

Tags: Cohens Kappa, Interraterreliabilität
Source: VO08