| dbpedia-owl:abstract
|
- Cohens Kappa ist ein statistisches Maß für die Interrater-Reliabilität von Einschätzungen von (in der Regel) zwei Beurteilern (Ratern), das Jacob Cohen 1960 vorschlug. Er kann aber auch für die Intrarater-Reliabiliät verwendet werden, bei dem derselbe Beobachter zu zwei verschiedenen Zeitpunkten die gleiche Messmethode anwendet. Die Gleichung für Cohens Kappa lautet wobei der gemessene Übereinstimmungswert der beiden Schätzer und die zufällig erwartete Übereinstimmung ist. Wenn die Rater in allen ihren Urteilen übereinstimmen, ist . Sofern sich nur Übereinstimmungen zwischen den beiden Ratern feststellen lassen, die mathematisch dem Ausmaß des Zufalls entsprechen, nimmt es einen Wert von an. (Negative Werte weisen dagegen auf eine Übereinstimmung hin, die noch kleiner ist als eine zufällige Übereinstimmung. ) Greve und Wentura (1997, S. 111) berichten von verschiedenen Einschätzungen hinsichtlich des -Wertes. Als Resümee lässt sich festhalten, dass -Werte von 0,40 bis 0,60 vielleicht noch annehmbar sind, aber Werte unter 0,40 mit etwas Skepsis betrachtet werden sollten. Interrater-Reliabilitätswerte von >=0,75 scheinen gut bis ausgezeichnet. Landis und Koch (1977) schlagen dagegen folgende Werte vor: <0 = „schlechte Übereinstimmung (poor agreement)“, zwischen 0 und 0,20 = „etwas (slight) Übereinstimmung“, 0,21-0,40 = „ausreichende (fair) Übereinstimmung“, 0,41-0,60 = „mittelmäßige (moderate) Übereinstimmung“, 0,61-0,80 = „beachtliche (substantial) Übereinstimmung“, 0,81-1,00 = „(fast) vollkommene (perfect) Übereinstimmung“. Problematisch am Koeffizienten ist insbesondere, dass sein maximaler Wert nicht immer und automatisch 1,00 ist (s. u.).
- Cohen's kappa coefficient is a statistical measure of inter-rater agreement or inter-annotator agreement for qualitative (categorical) items. It is generally thought to be a more robust measure than simple percent agreement calculation since κ takes into account the agreement occurring by chance. Some researchers (e.g. Strijbos, Martens, Prins, & Jochems, 2006) have expressed concern over κ's tendency to take the observed categories' frequencies as givens, which can have the effect of underestimating agreement for a category that is also commonly used; for this reason, κ is considered an overly conservative measure of agreement. Others (e.g. , Uebersax, 1987) contest the assertion that kappa "takes into account" chance agreement. To do this effectively would require an explicit model of how chance affects rater decisions. The so-called chance adjustment of kappa statistics supposes that, when not completely certain, raters simply guess—a very unrealistic scenario.
- Il Kappa di Cohen è un coefficiente statistico che rappresenta il grado di accuratezza e affidabilità in una classificazione statistica; è un indice di concordanza calcolato in base al rapporto tra l'accordo in eccesso e l'accordo massimo ottenibile. Questo valore deve il suo nome allo scienziato Jacob Cohen. Attravero la matrice di confusione è possivile valutare questo parametro: dove è data dalla somma della prima diagonale della matrice e rappresenta la proporzione dei giudizi concordanti tra i giudici. Mentre è il prodotto dei totali positivi sommato a quelli negativi e rappresenta la proporzione dei giudizi concordanti casualmente. Se, allora la statistica rappresenta il caso ottimo. Infatti .
- En statistiques, le test du Kappa mesure l’accord entre observateurs lors d'un codage qualitatif en catégories. Le calcul du Kappa se fait de la manière suivante : Où Pr(a) est l'accord relatif entre codeurs et Pr(e) la probabilité d'un accord aléatoire. Si les codeurs sont totalement en accord κ = 1. S'ils sont totalement en désaccord (ou en accord dû uniquement au hasard) κ ≤ 0. L'article introduisant le kappa a pour auteur Jacob Cohen – d'où sa désignation de Kappa de Cohen – est paru dans je journal Educational and Psychological Measurement en 1960. Le kappa est une mesure d'accord entre deux codeurs seulement. Pour une mesure de l'accord entre plus de deux codeurs, on utilise le kappa de Fleiss (1981).
|
