Comment calculer un accord inter- évaluateur

Un accord inter-juges est une mesure de la façon dont des mesures cohérentes sont entre deux ou plusieurs observateurs (ou « évaluateurs ») . Par exemple , les chercheurs en médecine utilisent souvent un groupe de médecins d'observer et de classer les effets d'une expérience de traitement . Mesure de la cohérence entre les observateurs est important parce que nous voulons être sûrs que tous les effets que nous voyons sont en raison de notre expérience et de ne pas de grandes différences entre les observateurs . La statistique principal utilisé pour mesurer l'accord inter-juges est appelé « kappa ». Instructions
Le 1

Calculer accord de pour cent en divisant le nombre d'observations qui acceptent sur ​​le nombre total d'observations . Prenons l'exemple d' une expérience impliquant 100 patients ayant reçu un traitement pour l'asthme . Deux médecins sont invités à classer les patients en deux catégories: contrôlées ( oui ) ou non contrôlée (non) des symptômes d'asthme . Les résultats pourraient ressembler à ceci:

deux évaluateurs Oui 70 Photos

deux évaluateurs n ° 15 Photos

évaluateur # 1 Oui /évaluateur n ° 2 n ° 10 Photos

évaluateur # 1 Non /évaluateur # 2 Oui 5
total observations : 100 Photos

dans cet exemple , l'accord de pour cent ( Pa ) serait le nombre d'observations dans laquelle les évaluateurs sont d'accord ( 70 15 ) divisé par le nombre total d'observations ( 100 ) , ou 85 pour cent . Il sera utilisé dans le numérateur dans l'équation finale .
2

Calculer l'accord prévu en raison de hasard . Une partie de l' accord observé sera due à la chance pure . Nous pouvons calculer combien accord serait considéré si les observations étaient complètement aléatoire

Dans notre exemple : .

Deux Oui 70 Photos

deux n ° 15 Photos

# 1OUI /n ° 2 n ° 10 Photos

° 1 Aucune /# 2 Oui 5

total des observations : 100 Photos

Dr # 1 évalué Oui 80/100 ou 80 pour cent du temps ( 0,80 ) .

Dr # 1 classé n ° 20 /100 ou 20 pour cent du temps ( 0,20 ) .

Dr # 2 s'est vu attribuer Oui 75/100 ou 75 pour cent du temps ( 0,75 ) .

Dr # 2 classé n ° 25 /100 ou 25 pour cent du temps ( 0,25 ) .

Si les observations sont aléatoires , la probabilité de deux notes Oui serait ( 0,80 ) x ( 0,75 ) , ou 60 pour cent , et la probabilité de deux notes Aucune seraient ( 0,15 ) x ( 0,25 ) , soit 4 pour cent

la probabilité totale d'accord due au hasard ( Pe ) serait la somme de ces . : ( 0,60 ) + ( 0,04 ) , ou 64 pour cent . Il sera utilisé dans le numérateur et le dénominateur de l'équation finale
3

Calculer kappa en utilisant l'équation suivante : .

K = ( Pa ) - ( Pe ) Photos

---------------

1 - ( Pe ) Photos

Dans notre exemple ,

k = ( 0,85 ) - ( 0,64 ) /1 - ( 0,64 ) = ( 0,58 ) ou 58 pour cent
4

Évaluer kappa pour déterminer si un accord inter-juges est forte . Une bonne règle de base est que kappa -dessus de 80 pour cent sont excellents et plus de 60 pour cent sont bons . Tout en dessous de 60 pour cent est considéré comme inférieur accord optimal .

Dans notre exemple , 58 pour cent est à la limite de la bonne fiabilité inter-évaluateur , et les résultats de l'étude doivent être interprétés avec cela à l'esprit .

5

Évaluer kappa pour plus de deux évaluateurs en utilisant les calculs de kappa de Fleiss . Ce calcul est beaucoup plus compliqué qui devrait être fait par ordinateur .