Comment calculer un accord inter- évaluateur
Le 1
Calculer accord de pour cent en divisant le nombre d'observations qui acceptent sur le nombre total d'observations . Prenons l'exemple d' une expérience impliquant 100 patients ayant reçu un traitement pour l'asthme . Deux médecins sont invités à classer les patients en deux catégories: contrôlées ( oui ) ou non contrôlée (non) des symptômes d'asthme . Les résultats pourraient ressembler à ceci:
deux évaluateurs Oui 70 Photos
deux évaluateurs n ° 15 Photos
évaluateur # 1 Oui /évaluateur n ° 2 n ° 10 Photos
évaluateur # 1 Non /évaluateur # 2 Oui 5
total observations : 100 Photos
dans cet exemple , l'accord de pour cent ( Pa ) serait le nombre d'observations dans laquelle les évaluateurs sont d'accord ( 70 15 ) divisé par le nombre total d'observations ( 100 ) , ou 85 pour cent . Il sera utilisé dans le numérateur dans l'équation finale .
2
Calculer l'accord prévu en raison de hasard . Une partie de l' accord observé sera due à la chance pure . Nous pouvons calculer combien accord serait considéré si les observations étaient complètement aléatoire
Dans notre exemple : .
Deux Oui 70 Photos
deux n ° 15 Photos
# 1OUI /n ° 2 n ° 10 Photos
° 1 Aucune /# 2 Oui 5
total des observations : 100 Photos
Dr # 1 évalué Oui 80/100 ou 80 pour cent du temps ( 0,80 ) .
Dr # 1 classé n ° 20 /100 ou 20 pour cent du temps ( 0,20 ) .
Dr # 2 s'est vu attribuer Oui 75/100 ou 75 pour cent du temps ( 0,75 ) .
Dr # 2 classé n ° 25 /100 ou 25 pour cent du temps ( 0,25 ) .
Si les observations sont aléatoires , la probabilité de deux notes Oui serait ( 0,80 ) x ( 0,75 ) , ou 60 pour cent , et la probabilité de deux notes Aucune seraient ( 0,15 ) x ( 0,25 ) , soit 4 pour cent
la probabilité totale d'accord due au hasard ( Pe ) serait la somme de ces . : ( 0,60 ) + ( 0,04 ) , ou 64 pour cent . Il sera utilisé dans le numérateur et le dénominateur de l'équation finale
3
Calculer kappa en utilisant l'équation suivante : .
K = ( Pa ) - ( Pe ) Photos
---------------
1 - ( Pe ) Photos
Dans notre exemple ,
k = ( 0,85 ) - ( 0,64 ) /1 - ( 0,64 ) = ( 0,58 ) ou 58 pour cent
4
Évaluer kappa pour déterminer si un accord inter-juges est forte . Une bonne règle de base est que kappa -dessus de 80 pour cent sont excellents et plus de 60 pour cent sont bons . Tout en dessous de 60 pour cent est considéré comme inférieur accord optimal .
Dans notre exemple , 58 pour cent est à la limite de la bonne fiabilité inter-évaluateur , et les résultats de l'étude doivent être interprétés avec cela à l'esprit .
5
Évaluer kappa pour plus de deux évaluateurs en utilisant les calculs de kappa de Fleiss . Ce calcul est beaucoup plus compliqué qui devrait être fait par ordinateur .