Em vários campos, como ciências sociais, pesquisa médica e pesquisa de mercado, a confiabilidade dos dados é, sem dúvida, a pedra angular das conclusões analíticas. Quando a pesquisa precisa avaliar a consistência de diferentes revisores ou pesquisadores em um determinado dado ou evento, o Kappa de Cohen se torna uma ferramenta importante. Este indicador não apenas avalia o grau de concordância entre avaliadores, mas também leva em consideração a concordância que pode ser causada por fatores aleatórios, o que o torna particularmente crítico na pesquisa científica.
O Kappa de Cohen pode ser visto como uma medida mais poderosa do que um simples cálculo de concordância percentual.
O coeficiente Kappa de Cohen é uma estatística usada para medir o grau de concordância entre dois revisores na classificação de N itens em C categorias mutuamente exclusivas. Em termos simples, o cálculo do coeficiente Kappa envolve duas métricas principais: a concordância relativa observada (p_o
) e a probabilidade assumida de concordância aleatória (p_e
). Isso significa que o Kappa não se preocupa apenas com a concordância real entre os revisores, mas também analisa mais profundamente desvios esporádicos de observações reais por vários fatores.
Por exemplo, quando temos dois revisores, se eles concordam perfeitamente, então o valor Kappa é 1; se eles confiam apenas em concordância aleatória, então o valor Kappa é 0. Essa avaliação quantitativa é muito útil para entender a confiabilidade dos dados.
“Se houver concordância perfeita entre os revisores, Kappa é 1; se houver apenas chance aleatória, Kappa é 0.”
O Kappa de Cohen foi proposto pela primeira vez pelo psicólogo Jacob Cohen em 1960 para auxiliar na avaliação da concordância do avaliador em medições educacionais e psicológicas. Depois, o indicador começou a ser amplamente utilizado em muitos campos, incluindo interpretação de imagens médicas, ciências sociais e pesquisa de mercado, e gradualmente evoluiu para um dos métodos padrão para avaliar a confiabilidade de dados.
Embora o coeficiente Kappa seja uma ferramenta de medição poderosa na teoria, ele enfrenta desafios na aplicação prática. Uma delas é que a interpretação da extensão do acordo pode ser controversa. O estudo destacou que, ao interpretar os valores de Kappa, além de atentar para possíveis vieses e desigualdades, é preciso considerar também o impacto do número de sujeitos e do tamanho da amostra.
Ao avaliar os resultados, "o valor do coeficiente Kappa depende fortemente dos critérios de atribuição do revisor e da proporção das categorias".
O kappa de Cohen é frequentemente usado para medir a concordância entre dois revisores na mesma amostra, e seu valor varia de -1 a 1. Se o valor Kappa for menor que 0, significa que há maior discordância entre os revisores do que o acaso indicaria; valores entre 0 e 0,20 indicam concordância leve, 0,21 a 0,40 indicam concordância razoável, 0,41 a 0,60 indicam concordância moderada e 0,61 a 0,80 indicam concordância moderada. É razoavelmente consistente, enquanto valores acima de 0,81 são quase completamente consistentes.
No entanto, esses indicadores geralmente apresentam diferentes poderes explicativos em diferentes contextos. Portanto, os pesquisadores devem ser cautelosos com os dados kappa e como traduzi-los em lições práticas de pesquisa.
Como um indicador importante para medir a confiabilidade dos dados, o Kappa de Cohen foi realizado inúmeras vezes em muitos estudos. No entanto, ainda precisamos pensar em como determinar melhor sua aplicabilidade e seu real impacto na confiabilidade dos dados na realidade social cada vez mais complexa. O Kappa de Cohen pode ser aplicado a todas as situações? Em outras palavras, precisamos de uma abordagem de avaliação mais flexível e ampla para abordar a integridade de diferentes tipos de dados?