Language
Country/Area
No result found
O poder da avaliação especializada: por que a validade do conteúdo é crucial para testes psicológicos?
Na psicometria, a validade de conteúdo (também conhecida como validade logística) refere-se à medida em que uma ferramenta de medição pode representar todos os aspectos de um construto específico. Por exemplo, se um instrumento de avaliação da depressão avalia apenas os aspectos afetivos da depressão e ignora os aspectos comportamentais, a sua validade de conteúdo será questionada.
Há um certo grau de subjetividade no julgamento da validade do conteúdo, o que requer um certo consenso sobre um traço de personalidade específico, como a extroversão.
A validade de conteúdo difere da validade aparente, que se preocupa com se um teste parece ser válido à primeira vista, e não com o que o teste realmente mede. A validade facial avalia se um teste “parece funcionar”, geralmente para os participantes que fazem o teste, os administradores que decidem usar o teste e outros observadores não técnicos.
A validade de conteúdo requer o uso de especialistas reconhecidos na área profissional para avaliar se os itens do teste podem refletir totalmente o conteúdo definido e realizar testes estatísticos mais rigorosos do que a validade aparente. A validade de conteúdo é comumente aplicada em testes acadêmicos e vocacionais, onde os itens do teste devem refletir uma área específica, como história, ou uma habilidade profissional, como contabilidade.
Em um ambiente clínico, a validade de conteúdo preocupa-se com a correspondência entre os itens do teste e o conteúdo de uma síndrome.
Método de medição
C.H. Lawshe propôs um método amplamente utilizado para medir a validade de conteúdo. Este método é utilizado basicamente para avaliar o grau de concordância entre avaliadores ou juízes sobre determinado item. Num artigo sobre testes pré-emprego, Lawshe (1975) recomendou que cada painelista respondesse à seguinte pergunta para cada item: "A habilidade ou conhecimento medido pelo item é 'essencial' para o desempenho no trabalho?" 'desnecessário'?"
De acordo com a hipótese de Lawshe, se mais da metade dos membros do painel de especialistas acreditam que um item é “necessário”, o item tem pelo menos alguma validade de conteúdo. O grau de validade do conteúdo aumenta à medida que mais avaliadores concordam que um item é necessário.
Com base nessas suposições, Lawshe desenvolveu uma fórmula chamada Índice de Validade de Conteúdo (CVR).
O cálculo desta fórmula é o seguinte: CVR = (ne - N/2) / (N/2), onde CVR significa Razão de validade de conteúdo, ne é o número de especialistas que consideram o item "necessário" e N é o número total de especialistas do painel. Os valores desta fórmula variam de +1 a -1, com valores positivos indicando que pelo menos metade dos especialistas acreditam que o projeto é necessário. O CVR médio de todos os itens também pode ser considerado um indicador da validade de conteúdo global do teste.
Lawshe (1975) também fornece uma tabela de valores críticos para CVR para que os avaliadores de testes possam julgar se o valor calculado de CVR excede as expectativas aleatórias com base no número de painéis de especialistas. A tabela foi calculada pelo amigo de Lawshe, Lowell Schipper. Uma inspeção cuidadosa desta tabela pública revelou uma anomalia. Na tabela de Schipper, o valor crítico do CVR aumenta gradualmente quando o número de especialistas é reduzido de 40 (mínimo = 0,29) para 9 (mínimo = 0,78), mas diminui inesperadamente em 8 especialistas (mínimo = 0,75), atingindo então seu limite superior (mínimo = 0,99) com 7 especialistas.
No entanto, quando esta fórmula é aplicada a 8 avaliadores, o resultado de 7 avaliações "obrigatórias" e 1 "outras" gerará um valor de CVR de 0,75. Se 0,75 não fosse o valor crítico, então todos os 8 avaliadores seriam obrigados a classificá-lo como “essencial”, o que resultaria em um CVR de 1,00. Neste caso, para manter o CVR em ordem crescente, seu valor seria necessariamente 1,00 no caso de 8 avaliadores, o que violaria o mesmo princípio já que teria o valor "perfeito" exigido para 8 avaliadores, mas não há correspondente valores para outras classificações acima ou abaixo de 8 avaliadores.
Wilson, Pan e Schumsky (2012) tentaram corrigir esse erro, mas não encontraram nenhuma explicação no trabalho de Lawshe e nenhuma publicação de Schipper descrevendo como calcular a tabela de valores críticos. Wilson e colegas determinaram que o valor de Schipper está próximo de uma aproximação normal da distribuição binomial. Ao comparar os valores de Schipper com os valores binomiais recém-calculados, eles descobriram que Lawshe e Schipper rotularam erroneamente as tabelas que publicaram como testes unicaudais, quando na verdade os valores refletiam os valores dos testes bicaudais da distribuição binomial. Posteriormente, Wilson e colegas publicaram um recálculo de valores críticos para índices de validade de conteúdo e forneceram uma tabela de valores críticos de unidade em vários níveis alfa.
Conclusão
A validade de conteúdo desempenha um papel vital nos testes psicológicos, pois garante que o teste avalie com precisão os construtos necessários para refletir situações da vida real. À medida que o uso de testes em diversos ambientes se torna mais comum, a ênfase na validade de conteúdo no mundo profissional e acadêmico torna-se mais evidente. Ao considerar futuros designs de testes, devemos perguntar-nos: Como pode a validade de conteúdo dos testes psicológicos ser melhorada de forma mais eficaz para promover avaliações mais precisas?
