Language
Country/Area
No result found
Il potere della valutazione degli esperti: perché la validità del contenuto è così importante nei test psicologici?
In psicometria, la validità del contenuto (nota anche come validità logistica) si riferisce alla misura in cui uno strumento di misurazione può rappresentare tutti gli aspetti di un costrutto specifico. Ad esempio, se uno strumento di valutazione della depressione valuta solo gli aspetti affettivi della depressione e ignora gli aspetti comportamentali, la sua validità di contenuto sarà messa in dubbio.
Esiste un certo grado di soggettività nel giudicare la validità del contenuto, che richiede un certo consenso su un particolare tratto della personalità, come l'estroversione.
La validità del contenuto differisce dalla validità apparente, che riguarda la questione se un test sembra essere valido in apparenza piuttosto che ciò che il test effettivamente misura. La validità nominale valuta se un test "sembra funzionare", di solito ai partecipanti al test che lo sostengono, agli amministratori che decidono di utilizzare il test e ad altri osservatori non tecnici.
La validità del contenuto richiede l'utilizzo di esperti riconosciuti nel campo professionale per valutare se gli elementi del test possono riflettere pienamente il contenuto definito e condurre test statistici più rigorosi rispetto alla validità apparente. La validità del contenuto viene comunemente applicata nei test accademici e professionali in cui gli elementi del test devono riflettere un'area tematica specifica, come la storia, o un'abilità professionale, come la contabilità.
In ambito clinico, la validità del contenuto riguarda la corrispondenza tra gli elementi del test e il contenuto di una sindrome.
Metodo di misurazione
C.H. Lawshe ha proposto un metodo ampiamente utilizzato per misurare la validità dei contenuti. Questo metodo viene utilizzato fondamentalmente per valutare il grado di accordo tra valutatori o giudici su un particolare punto. In un articolo sui test pre-assunzione, Lawshe (1975) raccomandava a ciascun membro del panel di rispondere alla seguente domanda per ciascun elemento: "L'abilità o la conoscenza misurata dall'elemento è 'essenziale' per la prestazione lavorativa?" 'non necessario'?"
Secondo l'ipotesi di Lawshe, se più della metà dei membri del gruppo di esperti ritiene che un elemento sia "necessario", l'elemento ha almeno una certa validità di contenuto. Il grado di validità del contenuto aumenta man mano che più valutatori concordano sulla necessità di un elemento.
Sulla base di questi presupposti, Lawshe ha sviluppato una formula chiamata Content Validity Ratio (CVR).
Il calcolo di questa formula è il seguente: CVR = (ne - N/2) / (N/2), dove CVR significa rapporto di validità del contenuto, ne è il numero di esperti che considerano l'elemento "necessario" e N è il numero totale di esperti del panel. I valori di questa formula vanno da +1 a -1, con valori positivi che indicano che almeno la metà degli esperti ritiene che il progetto sia necessario. Il CVR medio di tutti gli item può anche essere considerato un indicatore della validità complessiva del contenuto del test.
Lawshe (1975) fornisce anche una tabella di valori critici per CVR in modo che i valutatori del test possano giudicare se il valore CVR calcolato supera le aspettative casuali in base al numero di gruppi di esperti. La tabella è stata calcolata dall'amico di Lawshe, Lowell Schipper. Un'attenta ispezione di questo tavolo pubblico ha rivelato un'anomalia. Nella tabella di Schipper, il valore critico del CVR aumenta gradualmente quando il numero di esperti si riduce da 40 (minimo = .29) a 9 (minimo = .78), ma diminuisce inaspettatamente a 8 esperti (minimo = .75), quindi raggiunge il suo limite superiore (minimo = 0,99) con 7 esperti.
Tuttavia, quando questa formula viene applicata a 8 valutatori, il risultato di 7 recensioni "richieste" e 1 "altra" genererà un valore CVR di 0,75. Se 0,75 non fosse il valore critico, allora tutti gli 8 valutatori dovrebbero valutarlo come "essenziale", il che risulterebbe in un CVR di 1,00. In questo caso, per mantenere il CVR in ordine crescente, il suo valore sarebbe necessariamente 1,00 nel caso di 8 valutatori, il che violerebbe lo stesso principio poiché si avrebbe il valore “perfetto” richiesto per 8 valutatori, ma non esistono corrispondenti valori per altre valutazioni superiori o inferiori a 8 valutatori.
Wilson, Pan e Schumsky (2012) hanno tentato di correggere questo errore, ma non hanno trovato alcuna spiegazione nel lavoro di Lawshe e nessuna pubblicazione di Schipper che descriva come calcolare la tabella dei valori critici. Wilson e colleghi hanno determinato che il valore di Schipper è vicino a un'approssimazione normale della distribuzione binomiale. Confrontando i valori di Schipper con i valori binomiali appena calcolati, hanno scoperto che Lawshe e Schipper avevano etichettato erroneamente le tabelle pubblicate come test a una coda, quando in realtà i valori rispecchiavano i valori del test a due code della distribuzione binomiale. Successivamente, Wilson e colleghi hanno pubblicato un ricalcolo dei valori critici per i rapporti di validità dei contenuti e hanno fornito una tabella di valori critici per unità di misura a più livelli alfa.
Conclusione
La validità del contenuto gioca un ruolo fondamentale nei test psicologici poiché garantisce che il test valuti accuratamente i costrutti richiesti per riflettere le situazioni della vita reale. Man mano che l’uso dei test in contesti diversi diventa più comune, l’enfasi sulla validità dei contenuti nel mondo professionale e accademico diventa più evidente. Quando consideriamo i futuri progetti di test, dovremmo chiederci: come può essere migliorata in modo più efficace la validità del contenuto dei test psicologici per promuovere valutazioni più accurate?
