Language
Country/Area
No result found
전문가 평가의 힘: 내용 타당성이 심리 테스트에 중요한 이유는 무엇입니까?
심리측정학에서 내용 타당성(로지스틱 타당성이라고도 함)은 측정 도구가 특정 구성의 모든 측면을 나타낼 수 있는 정도를 나타냅니다. 예를 들어, 우울증 평가 도구가 우울증의 정서적 측면만 평가하고 행동 측면을 무시한다면 그 내용 타당성에 의문이 제기될 것입니다.
콘텐츠 타당성을 판단하는 데는 어느 정도 주관성이 있으며, 이를 위해서는 외향성과 같은 특정 성격 특성에 대한 일정한 합의가 필요합니다.
내용 타당성은 테스트가 실제로 측정하는 것이 아니라 테스트가 표면적으로 유효한 것처럼 보이는지 여부와 관련이 있는 얼굴 타당성과 다릅니다. 안면 타당성은 일반적으로 테스트를 치르는 응시자, 테스트를 사용하기로 결정한 관리자 및 기타 비기술적 관찰자에게 테스트가 "작동하는 것처럼 보이는지" 여부를 평가합니다.
내용 타당성은 전문 분야에서 인정받는 전문가를 활용하여 테스트 항목이 정의된 내용을 완전히 반영할 수 있는지 평가하고, 겉모습 타당성보다 더 엄격한 통계 테스트를 수행해야 합니다. 내용 타당성은 일반적으로 시험 항목이 역사와 같은 특정 주제 영역이나 회계와 같은 직업 기술을 반영해야 하는 학업 및 직업 시험에 적용됩니다.
임상 환경에서 내용 타당성은 테스트 항목과 증후군 내용 간의 일치성과 관련이 있습니다.
측정방법
C.H. Lawshe는 콘텐츠 타당성을 측정하는 데 널리 사용되는 방법을 제안했습니다. 이 방법은 기본적으로 특정 항목에 대한 평가자 또는 심사위원 간의 동의 정도를 평가하는 데 사용됩니다. 고용 전 테스트에 관한 기사에서 Lawshe(1975)는 각 패널리스트에게 "항목으로 측정된 기술이나 지식이 직무 수행에 '필수'인가? '유용하지만 필요하지 않은가?'라는 질문에 답할 것을 권장했습니다. '불필요하다'?"
Lawshe의 가설에 따르면, 전문가 패널 구성원 중 절반 이상이 항목이 '필요하다'고 믿는다면 해당 항목은 어느 정도 내용 타당성을 갖고 있는 것입니다. 더 많은 평가자가 항목이 필요하다는 데 동의할수록 콘텐츠 유효성의 정도가 높아집니다.
이러한 가정을 바탕으로 Lawshe는 콘텐츠 유효성 비율(CVR)이라는 공식을 개발했습니다.
이 공식의 계산은 다음과 같습니다. CVR = (ne - N/2) / (N/2), 여기서 CVR는 콘텐츠 유효성 비율을 의미하고, ne는 해당 항목이 "필요"하다고 생각하는 전문가 수, N은 총 패널의 전문가. 이 공식의 값은 +1에서 -1까지이며, 양수 값은 전문가 중 최소 절반 이상이 프로젝트가 필요하다고 생각함을 나타냅니다. 모든 항목의 평균 CVR은 테스트의 전반적인 내용 타당성을 나타내는 지표로도 간주될 수 있습니다.
Lawshe(1975)는 또한 시험 평가자가 계산된 CVR 값이 전문가 패널 수를 기반으로 예상 확률을 초과하는지 여부를 판단할 수 있도록 CVR에 대한 임계 값 표를 제공합니다. 이 테이블은 Lawshe의 친구 Lowell Schipper가 계산했습니다. 이 공개 테이블을 면밀히 조사한 결과 변칙적인 현상이 발견되었습니다. Schipper의 표에서는 전문가 수가 40명(최소 = .29)에서 9명(최소 = .78)으로 줄어들면 CVR의 임계값이 점차 증가하지만, 전문가 8명(최소 = .75)에서는 예기치 않게 감소한 후 전문가가 7명일 경우 상한(최소 = .99)입니다.
그러나 이 공식을 8명의 평가자에게 적용하면 7개의 '필수' 리뷰와 1개의 '기타' 리뷰 결과는 .75의 CVR 값을 생성합니다. .75가 임계 값이 아닌 경우 8명의 평가자 모두가 이를 "필수"로 평가해야 하며 결과적으로 CVR은 1.00이 됩니다. 이 경우 CVR을 오름차순으로 유지하려면 평가자가 8명인 경우 해당 값은 반드시 1.00이어야 합니다. 이는 평가자 8명에게 필요한 "완벽한" 값을 가지므로 동일한 원칙을 위반하게 되지만 해당 항목은 없습니다. 평가자 8명 이상 또는 이하의 기타 등급에 대한 값.
Wilson, Pan, Schumsky(2012)는 이 오류를 수정하려고 시도했지만 Lawshe의 작업에서 설명을 찾지 못했고 임계값 테이블 계산 방법을 설명하는 Schipper의 출판물도 찾지 못했습니다. Wilson과 동료들은 Schipper의 값이 이항 분포의 정규 근사에 가깝다는 것을 확인했습니다. Schipper의 값을 새로 계산된 이항 값과 비교하여 Lawshe와 Schipper가 게시한 테이블에 단측 검정으로 잘못 표시한 사실을 발견했습니다. 실제로 해당 값은 이항 분포의 양측 검정 값을 반영했습니다. 이후 Wilson과 동료들은 콘텐츠 유효성 비율에 대한 임계값 재계산을 발표하고 여러 알파 수준에서 단위 단계 임계값 표를 제공했습니다.
결론
내용 타당성은 심리 테스트에서 실제 상황을 반영하는 데 필요한 구성 요소를 정확하게 평가하도록 보장하므로 심리 테스트에서 중요한 역할을 합니다. 다양한 환경에서 테스트를 사용하는 것이 점점 보편화됨에 따라 전문적, 학문적 세계에서 내용 타당성에 대한 강조가 더욱 분명해졌습니다. 미래의 테스트 설계를 고려할 때 우리는 스스로에게 질문해야 합니다. 보다 정확한 평가를 촉진하기 위해 심리 테스트의 내용 타당성을 어떻게 더 효과적으로 향상시킬 수 있습니까?
