Language
Country/Area
No result found
Sức mạnh của đánh giá của chuyên gia: Tại sao tính xác thực của nội dung lại quan trọng đối với bài kiểm tra tâm lý?
Trong tâm lý học, giá trị nội dung (còn được gọi là giá trị hậu cần) đề cập đến mức độ mà một công cụ đo lường có thể thể hiện tất cả các khía cạnh của một cấu trúc cụ thể. Ví dụ: nếu một công cụ đánh giá trầm cảm chỉ đánh giá các khía cạnh cảm xúc của trầm cảm và bỏ qua các khía cạnh hành vi thì giá trị nội dung của nó sẽ bị nghi ngờ.
Có một mức độ chủ quan trong việc đánh giá giá trị nội dung, điều này đòi hỏi sự đồng thuận nhất định về một đặc điểm tính cách cụ thể, chẳng hạn như tính hướng ngoại.
Giá trị nội dung khác với giá trị bề ngoài, liên quan đến việc liệu bài kiểm tra có vẻ hợp lệ về mặt bề ngoài hay không chứ không phải những gì bài kiểm tra thực sự đo lường được. Tính hợp lệ của khuôn mặt đánh giá xem một bài kiểm tra có "có vẻ hiệu quả hay không", thường là đối với những người làm bài kiểm tra, những người quản lý quyết định sử dụng bài kiểm tra và những người quan sát phi kỹ thuật khác.
Tính hợp lệ của nội dung yêu cầu sử dụng các chuyên gia được công nhận trong lĩnh vực chuyên môn để đánh giá xem các mục kiểm tra có thể phản ánh đầy đủ nội dung được xác định hay không và tiến hành các bài kiểm tra thống kê nghiêm ngặt hơn so với tính hợp lệ bề ngoài. Giá trị nội dung thường được áp dụng trong các bài kiểm tra học thuật và dạy nghề trong đó các bài kiểm tra phải phản ánh một lĩnh vực chủ đề cụ thể, chẳng hạn như lịch sử hoặc kỹ năng nghề, chẳng hạn như kế toán.
Trong môi trường lâm sàng, giá trị nội dung liên quan đến sự tương ứng giữa các mục xét nghiệm và nội dung của hội chứng.
Phương pháp đo
C.H. Lawshe đã đề xuất một phương pháp đo lường giá trị nội dung được sử dụng rộng rãi. Phương pháp này về cơ bản được sử dụng để đánh giá mức độ đồng ý giữa người đánh giá hoặc giám khảo về một hạng mục cụ thể. Trong một bài viết về kiểm tra trước khi làm việc, Lawshe (1975) khuyến nghị mỗi tham luận viên nên trả lời câu hỏi sau cho mỗi mục: "Kỹ năng hoặc kiến thức được đo lường bởi mục này có 'cần thiết' đối với hiệu suất công việc không?" 'không cần thiết'?"
Theo giả thuyết của Lawshe, nếu hơn một nửa số thành viên hội đồng chuyên gia tin rằng một vật phẩm là "cần thiết" thì vật phẩm đó ít nhất có giá trị nội dung nào đó. Mức độ giá trị của nội dung tăng lên khi có nhiều người đánh giá đồng ý rằng một mục là cần thiết.
Dựa trên những giả định này, Lawshe đã phát triển một công thức gọi là Tỷ lệ hiệu lực nội dung (CVR).
Cách tính công thức này như sau: CVR = (ne - N/2) / (N/2), trong đó CVR nghĩa là Tỷ lệ giá trị nội dung, ne là số lượng chuyên gia cho rằng mục này là "cần thiết" và N là tổng số các chuyên gia trong hội đồng. Các giá trị cho công thức này nằm trong khoảng từ +1 đến -1, với các giá trị dương cho thấy ít nhất một nửa số chuyên gia tin rằng dự án là cần thiết. CVR trung bình của tất cả các mục cũng có thể được coi là một chỉ số đánh giá tính giá trị nội dung tổng thể của bài kiểm tra.
Lawshe (1975) cũng cung cấp một bảng các giá trị tới hạn cho CVR để người đánh giá kiểm tra có thể đánh giá liệu giá trị CVR được tính toán có vượt quá mong đợi về cơ hội hay không dựa trên số lượng hội đồng chuyên gia. Bảng này được tính toán bởi Lowell Schipper, bạn của Lawshe. Kiểm tra chặt chẽ bảng công cộng này cho thấy một sự bất thường. Trong bảng Schipper, giá trị tới hạn của CVR tăng dần khi số lượng chuyên gia giảm từ 40 (tối thiểu = 0,29) xuống 9 (tối thiểu = 0,78), nhưng lại giảm bất ngờ ở mức 8 chuyên gia (tối thiểu = 0,75), sau đó đạt tới giới hạn trên của nó (tối thiểu = 0,99) với 7 chuyên gia.
Tuy nhiên, khi áp dụng công thức này cho 8 người xếp hạng, kết quả của 7 đánh giá "bắt buộc" và 1 đánh giá "khác" sẽ tạo ra giá trị CVR là 0,75. Nếu 0,75 không phải là giá trị tới hạn thì tất cả 8 người đánh giá sẽ được yêu cầu xếp hạng giá trị đó là "cần thiết", điều này sẽ dẫn đến CVR là 1,00. Trong trường hợp này, để giữ CVR theo thứ tự tăng dần, giá trị của nó nhất thiết phải là 1,00 trong trường hợp có 8 người đánh giá, điều này sẽ vi phạm nguyên tắc tương tự vì bạn sẽ có giá trị "hoàn hảo" cần thiết cho 8 người đánh giá, nhưng không có giá trị tương ứng giá trị cho các xếp hạng khác trên hoặc dưới 8 người đánh giá.
Wilson, Pan và Schumsky (2012) đã cố gắng sửa lỗi này nhưng không tìm thấy lời giải thích nào trong công trình của Lawshe và không có ấn phẩm nào của Schipper mô tả cách tính bảng giá trị tới hạn. Wilson và các đồng nghiệp đã xác định rằng giá trị của Schipper gần với giá trị gần đúng chuẩn của phân bố nhị thức. Bằng cách so sánh các giá trị của Schipper với các giá trị nhị thức mới được tính toán, họ phát hiện ra rằng Lawshe và Schipper đã dán nhãn sai cho các bảng mà họ công bố là các thử nghiệm một phía, trong khi trên thực tế các giá trị này phản ánh các giá trị thử nghiệm hai phía của phân bố nhị thức. Sau đó, Wilson và các đồng nghiệp đã công bố tính toán lại các giá trị tới hạn cho tỷ lệ hợp lệ nội dung và cung cấp một bảng gồm các giá trị tới hạn theo từng bước đơn vị ở nhiều cấp độ alpha.
Kết luận
Tính giá trị của nội dung đóng một vai trò quan trọng trong bài kiểm tra tâm lý vì nó đảm bảo rằng bài kiểm tra đánh giá chính xác các cấu trúc cần thiết để phản ánh các tình huống thực tế. Khi việc sử dụng các bài kiểm tra trong nhiều bối cảnh khác nhau trở nên phổ biến hơn, việc nhấn mạnh vào giá trị nội dung trong thế giới chuyên môn và học thuật trở nên rõ ràng hơn. Khi xem xét các thiết kế bài kiểm tra trong tương lai, chúng ta nên tự hỏi: Làm cách nào để cải thiện hiệu quả nội dung của các bài kiểm tra tâm lý một cách hiệu quả hơn nhằm thúc đẩy các đánh giá chính xác hơn?
