معامل كابا لكوهين هو نسبة الاتساق النسبي الملحوظ إلى الاتساق العشوائي، والذي يمكنه تجنب قيود مؤشرات الاتساق البسيطة بشكل فعال.
p_o
) واحتمال الاتفاق بالصدفة (p_e
).
في التطبيقات العملية، يظهر معامل كابا لكوهين في الصيغة التالية:
κ = (p_o - p_e) / (1 - p_e)
عندما يتفق المقيمون بشكل كامل، يكون معامل كابا 1؛ وإذا اتفق المقيمون حوالي نصف الوقت بالصدفة، يكون معامل كابا قريبًا من 0. وفي الحالات المعقدة، قد يكون معامل كابا سلبيا، مما يشير إلى وجود خلاف منهجي بين المصنفين.
في مثال بسيط، لنفترض أن هناك 50 متقدمًا للحصول على منحة وقام اثنان من المراجعين بتقييم كل طلب بـ "نعم" أو "لا". إذا أعطى أحد المراجعين تقييمًا بـ "موافق" على 20 تطبيقًا وأعطى مراجع آخر تقييمًا بـ "موافق" على 15 تطبيقًا، فمن الممكن حساب الاتفاق الملحوظ بينهما ثم حساب الاتفاق العرضي.
"في إحدى الدراسات، كشف معامل كابا الخاص بكوهين عن تحيزات محتملة في عملية المراجعة، مما ساعد الباحثين على تحسين عدالة واتساق المراجعات."
غالبًا ما يتطلب تفسير قيمة معامل كابا الاعتماد على بعض مواصفات الحدود. وفقًا للأدبيات، يمكن تقسيم قيم معامل كابا إلى فئات مختلفة: <أول>
عند مناقشة معاملات كابا، هناك العديد من العوامل الهامة التي يجب مراعاتها، بما في ذلك تحيز المصنف، وتوزيع الفئات، والبنية الشبكية للبيانات. تزداد قيم كابا بشكل عام مع زيادة عدد الفئات، وقد يتأثر تفسير قيم كابا أيضًا عندما يكون لدى المصنفين تقييمات غير متماثلة.
"إن ندرة البيانات وتحيز المصنفين سيؤثران بشكل مباشر على قيمة ومعنى كابا، لذا يجب أخذهما بعين الاعتبار بعناية عند تصميم أدوات التقييم"