القسم الرابع: القياس النفسي والتربوي | الفصل 20
قبل أن تصبح الفقرة رقمًا في تحليل الثبات أو العوامل، تمر غالبًا بمرحلة خبراء، وقد تمر الأداة لاحقًا بمقيمين متعددين. يشرح هذا الفصل كيف تتحول أحكام الخبراء والمقيمين إلى أدلة كمية قابلة للتفسير داخل QSRS.
مرحلة الخبراء: CVR لضرورة المؤشر
يستخدم CVR عندما يحدد الخبراء ما إذا كان المؤشر ضروريًا للبناء. إذا كان عدد الخبراء N وعدد من عدّوه ضروريًا ne فإن:
تتراوح القيمة بين -1 و1. ارتفاعها يعني اتفاقًا أكبر على الضرورة، لكن حد القبول يعتمد على عدد الخبراء والقاعدة المعتمدة في الدراسة؛ لذلك يتيح QSRS معيار قرار قابلًا للتعديل بدل افتراض حد واحد لكل الحالات.
CVI لملاءمة المحتوى
في I-CVI يحول الباحث سلم التحكيم إلى فئتي قبول/عدم قبول وفق قاعدة محددة مسبقًا، ثم يحسب نسبة الخبراء الذين صنفوا المؤشر ضمن فئة الملاءمة.
وعلى مستوى الأداة يمكن تلخيص I-CVI بمتوسطها S-CVI/Ave أو بنسبة الفقرات التي حصلت على اتفاق كامل S-CVI/UA. كما يحسب QSRS احتمال الاتفاق بالصدفة ومعامل K* المعدل.
اتفاق المقيمين: متى تكفي النسبة ومتى نحتاج Kappa؟
نسبة الاتفاق المباشر سهلة التفسير لكنها لا تطرح الاتفاق المتوقع بالمصادفة. كابا كوهين تفعل ذلك لمقيمين يصنفان الحالات إلى فئات.
إذا كانت الفئات مرتبة فقد يحتاج الباحث صيغة موزونة في أنظمة أخرى؛ تحقق من نموذج الأداة الذي تستخدمه قبل التقرير. أما إذا كانت الدرجات كمية فغالبًا يكون ICC أكثر ملاءمة من كابا.
ICC: ثبات الدرجات بين المقيمين
ICC ليس معاملًا واحدًا. يختلف باختلاف ما إذا كان المقيمون عشوائيين أو ثابتين، وما إذا كان المطلوب الاتفاق المطلق أو الاتساق، وما إذا كانت النتيجة لقياس مفرد أو متوسط عدة مقيمين. لهذا يعرض QSRS نماذج ICC(1)، ICC(2)، وICC(3) بصيغ المفرد والمتوسط.
| النموذج | الاستخدام الإرشادي |
|---|---|
| ICC(1,1)/(1,k) | مقيمون غير ثابتين بنموذج أحادي الاتجاه |
| ICC(2,1)/(2,k) | مقيمون عشوائيون مع اهتمام بالاتفاق المطلق |
| ICC(3,1)/(3,k) | مجموعة مقيمين محددة مع اهتمام بالاتساق |
مسار QSRS المقترح
للتطبيق المتخصص على الروبريك راجع صدق وثبات الروبريك وتحليله إحصائيًا في QSRS.
مراجع للاستزادة
- Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.
- Polit, D. F., Beck, C. T., & Owen, S. V. (2007). Is the CVI an acceptable indicator of content validity? Research in Nursing & Health, 30(4), 459–467.
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
- Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.
