Kesepakatan antar penilai (Kappa, ICC)
Mengukur konsistensi penilaian antar penilai.
Untuk apa dipakai
- Menguji kualitas kuesioner (validitas dan reliabilitas)
Data yang dibutuhkan
Bergantung pada tujuan: umumnya berupa angka ringkas seperti jumlah populasi atau tingkat kesalahan, atau data responden untuk diperiksa.
Unggah file Excel (.xlsx) atau CSV. Aplikasi memeriksa kecocokan data dengan metode sebelum analisis dijalankan, dan token tidak terpotong bila analisis gagal.
Bantuan — proses & rumus
Tahap komputasi yang dijalankan OlahData untuk metode ini, lengkap dengan rumus dan rujukannya.
Pilih jenis ukuran: Kappa untuk penilaian berkategori, atau ICC untuk penilaian angka (kontinu/skor). Hanya subjek yang dinilai oleh semua penilai yang dihitung.
Mengukur kesepakatan di luar yang diharapkan secara kebetulan; bisa berbobot linear/kuadratik untuk kategori berjenjang, dengan galat baku dan selang kepercayaan sampel besar.
Kappa = (kesepakatan teramati − kesepakatan kebetulan) / (1 − kesepakatan kebetulan)
Kappa Fleiss menggeneralisasi Cohen untuk banyak penilai (selang kepercayaan bootstrap); Kappa Light = rata-rata Kappa Cohen semua pasangan penilai.
Bentuk ICC(1,1)/(2,1)/(3,1) untuk satu penilai dan ICC(1,k)/(2,k)/(3,k) untuk rata-rata penilai, dipilih menurut rancangan: penilai berbeda tiap subjek, penilai acak dari populasi, atau penilai tetap.
Kappa ditafsirkan dengan kategori Landis & Koch (1977); ICC ditafsirkan dengan kategori Koo & Li (2016) berdasarkan batas selang kepercayaan.
| Ukuran | Ambang batas | Rujukan |
|---|---|---|
| Kappa (Landis & Koch) | 0,81–1 hampir sempurna · 0,61–0,80 kuat · 0,41–0,60 sedang · 0,21–0,40 cukup · 0–0,20 sangat rendah · < 0 buruk | Landis & Koch (1977) |
| ICC (Koo & Li) | > 0,90 sangat baik · 0,75–0,90 baik · 0,50–0,75 sedang · < 0,50 buruk | Koo & Li (2016) |
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
- Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382.
- Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
- Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.
- Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
Mengikuti Cohen (1960), Fleiss (1971), dan Shrout & Fleiss (1979).
Contoh hasil
Contoh hasil dengan data fiktif untuk metode ini sedang disiapkan.
Ingin mencoba dengan data Anda?
Hasilnya disertai tabel, grafik, narasi, dan penjelasan prosesnya.