Keberfungsian Butir Diferensial: Ketika Satu Butir Merugikan Satu Kelompok

Sebuah butir tes penalaran menanyakan urutan prosedur mengurus dokumen kendaraan. Bagi peserta yang pernah mengurus sendiri, butir itu soal penalaran. Bagi peserta yang selalu menyerahkan urusan tersebut kepada orang lain, butir itu soal pengetahuan prosedural yang tidak ada hubungannya dengan penalaran.

Dua peserta dengan kemampuan penalaran setara bisa menjawab berbeda karena pengalaman, bukan karena kemampuan. Di titik itulah keberfungsian butir diferensial (differential item functioning, DIF) menjadi relevan.

Prosedur pemeriksaan keberfungsian butir diferensial. Temuan statistik harus ditindaklanjuti dengan telaah isi sebelum butir dipakai atau dibuang.

Apa itu DIF?

DIF terjadi ketika peluang menjawab benar sebuah butir berbeda antar kelompok setelah kemampuan yang diukur dikontrol. Kata kunci yang sering terlewat: setelah dikontrol.

Tanpa kontrol kemampuan, perbedaan skor antar kelompok hanyalah cerminan perbedaan distribusi kemampuan. Itu bukan DIF. DIF berbicara tentang perilaku butir pada tingkat kemampuan yang sama.

Contoh lain yang mudah dibayangkan: butir tentang menghitung kembalian uang. Bagi peserta yang sehari-hari berjualan, butir itu rutin. Bagi peserta yang terbiasa membayar dengan kartu, butir itu menuntut pembayaran mental yang lebih berat. Jika keduanya punya kemampuan numerik setara tetapi peluang benar berbeda, butir tersebut menunjukkan DIF.

Perlu dicatat, temuan DIF bukan tuduhan. Ia adalah sinyal untuk memeriksa apakah butir mengukur konstruk yang dimaksud atau sekadar mengukur kedekatan pengalaman.

Tiga jenis DIF yang perlu dibedakan

DIF seragam (uniform). Selisih peluang benar konsisten di semua tingkat kemampuan. Kelompok A selalu sedikit lebih diuntungkan, berapa pun kemampuannya.

DIF tidak seragam (non-uniform). Selisih berubah arah atau besar menurut tingkat kemampuan. Pada tingkat rendah satu kelompok lebih diuntungkan, pada tingkat tinggi sebaliknya.

Bias butir. Istilah ini sering dipakai bergantian, tetapi maknanya lebih luas: DIF yang terbukti berkaitan dengan faktor yang tidak relevan dengan konstruk. DIF adalah temuan statistik; bias adalah penilaian tentang penyebab dan keadilannya (Zumbo, 2007).

Perbedaan ini penting karena tidak semua DIF adalah masalah. Butir bisa menampilkan DIF karena memang mengukur komponen konstruk yang berbeda kadarnya antar kelompok.

Bagaimana DIF diuji

Tiga pendekatan yang paling umum:

1. Mantel-Haenszel. Membandingkan peluang benar antar kelompok setelah dikelompokkan menurut skor total. Sederhana dan mudah dilaporkan.
2. Regresi logistik. Memodelkan peluang benar dari kemampuan, kelompok, dan interaksinya. Interaksi menangkap DIF tidak seragam.
3. Berbasis item response theory. Membandingkan parameter butir antar kelompok setelah model diuji. Paling informatif, tetapi menuntut sampel besar.

Sebelum semua itu, ada pemeriksaan yang lebih mendasar: invarian pengukuran. Sebuah alat baru layak dibandingkan lintas kelompok jika memenuhi invarian konfigural, metrik, dan skalar (Meredith, 1993). Kegagalan invarian skalar berarti perbandingan rata-rata antar kelompok tidak bermakna, sekalipun angkanya tersedia.

Cheung dan Rensvold (2002) memberi rambu praktis: penurunan CFI lebih dari 0,01 saat menambah batasan menunjukkan invarian yang tidak terpenuhi. Rambu ini bukan hukum, tetapi berguna untuk menghindari klaim berlebihan.

Contoh yang sering muncul di Indonesia

Bahasa dan dialek. Butir dengan kata "mengantre", "antre", atau istilah daerah dapat memuat beban bahasa yang berbeda, terutama pada tes yang mengklaim mengukur penalaran.

Akses teknologi. Butir tentang mengunggah berkas atau mengisi formulir daring mengukur keakraban perangkat, bukan hanya kemampuan kognitif.

Kurikulum sekolah. Butir matematika yang memakai konteks tertentu bisa lebih mudah bagi siswa yang mempelajari kurikulum dengan konteks itu.

Norma gender pada minat. Pada inventori minat, butir "suka memperbaiki peralatan" bisa memuat perbedaan sosialisasi. Su, Rounds, dan Armstrong (2009) mendokumentasikan pola perbedaan minat antar jenis kelamin yang konsisten, dan sebagian bersumber dari faktor sosial, bukan bakat.

Apakah butir sulit bagi satu kelompok selalu bermasalah?

Tidak. Kesulitan butir yang berbeda bisa sah jika memang berkaitan dengan konstruk. Tes kemampuan berbahasa Indonesia, misalnya, wajar menunjukkan perbedaan skor antara penutur asli dan pembelajar.

Yang menjadi masalah adalah perbedaan sistematis pada hal yang tidak relevan dengan tujuan tes. Karena itu, analisis DIF harus selalu diikuti pertanyaan: faktor apa yang mungkin menjelaskan perbedaan ini, dan apakah faktor itu bagian dari konstruk?

Langkah setelah DIF ditemukan

Tinjau isi butir. Baca ulang, wawancara peserta, dan minta penilaian ahli. Statistik menunjuk lokasi; penjelasan tetap butuh penalaran.

Perbaiki redaksi. Banyak DIF hilang setelah konteks dibuat lebih netral dan instruksi diperjelas.

Buang butir. Pilihan terakhir, terutama jika butir tidak dapat diperbaiki dan memengaruhi banyak peserta.

Pertimbangkan norma terpisah. Untuk alat yang memang dipakai lintas kelompok dengan perbedaan sah, norma terpisah bisa dibenarkan. Namun keputusan ini menuntut dokumentasi dan pembelaan etis, bukan sekadar hasil analisis.

Pedoman adaptasi lintas budaya menekankan pentingnya uji coba lokal dan pelaporan hasil analisis butir (ITC, 2017). Tanpa itu, klaim "sudah diadaptasi" hanya berarti "sudah diterjemahkan".

Peran ukuran sampel dan kekuatan statistik

Analisis DIF pada sampel kecil menghasilkan dua jenis kesalahan sekaligus: temuan palsu dan kegagalan mendeteksi masalah nyata. Dengan 60 responden per kelompok, hanya DIF berukuran besar yang terdeteksi. Butir yang merugikan 8% peserta bisa lolos tanpa catatan.

Sebaliknya, pada sampel sangat besar, perbedaan sepele bisa berlabel "signifikan". Karena itu, ukuran dampak lebih informatif daripada nilai p. Laporkan besarnya selisih peluang benar, bukan hanya status signifikan.

Keseimbangan praktis: gunakan ukuran sampel yang memadai, laporkan ukuran dampak, dan perlakukan hasil sebagai pemicu pemeriksaan isi, bukan sebagai putusan akhir.

Dari DIF ke keputusan yang bisa dipertanggungjawabkan

Temuan DIF sebaiknya masuk ke catatan teknis alat, bukan hanya ke laporan internal. Pengguna alat berhak tahu butir mana yang bermasalah dan bagaimana penanganannya.

Bila alat dipakai untuk seleksi, sediakan mekanisme banding. Peserta yang merasa dirugikan oleh butir tertentu perlu saluran untuk meminta peninjauan. Prosedur ini jarang ada di Indonesia, padahal dampaknya besar bagi kepercayaan publik.

Batas interpretasi

Hasil tes bukan diagnosis dan bukan dasar tunggal seleksi. Analisis DIF mengurangi satu sumber ketidakadilan, tetapi tidak menjamin keputusan yang adil. Kualitas keputusan tetap bergantung pada kriteria yang dipakai dan transparansi prosedurnya.

Untuk istilah terkait, lihat glosarium validitas dan glosarium norma. Bila Anda mengelola seleksi, bandingkan prosedur Anda dengan penjelasan di metodologi.

Pertanyaan yang sering diajukan

Apakah DIF selalu berarti tes itu diskriminatif?

Tidak. DIF adalah temuan statistik yang perlu ditafsirkan. Sebagian DIF hilang setelah koreksi kemampuan ganda atau setelah butir dinilai ulang oleh ahli. Yang menjadikannya diskriminatif adalah bila perbedaan itu sistematis, tidak relevan dengan konstruk, dan berdampak pada keputusan.

Berapa ukuran sampel yang dibutuhkan untuk analisis DIF?

Tergantung metode, tetapi umumnya ratusan responden per kelompok untuk Mantel-Haenszel dan lebih banyak untuk pendekatan IRT. Sampel kecil membuat temuan tidak stabil dan rawan positif palsu.

Kalau alat hanya dipakai di satu perusahaan, apakah DIF masih relevan?

Relevan, karena satu perusahaan pun terdiri atas kelompok dengan latar berbeda: jenjang pendidikan, daerah asal, atau masa kerja. Selama keputusan seleksi memengaruhi orang, pemeriksaan keberfungsian butir tetap berguna.

Rujukan

• Meredith, W. (1993). Measurement invariance, factor analysis and factorial invariance. Psychometrika, 58(4), 525–543. doi:10.1007/BF02294825
• Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233–255. doi:10.1207/S15328007SEM0902_5
• Zumbo, B. D. (2007). Three generations of DIF analyses: Considering where it has been, where it is now, and where it is going. Language Assessment Quarterly, 4(2), 223–233. doi:10.1080/15434300701375832
• Teresi, J. A. (2006). Overview of quantitative measurement methods: Equivalence, invariance, and differential item functioning in health applications. Medical Care, 44(Suppl 3), S39–S49. doi:10.1097/01.mlr.0000245452.48613.45
• Van de Vijver, F., & Tanzer, N. K. (2004). Bias and equivalence in cross-cultural assessment: An overview. European Review of Applied Psychology, 54(2), 119–135. doi:10.1016/j.erap.2003.12.004
• Su, R., Rounds, J., & Armstrong, P. I. (2009). Men and things, women and people: A meta-analysis of sex differences in interests. Psychological Bulletin, 135(6), 859–884. doi:10.1037/a0017364
• International Test Commission. (2017). The ITC guidelines for translating and adapting tests (2nd ed.). Pedoman ITC