Reliabilitas Bukan Validitas: Mengapa Tes yang Konsisten Bisa Salah

Sebuah tim HRD pernah bercerita tentang alat ukur "ketelitian" yang mereka pakai bertahun-tahun. Hasilnya sangat konsisten: orang yang sama mendapat skor hampir identik saat diuji ulang. Masalahnya baru muncul ketika skor itu dibandingkan dengan catatan kesalahan kerja. Korelasinya mendekati nol.

Alat itu reliabel. Alat itu tidak valid untuk tujuan yang diklaim. Dua hal berbeda yang sering disebut sebagai satu paket.

Apa bedanya reliabilitas dan validitas?

Reliabilitas adalah sejauh mana skor bebas dari galat acak. Jika pengukuran diulang pada kondisi setara, hasilnya cenderung sama.

Validitas adalah sejauh mana interpretasi dan pemakaian skor didukung bukti. Validitas bukan sifat alat yang menempel permanen; ia melekat pada interpretasi tertentu untuk tujuan tertentu (Cronbach & Meehl, 1955; Messick, 1995).

Konsekuensi kalimat terakhir itu besar. Alat yang valid untuk memetakan gaya komunikasi tim belum tentu valid untuk menyimpulkan kesiapan promosi. Bukti validitas harus cocok dengan klaim.

Analogi timbangan yang salah kalibrasi

Timbangan yang selalu menunjukkan 2 kg lebih berat sangat reliabel: konsisten dan dapat diprediksi. Ia tidak valid sebagai alat ukur berat. Memperbaiki kalibrasi adalah pekerjaan berbeda dari memastikan jarum tidak bergetar.

Pada tes psikologi, "kalibrasi" berarti membuktikan bahwa skor berhubungan dengan hal yang diklaim diukur, dan bahwa hubungan itu cukup kuat untuk keputusan yang akan diambil.

Cara reliabilitas dilaporkan, dan jebakannya

Tiga koefisien yang paling sering muncul di laporan:

Alfa Cronbach adalah koefisien yang paling banyak disalahgunakan. McNeish (2018) menunjukkan alfa dapat tinggi walaupun alat mengukur lebih dari satu dimensi, dan dapat rendah walaupun alat cukup unidimensional. Sijtsma (2009) menyebut alfa sering dipakai tetapi jarang dipahami. Untuk struktur multidimensi, omega lebih informatif.

Angka 0,70 sebagai ambang "cukup" juga sering dikutip tanpa konteks. Untuk keputusan individual berisiko tinggi, koefisien 0,70 menghasilkan rentang ketidakpastian yang lebar. Untuk penelitian kelompok, angka itu bisa memadai.

Bukti validitas yang harus ada

Standards (AERA, APA, & NCME, 2014) mengelompokkan bukti validitas ke beberapa sumber:

1. Isi: butir mewakili domain yang diklaim.
2. Proses respons: peserta benar-benar memakai proses berpikir yang diasumsikan.
3. Struktur internal: pola korelasi antar butir sesuai model.
4. Hubungan dengan variabel lain: konvergen dengan alat sejenis, divergen dengan yang berbeda.
5. Konsekuensi: dampak pemakaian skor, termasuk potensi merugikan kelompok tertentu.

Poin kelima paling sering dilewati penyedia tes di pasar. Padahal untuk seleksi, konsekuensi itulah yang paling terasa bagi pelamar.

Ketika konsistensi menyamarkan masalah

Ada tiga pola yang sering muncul saat menelaah laporan alat ukur.

Butir yang saling menyalin. Dua puluh butir yang menanyakan hal sama dengan kalimat berbeda menghasilkan alfa tinggi tanpa menambah cakupan konstruk. Alat menjadi reliabel tetapi miskin isi.

Skor stabil karena tidak mengukur apa pun. Butir yang jawabannya mudah ditebak, misalnya pernyataan yang jelas diinginkan secara sosial, menghasilkan skor stabil dan tidak informatif.

Norma yang seragam. Jika semua peserta memperoleh skor hampir sama, reliabilitas bisa terlihat baik, tetapi daya beda hilang. Di sinilah efek langit-langit muncul.

Validitas sebagai argumen, bukan angka tunggal

Kane (2013) merumuskan validasi sebagai penyusunan argumen: mulai dari klaim interpretasi, lalu mengumpulkan bukti yang mendukung dan membantahnya. Pendekatan ini lebih jujur daripada menyebut satu koefisien sebagai "validitas tes".

Praktisnya, tanyakan: klaim apa yang dibuat, bukti apa yang mendukung, bukti apa yang melemahkan. Pemakaian berisiko tinggi membutuhkan argumen yang lebih lengkap, bukan koefisien yang lebih besar.

Reliabilitas rendah membuat validitas mustahil tinggi

Ada urutan yang tidak bisa dibalik. Skor yang penuh galat acak tidak bisa berkorelasi kuat dengan apa pun. Reliabilitas adalah syarat perlu, bukan syarat cukup.

Karena itu, koefisien reliabilitas 0,55 pada alat 10 butir bukan detail kecil. Interval kepercayaan di sekitar skor menjadi sangat lebar. Seseorang dengan skor 24 bisa memiliki skor sebenarnya 18 atau 30.

Yang bisa Anda lakukan sebagai pembaca laporan

Minta tiga dokumen: manual teknis yang memuat koefisien dan sampel, bukti hubungan dengan kriteria yang relevan, dan penjelasan batas interpretasi. Bila penyedia hanya memberi brosur berisi testimoni, perlakukan hasilnya sebagai bahan refleksi, bukan bukti.

Untuk memahami istilah terkait, lihat glosarium reliabilitas dan glosarium validitas. Bila ingin melihat bagaimana prinsip ini diterapkan, baca metodologi dan bandingkan dengan alat yang tersedia di daftar tes.

Menghitung ketidakpastian di sekitar skor

Reliabilitas bukan sekadar angka di manual. Ia menentukan seberapa lebar rentang tempat skor sebenarnya mungkin berada. Ukurannya disebut standard error of measurement (SEM), dihitung dari simpangan baku skor dikali akar dari (1 − koefisien reliabilitas).

Ambil contoh konkret. Sebuah alat memiliki simpangan baku 15 dan reliabilitas 0,80. SEM-nya sekitar 6,7 poin. Interval kepercayaan 95% di sekitar skor individu kira-kira plus-minus 13 poin. Artinya, peserta dengan skor 100 bisa memiliki skor sebenarnya di kisaran 87–113.

Rentang selebar itu tidak boleh diabaikan ketika ambang kelulusan ditetapkan pada 105. Dua peserta yang berbeda 4 poin secara statistik bisa saja tidak berbeda sama sekali.

Ketika reliabilitas turun ke 0,55, SEM naik menjadi sekitar 10 poin dan interval 95% melebar ke plus-minus 20 poin. Inilah alasan alat 10 butir tidak layak dipakai untuk keputusan berisiko tinggi tanpa bukti tambahan.

Kesalahan interpretasi yang mahal

Menganggap skor sebagai titik. Skor selalu rentang. Melaporkan "skor 112" tanpa rentang ketidakpastian menciptakan presisi yang tidak dimiliki alatnya.

Membandingkan selisih kecil. Selisih 3 poin antara dua kandidat hampir selalu berada di dalam batas galat. Keputusan yang hanya bersandar pada selisih itu lebih dekat ke undian daripada ke asesmen.

Menganggap reliabilitas tinggi menyelesaikan semuanya. Alat bisa sangat konsisten dan tetap tidak relevan. Reliabilitas tidak menjawab pertanyaan "untuk apa skor ini dipakai".

Batas yang perlu dinyatakan terbuka

Setiap laporan sebaiknya memuat kalimat penutup yang jelas: hasil tes bukan diagnosis, bukan dasar tunggal seleksi, dan tidak menggantikan penilaian profesional. Kalimat itu bukan formalitas; ia mengingatkan pembaca bahwa angka hanyalah satu lapis bukti.

Untuk melihat bagaimana prinsip ini diterjemahkan ke praktik, bandingkan metodologi kami dengan alat yang tersedia di halaman tes, lalu baca glosarium cronbach alpha bila ingin menelusuri istilah teknisnya. Soal format jawaban yang ikut menyumbang galat, ada catatan tersendiri di artikel skala Likert.

Pertanyaan yang sering diajukan

Apakah tes dengan reliabilitas tinggi otomatis valid?

Tidak. Reliabilitas hanya menunjukkan konsistensi. Alat bisa konsisten mengukur hal yang salah, atau konsisten mengukur terlalu sempit. Validitas membutuhkan bukti bahwa interpretasi skor sesuai dengan tujuan pemakaian.

Koefisien alfa berapa yang bagus?

Tergantung keputusan yang akan diambil dan jumlah butir. Untuk penelitian kelompok, 0,70 sering dianggap memadai; untuk keputusan individual berisiko tinggi, dibutuhkan koefisien lebih tinggi disertai interval kepercayaan. Alfa juga bukan ukuran unidimensionalitas.

Mengapa dua alat yang mengukur hal sama memberi skor berbeda?

Karena konstruknya didefinisikan berbeda, butirnya berbeda, dan sampel normanya berbeda. Bahkan alat dengan nama sama bisa memiliki versi dan revisi yang tidak sebanding. Selalu periksa versi alat sebelum membandingkan.

Rujukan

• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. Standar resmi
• Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. doi:10.1037/h0040957
• Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. doi:10.1037/0003-066X.50.9.741
• Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73. doi:10.1111/jedm.12000
• McNeish, D. (2018). Thanks coefficient alpha, we'll take it from here. Psychological Methods, 23(3), 412–433. doi:10.1037/met0000144
• Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach's alpha. Psychometrika, 74(1), 107–120. doi:10.1007/s11336-008-9101-0