Effect Size Lebih Penting daripada p-value: Panduan Membaca Klaim

Sebuah laporan pelatihan menyatakan bahwa programnya "terbukti efektif" karena hasil uji statistik menunjukkan p = 0,03. Kalimat berikutnya menyebut kenaikan skor rata-rata sebesar 1,2 poin dari skala 100.

Angka pertama kedengaran meyakinkan. Angka kedua hampir tidak berarti apa-apa. Keduanya berasal dari analisis yang sama.

Nilai p yang sama dapat berasal dari efek yang sangat berbeda. Panel kanan menunjukkan selisih yang jauh lebih besar meski jumlah responden lebih sedikit.

Apa yang sebenarnya dikatakan nilai p

Nilai p menjawab pertanyaan sempit: seberapa mungkin data seperti ini muncul jika tidak ada perbedaan sama sekali. Nilai 0,03 berarti data seperti itu tidak biasa terjadi di bawah asumsi "tidak ada efek".

Ia bukan probabilitas bahwa hipotesis benar. Ia juga bukan ukuran kepentingan. Kesalahpahaman ini begitu umum sehingga American Statistical Association menerbitkan pernyataan resmi untuk mengoreksinya (Wasserstein & Lazar, 2016).

Pernyataan itu menegaskan beberapa hal: nilai p bukan ukuran besar efek, bukan ukuran bukti yang berdiri sendiri, dan tidak boleh dipakai sebagai satu-satunya dasar keputusan.

Mengapa ukuran efek lebih informatif?

Ukuran efek menjawab pertanyaan yang lebih berguna: seberapa besar perbedaannya, dalam satuan yang bisa dibayangkan.

Beberapa ukuran yang sering muncul:

Ambang di atas adalah konvensi, bukan hukum alam. Cohen sendiri mengingatkan bahwa penilaian besar-kecil harus mempertimbangkan konteks (Cohen, 1992). Efek d = 0,2 bisa sangat penting bila menyangkut keselamatan, dan tidak berarti apa-apa bila biaya intervensinya besar.

Mengapa p bisa signifikan meski efeknya kecil

Nilai p dipengaruhi ukuran sampel. Dengan 10.000 responden, selisih 0,5 poin bisa menghasilkan p yang sangat kecil.

Fenomena ini bukan keanehan statistik; ia konsekuensi matematis. Semakin banyak data, semakin besar keyakinan bahwa efek kecil memang bukan nol. Tetapi "bukan nol" berbeda dari "cukup besar untuk mengubah keputusan".

Pada penelitian dengan sampel besar, membaca ukuran efek menjadi wajib. Tanpa itu, kesimpulan bisa berbunyi "signifikan" untuk perbedaan yang tidak terasa dalam praktik.

Sebaliknya, efek besar bisa tidak signifikan

Dengan sampel kecil, efek besar bisa gagal mencapai signifikansi. Ini bukan bukti tidak ada efek, melainkan bukti data terlalu sedikit untuk memutuskan.

Kesalahan yang sering terjadi: menyimpulkan "tidak ada pengaruh" dari p > 0,05. Yang benar: data ini belum cukup untuk menyimpulkan adanya pengaruh.

Cara membaca ukuran efek dalam laporan

Tiga pertanyaan praktis.

Apa satuannya? d dan r tidak punya satuan, sehingga harus ditafsirkan dengan konvensi. Selisih poin punya satuan yang lebih mudah dibayangkan.

Dibandingkan dengan apa? Ukuran efek kecil pada intervensi murah bisa lebih berharga daripada efek besar pada intervensi mahal.

Berapa ketidakpastiannya? Interval kepercayaan di sekitar ukuran efek memberi gambaran rentang. Tanpa itu, satu angka terlihat lebih pasti daripada kenyataan.

Contoh membaca klaim nyata

Sebuah studi melaporkan bahwa pelatihan kesadaran diri menurunkan skor kelelahan sebesar d = 0,22 dengan p = 0,001 pada 1.200 karyawan. Bagaimana membacanya?

Pertama, efeknya kecil menurut konvensi, meski signifikan secara statistik. Kedua, sampel besar membuat nilai p mudah menjadi sangat kecil, sehingga ia tidak menambah banyak informasi. Ketiga, yang perlu ditanyakan adalah apakah penurunan sebesar itu terasa dalam pekerjaan sehari-hari.

Bandingkan dengan studi lain: program perubahan jadwal kerja menurunkan skor kelelahan sebesar d = 0,45 dengan p = 0,04 pada 90 karyawan. Efeknya lebih besar, tetapi ketidakpastiannya juga lebih besar.

Untuk memutuskan, Anda perlu mempertimbangkan biaya kedua program beserta kemudahan penerapannya. Bila program pertama murah dan mudah diterapkan, efek kecil pun bisa sepadan. Bila program kedua mahal dan menuntut perubahan besar, efek sedang mungkin belum cukup.

Apakah signifikansi masih berguna?

Masih, tetapi bukan sebagai satu-satunya penanda. Nilai p membantu menyaring hasil yang bisa dijelaskan oleh kebetulan, terutama pada sampel kecil.

Yang bermasalah adalah menjadikannya ambang biner: "signifikan berarti berhasil, tidak signifikan berarti gagal". Ambang seperti itu mendorong praktik yang tidak sehat, termasuk menghentikan analisis ketika hasil hampir mencapai 0,05.

Perlakuan yang lebih baik: laporkan ukuran efek, interval kepercayaan, dan nilai p bersama-sama, lalu bahas keputusan secara terpisah dari angka. Pemisahan itu terdengar sepele, tetapi mencegah angka statistik berubah menjadi pembenaran kebijakan.

Masalah di balik angka yang terlalu bagus

Ioannidis (2005) menjelaskan mengapa banyak temuan penelitian yang dipublikasikan cenderung berlebihan: studi kecil, efek yang dicari besar, fleksibilitas analisis, dan tekanan publikasi.

Simmons, Nelson, dan Simonsohn (2011) menunjukkan bagaimana fleksibilitas dalam pengambilan keputusan analisis dapat menghasilkan temuan "signifikan" tanpa efek nyata. Mereka menamainya researcher degrees of freedom.

Karena itu, pembaca sebaiknya curiga pada dua pola: klaim efek besar dari sampel kecil, dan analisis yang tidak dijelaskan secara rinci.

Bagaimana menerapkan pada keputusan

Untuk memutuskan, ubah pertanyaan dari "apakah signifikan" menjadi "seberapa besar, dibandingkan dengan biaya dan risikonya".

Contoh sederhana. Program pelatihan meningkatkan skor keterampilan sebesar d = 0,15 dengan biaya Rp2 juta per peserta. Apakah sepadan? Jawabannya bergantung pada nilai peningkatan itu di pekerjaan nyata, bukan pada nilai p.

Alternatif yang lebih murah dengan efek d = 0,10 bisa lebih sepadan. Tanpa ukuran efek, perbandingan ini tidak mungkin dilakukan, dan diskusi berhenti pada perdebatan tentang signifikansi.

Melaporkan dengan jujur

Laporan yang baik memuat ukuran efek, interval kepercayaan, jumlah sampel, dan penjelasan analisis. Ia juga menyebut batas: siapa pesertanya, dalam kondisi apa, dan apa yang tidak diukur.

Satu kebiasaan yang membantu: menyatakan keputusan praktis yang akan diambil dari hasil, lalu memeriksa apakah angka yang dilaporkan cukup untuk mendukungnya. Bila tidak, hasil itu belum layak dijadikan dasar, sekuat apa pun nilai p-nya.

Batas interpretasi

Ukuran efek bukan diagnosis dan bukan dasar tunggal untuk klaim. Ia bergantung pada definisi variabel, cara pengukuran, dan populasi. Efek yang dilaporkan pada satu kelompok belum tentu berlaku pada kelompok lain.

Untuk memahami istilah terkait, lihat glosarium reliabilitas. Bila Anda membaca laporan tes, artikel standard error menjelaskan sisi ketidakpastian yang sering terlewat.

Pertanyaan yang sering diajukan

Apakah p < 0,05 berarti hasilnya penting?

Tidak. Signifikansi statistik hanya menandakan bahwa hasil sulit dijelaskan oleh kebetulan jika tidak ada efek. Kepentingan praktis bergantung pada besar efek, biaya, dan konteks keputusan.

Ukuran efek apa yang paling baik?

Tergantung pertanyaan dan skala data. d cocok untuk perbandingan rata-rata, r untuk hubungan, rasio risiko untuk kejadian biner. Yang penting adalah melaporkan ukuran yang sesuai dan menafsirkannya dalam konteks.

Apakah hasil tanpa nilai p masih bisa dipakai?

Bisa. Banyak laporan yang baik menekankan ukuran efek dan interval kepercayaan. Nilai p berguna sebagai pelengkap, bukan sebagai satu-satunya dasar.

Rujukan

• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. doi:10.1080/00031305.2016.1154108
• Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. doi:10.1037/0033-2909.112.1.155
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. doi:10.1371/journal.pmed.0020124
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. doi:10.1177/0956797611417632
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. doi:10.1126/science.aac4716
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. doi:10.1073/pnas.1708274114