Ukuran Sampel dan Kekuatan Statistik: Mengapa 30 Responden Sering Tidak Cukup

"Sampelnya 30, sudah memenuhi syarat statistik." Kalimat itu sering muncul dalam diskusi skripsi, dan hampir selalu keliru sebagai aturan umum.

Tiga puluh bukan ambang ajaib. Ia kadang memadai, sering tidak, tergantung pada efek yang ingin dideteksi dan variasi datanya.

Kebutuhan sampel per kelompok pada kekuatan 0,80 dan alfa 0,05. Angka ini menjelaskan mengapa studi 30 orang hanya mampu mendeteksi efek besar.

Apa itu kekuatan statistik

Kekuatan (power) adalah peluang mendeteksi efek yang benar-benar ada. Konvensi yang umum dipakai: 0,80, artinya 80% kesempatan mendeteksi efek bila efek itu memang ada.

Kekuatan dipengaruhi tiga hal: besar efek, ukuran sampel, dan variabilitas data. Menaikkan sampel menaikkan kekuatan; menaikkan variabilitas menurunkannya.

Cohen (1992) menyediakan tabel dan aturan praktis yang banyak dipakai. Untuk mendeteksi efek sedang (d = 0,5) dengan kekuatan 0,80 pada uji dua kelompok, dibutuhkan sekitar 64 orang per kelompok. Untuk efek kecil (d = 0,2), kebutuhannya melonjak menjadi ratusan per kelompok.

Kesalahan tipe II yang jarang dibicarakan

Kesalahan tipe I (menyimpulkan ada efek padahal tidak) sering dibahas. Kesalahan tipe II (gagal mendeteksi efek yang ada) jarang.

Pada studi dengan kekuatan rendah, hasil "tidak signifikan" lebih sering mencerminkan keterbatasan data daripada ketiadaan efek. Menyimpulkan "program tidak berpengaruh" dari studi semacam itu adalah kekeliruan yang mahal, terutama bila keputusan berhenti memberi dukungan. Kesalahan ini tidak terlihat, karena tidak ada yang menagih hasil yang hilang.

Mengapa 30 bukan angka sakti?

Angka 30 berasal dari gagasan bahwa distribusi rata-rata mendekati normal pada sampel sekitar 30. Itu pernyataan tentang distribusi sampling, bukan tentang kecukupan untuk mendeteksi efek.

Dengan 30 responden, studi hanya mampu mendeteksi efek besar. Bila efek yang realistis adalah sedang atau kecil, studi itu cenderung menghasilkan kesimpulan "tidak ada perbedaan" meski perbedaan nyata ada.

Cara menghitung kebutuhan sampel secara sederhana

Untuk perbandingan dua rata-rata, rumus kasar memakai besar efek dan tingkat kekuatan. Bila Anda memakai perangkat lunak statistik, cukup masukkan tiga hal: besar efek yang diharapkan, kekuatan yang diinginkan, dan tingkat signifikansi.

Yang paling sulit adalah menentukan besar efek yang diharapkan. Sumbernya bisa dari studi sebelumnya, uji coba kecil, atau pertimbangan praktis tentang efek sekecil apa yang masih penting.

Bila tidak ada dasar sama sekali, jangan memakai "efek sedang" sebagai default tanpa berpikir. Pertimbangkan efek terkecil yang akan mengubah keputusan, lalu hitung dari situ.

Dua skenario untuk melihat perbedaannya

Skenario pertama: Anda ingin mengetahui apakah metode belajar baru meningkatkan nilai ujian. Uji coba sebelumnya menunjukkan efek sekitar d = 0,4. Dengan kekuatan 0,80 dan tingkat signifikansi 0,05, kebutuhan sampel sekitar 100 orang per kelompok.

Skenario kedua: Anda ingin mendeteksi perbedaan kepuasan yang sangat kecil antara dua jenis orientasi karyawan, dengan efek yang diharapkan d = 0,15. Kebutuhannya melonjak menjadi sekitar 700 orang per kelompok.

Perbedaan itu menjelaskan mengapa pertanyaan penelitian harus sempit. Bila Anda hanya punya 120 responden, Anda harus memilih pertanyaan yang efeknya cukup besar untuk dideteksi, bukan memaksakan semua pertanyaan.

Belum ada jalan pintas yang jujur di sini. Menjalankan studi dengan sampel kurang dari kebutuhan lalu melaporkan hasilnya sebagai bukti kuat adalah sumber banyak klaim yang tidak bertahan saat direplikasi.

Bagaimana melaporkan keterbatasan tanpa melemahkan

Sebagian penulis menghindari menyebut keterbatasan karena takut dianggap lemah. Praktiknya justru sebaliknya: laporan yang menyebut batas dengan konkret lebih dipercaya. Pembaca yang berpengalaman biasanya mencari bagian keterbatasan lebih dulu, karena di situlah penulis menunjukkan apakah ia memahami alatnya sendiri.

Contoh kalimat yang berguna: "Dengan 48 partisipan, studi ini hanya mampu mendeteksi efek berukuran sedang ke atas. Hasil nol pada efek kecil tidak dapat disimpulkan."

Kalimat itu menunjukkan tiga hal sekaligus: penulis mengetahui keterbatasan alat, tidak melebih-lebihkan, dan memberi pembaca cara membaca hasilnya.

Konsekuensi pada penelitian psikologi

Open Science Collaboration (2015) mencoba mereplikasi 100 studi psikologi dan menemukan bahwa tingkat keberhasilan replikasi jauh lebih rendah daripada yang diharapkan, dengan ukuran efek rata-rata yang lebih kecil dari aslinya.

Salah satu penjelasan yang paling banyak diterima: banyak studi asli memiliki kekuatan rendah, sehingga efek yang dilaporkan cenderung berlebihan. Ketika studi ulang memakai sampel lebih besar, efeknya menyusut mendekati nilai sebenarnya.

Karena itu, membaca jumlah sampel bukan formalitas. Studi dengan 40 partisipan dan efek besar perlu dibaca dengan kehati-hatian, bukan langsung dijadikan dasar kebijakan.

Satu catatan penting: replikasi yang gagal tidak selalu berarti studi aslinya curang. Perbedaan sampel, pengukuran, dan konteks dapat menghasilkan efek yang lebih kecil. Yang perlu diwaspadai adalah klaim berlebihan dari satu studi tunggal, terutama bila studi itu kecil, efeknya besar, dan tidak ada upaya replikasi.

Apa yang bisa dilakukan pembaca laporan

Cari jumlah sampel dan cara menghitungnya. Apakah ada perhitungan kekuatan sebelum pengambilan data, atau hanya jumlah yang tersedia?

Perhatikan jumlah kelompok. Sampel 90 yang terbagi ke enam kelompok berarti 15 per kelompok, yang sangat kecil untuk analisis antar kelompok.

Lihat ukuran efek dan interval kepercayaan. Rentang yang lebar menandakan ketidakpastian besar, dan ketidakpastian itu perlu disebut ketika hasil dipakai untuk keputusan.

Waspadai klaim dari subkelompok kecil. Analisis pada 12 orang bisa menghasilkan temuan yang menarik, tetapi tidak stabil. Untuk keputusan penting, tunggu konfirmasi pada sampel yang lebih besar.

Bagaimana menulis batas dengan jujur

Laporan yang baik menyebut keterbatasan secara konkret: "dengan 40 partisipan, studi ini hanya mampu mendeteksi efek besar; efek kecil tidak dapat disimpulkan".

Kalimat semacam ini tidak melemahkan laporan. Ia menunjukkan bahwa penulis memahami alat yang dipakai, dan memberi pembaca dasar untuk menilai apakah hasilnya relevan dengan keputusan mereka. Sebaliknya, laporan yang mengklaim kesimpulan tegas dari data tipis justru menimbulkan pertanyaan tentang kompetensi penulisnya.

Batas interpretasi

Perhitungan kekuatan bukan jaminan hasil benar, dan bukan diagnosis. Ia alat perencanaan. Studi dengan sampel besar masih bisa keliru karena pengukuran yang buruk atau pertanyaan yang tidak tepat.

Untuk istilah terkait, lihat glosarium reliabilitas dan artikel effect size. Bila Anda menyusun asesmen, artikel standard error melengkapi gambaran ketidakpastian.

Pertanyaan yang sering diajukan

Apakah sampel besar selalu lebih baik?

Untuk presisi statistik, umumnya ya. Namun sampel besar dengan pengukuran yang buruk hanya menghasilkan estimasi presisi untuk hal yang salah. Mutu pengukuran tetap menjadi syarat.

Bagaimana kalau jumlah sampel sudah dibatasi anggaran?

Kurangi jumlah pertanyaan penelitian, pilih efek yang paling penting, dan laporkan keterbatasan secara jujur. Studi kecil yang fokus lebih berguna daripada studi kecil yang mencoba menjawab sepuluh pertanyaan.

Apakah hasil tidak signifikan berarti tidak ada efek?

Tidak. Hasil tidak signifikan bisa berarti tidak ada efek, atau efeknya ada tetapi data tidak cukup untuk mendeteksinya. Ukuran efek dan interval kepercayaan membantu membedakan keduanya.

Rujukan

• Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. doi:10.1037/0033-2909.112.1.155
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. doi:10.1126/science.aac4716
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. doi:10.1371/journal.pmed.0020124
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. doi:10.1073/pnas.1708274114
• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. doi:10.1080/00031305.2016.1154108
• Higgins, J. P. T., Thompson, S. G., Deeks, J. J., & Altman, D. G. (2003). Measuring inconsistency in meta-analyses. BMJ, 327(7414), 557–560. doi:10.1136/bmj.327.7414.557