Preregistrasi dan Replikasi: Dua Obat untuk Krisis Kepercayaan

Pada 2015, sebuah kolaborasi besar mencoba mengulang 100 studi psikologi yang sudah terbit. Hanya sekitar 36% hasilnya kembali menunjukkan efek yang signifikan, dan ukuran efek rata-ratanya kira-kira separuh dari yang dilaporkan sebelumnya.

Angka itu bukan bukti bahwa psikologi penuh kebohongan. Ia bukti bahwa cara penelitian dijalankan punya celah sistematis yang bisa ditutup, dan temuan yang tidak bertahan itu bukan berarti bidangnya kosong dari manfaat.

Alur preregistrasi. Nilainya bukan pada dokumen, melainkan pada keterikatan peneliti terhadap rencana yang dibuat sebelum melihat hasil.

Masalah inti: kebebasan analisis

Seorang peneliti mengumpulkan data, mencoba beberapa analisis, lalu melaporkan yang paling signifikan. Secara formal tidak ada yang dilanggar. Secara statistik, hasilnya berhenti bermakna.

Simmons, Nelson, dan Simonsohn (2011) menyebutnya derajat kebebasan peneliti: menghentikan pengumpulan data lebih awal, menambah responden, memilih kovariat, atau mengubah variabel dependen setelah melihat pola. Dengan kombinasi yang cukup, hampir semua data bisa dibuat "signifikan".

Nilai p yang dihitung setelah beberapa percobaan tidak lagi menjawab pertanyaan yang sama. Ia sudah disesuaikan tanpa koreksi.

Apa yang dikunci preregistrasi

Preregistrasi adalah rencana penelitian yang disimpan sebelum data dikumpulkan. Isinya biasanya: pertanyaan, hipotesis, ukuran yang dipakai, jumlah sampel, dan rencana analisis.

Yang dikunci bukan hanya hipotesis. Yang lebih penting adalah rencana analisis, karena di situlah kebebasan paling banyak dipakai.

Yang tidak dikunci: eksplorasi. Peneliti tetap boleh menjelajahi data, asalkan analisis eksploratif diberi label jelas dan tidak disajikan sebagai uji hipotesis.

Nosek dan kolega (2018) menegaskan bahwa nilai preregistrasi bukan pada formalitas dokumen, melainkan pada pemisahan antara uji konfirmatori dan eksplorasi. Pemisahan itu membuat pembaca tahu mana yang direncanakan dan mana yang ditemukan setelah data terlihat.

Preregistrasi bukan penjara

Kritik yang paling umum: preregistrasi membatasi kreativitas. Dalam praktik, tidak.

Peneliti bisa menulis rencana yang mengizinkan beberapa analisis alternatif, asalkan semuanya dilaporkan. Ia juga bisa mencantumkan keputusan bersyarat, misalnya "jika asumsi normalitas tidak terpenuhi, gunakan uji nonparametrik".

Dokumen preregistrasi yang baik justru mendorong pemikiran lebih matang sebelum data ada. Pertanyaan yang belum jelas biasanya sudah terlihat janggal saat harus ditulis sebagai hipotesis.

Replikasi: menguji apakah temuan bertahan

Replikasi langsung mengulang prosedur sedekat mungkin. Replikasi konseptual menguji hipotesis yang sama dengan operasionalisasi berbeda.

Keduanya berguna untuk hal berbeda. Replikasi langsung menjawab "apakah hasil ini bisa muncul lagi dengan cara yang sama". Replikasi konseptual menjawab "apakah idenya bertahan ketika diukur dengan cara lain".

Kegagalan replikasi tidak selalu berarti studi asli salah. Perbedaan sampel, konteks budaya, dan pengukuran dapat menghasilkan efek yang lebih kecil. Yang sering terlihat: efek asli benar-benar ada, tetapi jauh lebih kecil dari yang dilaporkan.

Mengapa efek cenderung menyusut saat diulang

Fenomena ini disebut winner's curse. Ketika banyak tim meneliti pertanyaan sama, yang terbit biasanya yang hasilnya paling menonjol. Hasil menonjol itu sebagian berasal dari keberuntungan statistik, bukan hanya dari efek sebenarnya.

Ketika studi ulang dilakukan tanpa seleksi seperti itu, ukuran efek kembali ke nilai yang lebih wajar. Pola ini muncul di banyak bidang, bukan hanya psikologi.

Bagi pembaca praktisi, implikasinya jelas: efek besar dari satu studi kecil sebaiknya tidak langsung dijadikan dasar kebijakan.

Ada satu nuansa yang sering terlewat. Penyusutan efek bukan tanda bahwa peneliti asli melakukan kesalahan. Ia konsekuensi statistik dari proses seleksi yang dilakukan jurnal, konferensi, dan media. Sistem yang hanya menyorot hasil menonjol akan selalu menghasilkan kumpulan temuan yang terlalu optimistis.

Karena itu, memperbaiki praktik bukan hanya tugas peneliti. Penyunting jurnal yang bersedia menerbitkan hasil nol, penyandang dana yang tidak menuntut temuan positif, dan pembaca yang tidak menghargai klaim berlebihan semuanya berperan.

Berapa lama replikasi memakan waktu

Replikasi bukan proyek cepat. Sebuah tim harus merekrut peserta baru, menyiapkan materi yang identik atau setara, dan menjalankan analisis sesuai rencana. Untuk studi yang melibatkan intervensi multi-sesi, waktu yang dibutuhkan bisa berbulan-bulan.

Karena itu, banyak replikasi dilakukan secara kolaboratif: beberapa laboratorium menjalankan protokol yang sama dan menggabungkan hasilnya. Pendekatan ini mempercepat pengumpulan data sekaligus meningkatkan ukuran sampel.

Bagi pembaca, implikasinya: ketika sebuah temuan belum direplikasi, sikap yang tepat bukan menolak, melainkan menunda. Temuan tunggal adalah hipotesis yang menunggu ujian, bukan kesimpulan yang siap dipakai.

Bagaimana membaca klaim "sudah direplikasi"

Tiga pertanyaan membantu.

Apa yang direplikasi? Efek yang sama, atau hipotesis umum yang mirip? Perbedaannya besar untuk penafsiran.

Seberapa besar efeknya? Replikasi yang berhasil tetapi dengan efek jauh lebih kecil memberi informasi yang berbeda dari replikasi yang hampir identik.

Apa yang gagal? Laporan replikasi yang jujur menyebutkan bagian yang tidak bertahan, bukan hanya yang berhasil.

Higgins dan kolega (2003) mengingatkan bahwa variasi antar studi dapat diukur, dan variasi yang tinggi membatasi seberapa jauh satu angka gabungan bisa dipercaya.

Bisakah preregistrasi dipakai untuk pekerjaan non-akademik?

Bisa, dan sering lebih mudah daripada di akademik.

Tim produk yang menguji perubahan antarmuka bisa menulis hipotesis dan ukuran keberhasilan sebelum eksperimen dijalankan. Tim HR yang mencoba format wawancara baru bisa menetapkan kriteria penilaian sebelum melihat hasil.

Yang penting bukan dokumen formal, melainkan urutannya: rencana dulu, data kemudian. Urutan itu mencegah penyesuaian tanpa akhir yang membuat setiap hasil terlihat berhasil.

Satu saran praktis: simpan rencana itu di tempat yang bisa diakses orang lain, misalnya dokumen bersama. Rencana yang hanya ada di kepala penulisnya mudah berubah tanpa disadari.

Penerapan di organisasi

Organisasi yang menjalankan program intervensi pun bisa memakai prinsip yang sama, tanpa menyebutnya preregistrasi.

Tetapkan ukuran keberhasilan sebelum program dimulai. Sepakati berapa lama program berjalan dan bagaimana datanya dianalisis. Hindari menambah ukuran baru setelah melihat hasil yang kurang memuaskan.

Langkah sederhana ini mencegah pola yang sangat umum: program dinyatakan berhasil karena satu indikator kebetulan naik, sementara indikator lain diabaikan.

Batas interpretasi

Preregistrasi dan replikasi bukan diagnosis dan bukan jaminan kebenaran. Keduanya mengurangi satu jenis bias, bukan menghapus semua kesalahan. Studi yang diregistrasi masih bisa salah karena pengukuran yang buruk atau pertanyaan yang tidak tepat.

Untuk memahami ukuran efek, lihat artikel effect size. Untuk ukuran sampel, lihat artikel kekuatan statistik.

Pertanyaan yang sering diajukan

Apakah preregistrasi wajib untuk semua penelitian?

Tidak wajib secara universal, dan kewajibannya berbeda antar bidang serta antar jurnal. Untuk penelitian konfirmatori yang akan dipakai sebagai dasar kebijakan, preregistrasi sangat dianjurkan.

Apakah penelitian yang tidak diregistrasi otomatis tidak dapat dipercaya?

Tidak. Banyak penelitian lama yang berkualitas tinggi dilakukan sebelum praktik ini lazim. Yang perlu diperiksa adalah kejelasan metode dan kesesuaian klaim dengan bukti.

Bagaimana jika hasil preregistrasi tidak signifikan?

Itu tetap hasil yang layak dilaporkan. Studi yang melaporkan hasil nol dengan metode yang jelas lebih berguna daripada studi yang menghilang karena hasilnya tidak menarik.

Rujukan

• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. doi:10.1126/science.aac4716
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. doi:10.1073/pnas.1708274114
• Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. doi:10.1177/0956797611417632
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. doi:10.1371/journal.pmed.0020124
• Higgins, J. P. T., Thompson, S. G., Deeks, J. J., & Altman, D. G. (2003). Measuring inconsistency in meta-analyses. BMJ, 327(7414), 557–560. doi:10.1136/bmj.327.7414.557
• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. doi:10.1080/00031305.2016.1154108