Meta-Analisis: Cara Membaca Hasil Gabungan Tanpa Salah Tafsir

Sebuah ringkasan kebijakan mengutip meta-analisis yang menyimpulkan "intervensi X efektif". Kalimat berikutnya menyebut 47 studi dan 12.000 partisipan. Angka itu terdengar seperti jawaban akhir.

Padahal meta-analisis adalah prosedur, bukan wasiat. Kualitasnya bergantung pada studi yang dimasukkan, cara menggabungkannya, dan kejujuran penulisnya dalam melaporkan variasi.

Empat hal yang perlu diperiksa sebelum menerima angka gabungan pada meta-analisis. Heterogenitas tinggi membuat satu angka ringkasan menyesatkan.

Apa yang sebenarnya dikerjakan meta-analisis?

Alih-alih membaca 47 studi secara terpisah, meta-analisis mengubah setiap hasil menjadi ukuran efek yang sebanding, lalu menghitung rata-rata berbobot. Studi dengan sampel lebih besar biasanya mendapat bobot lebih besar.

Keluaran utamanya dua: perkiraan efek gabungan dan interval kepercayaan di sekitarnya. Banyak laporan juga menampilkan forest plot, grafik yang menunjukkan posisi setiap studi terhadap garis "tidak ada efek".

Cara membacanya: setiap kotak adalah satu studi, ukuran kotak menunjukkan bobot, dan garis horizontal adalah interval kepercayaan. Bila garis itu tidak melewati nol, studi tersebut signifikan secara statistik.

Di sebelah kanan biasanya ada kolom angka dan, di bagian bawah, belah ketupat yang mewakili perkiraan gabungan. Lebar belah ketupat menunjukkan interval kepercayaan gabungan. Bila belah ketupat menyentuh garis nol, kesimpulan "efektif" perlu ditulis dengan hati-hati.

Bagaimana bobot ditentukan

Bobot tidak diberikan sembarang. Studi dengan interval kepercayaan lebih sempit, biasanya karena sampel lebih besar atau pengukuran lebih presisi, mendapat bobot lebih besar.

Konsekuensinya penting: satu studi raksasa bisa mendominasi hasil. Bila studi itu memiliki kelemahan metodologis, kelemahan tersebut menyebar ke seluruh perkiraan gabungan.

Karena itu, sebagian meta-analisis menampilkan hasil dengan dan tanpa studi yang berisiko bias tinggi. Perbedaan antara keduanya memberi gambaran seberapa bergantung kesimpulan pada studi tertentu.

Mengapa model acak sering lebih tepat

Dua model yang umum: model efek tetap dan model efek acak.

Model efek tetap mengasumsikan semua studi memperkirakan efek yang sama persis. Model efek acak mengasumsikan efek sebenarnya bervariasi antar studi, dan memperhitungkan variasi itu.

Dalam psikologi, asumsi efek identik jarang masuk akal. Populasi berbeda, intervensi dijalankan berbeda, dan pengukuran tidak selalu setara. Karena itu, banyak peneliti memilih model efek acak.

Perbedaan model bisa mengubah interval kepercayaan secara berarti. Laporan yang tidak menyebut model apa yang dipakai menyisakan pertanyaan yang tidak perlu.

Heterogenitas: ketika studi tidak sebanding

Asumsi paling rapuh dalam meta-analisis adalah bahwa semua studi mengukur hal yang sama. Sering kali tidak.

Heterogenitas mengukur seberapa besar variasi antar hasil studi melebihi variasi yang diharapkan dari kebetulan. Higgins dan kolega (2003) mengusulkan statistik I² sebagai ringkasan, dengan tafsir kasar: 25% rendah, 50% sedang, 75% tinggi.

Ketika I² tinggi, satu angka gabungan menjadi kurang bermakna. Yang lebih informatif adalah memeriksa mengapa hasilnya berbeda: populasi, dosis, durasi, atau cara pengukuran.

Laporan yang baik menampilkan analisis subkelompok atau meta-regresi untuk menjelaskan variasi itu. Laporan yang hanya menampilkan satu angka tanpa membahas heterogenitas sedang menyembunyikan informasi penting.

Bias publikasi dan asimetri yang tidak terlihat

Studi dengan hasil signifikan lebih mungkin terbit, lebih cepat terbit, dan lebih mungkin dikutip. Akibatnya, kumpulan studi yang masuk meta-analisis cenderung condong ke hasil positif.

Egger dan kolega (1997) mengusulkan pemeriksaan sederhana melalui hubungan antara ukuran efek dan presisi studi. Bila studi kecil cenderung melaporkan efek lebih besar, ada indikasi bias publikasi.

Pemeriksaan ini tidak sempurna. Ia bisa memberi hasil menyesatkan bila heterogenitas tinggi, dan tidak dapat mendeteksi bias lain seperti pelaporan selektif di dalam studi.

Kualitas studi tetap menentukan

Meta-analisis dari studi berkualitas rendah menghasilkan perkiraan yang presisi tetapi tidak akurat. Presisi bukan kebenaran.

Beberapa hal yang perlu diperiksa: apakah studi menggunakan kelompok kontrol, apakah penilaian dilakukan tanpa mengetahui kelompok, dan apakah ukuran hasil ditetapkan sebelum intervensi.

Laporan meta-analisis yang baik menyertakan penilaian risiko bias per studi, bukan hanya daftar nama penulis dan tahun.

Satu hal yang sering diabaikan pembaca: kualitas pelaporan studi asli. Bila studi tidak menjelaskan cara pengacakan atau cara menangani data hilang, penilaian risiko bias menjadi sulit. Ketidakjelasan itu sendiri sudah menjadi informasi.

Mengapa angka partisipan bisa menipu

Total 12.000 partisipan terdengar meyakinkan. Tetapi bila 8.000 di antaranya berasal dari satu studi besar dengan metode lemah, angka total menyembunyikan konsentrasi.

Periksa sebaran ukuran sampel. Meta-analisis yang digerakkan oleh satu atau dua studi besar berbeda secara fundamental dari meta-analisis yang terdiri atas banyak studi kecil dengan hasil konsisten.

Bagaimana memakai hasilnya untuk keputusan

Tiga langkah praktis.

Pertama, periksa apakah populasi dalam studi mirip dengan populasi Anda. Efek pada mahasiswa psikologi tidak otomatis berlaku pada karyawan manufaktur.

Kedua, bandingkan ukuran efek dengan biaya intervensi. Efek kecil yang murah bisa lebih berharga daripada efek besar yang mahal.

Ketiga, perhatikan interval kepercayaan. Bila rentangnya lebar, keputusan sebaiknya lebih hati-hati dan disertai pemantauan.

Satu langkah tambahan yang jarang dilakukan: catat keputusan Anda beserta dasar yang dipakai. Enam bulan kemudian, catatan itu memungkinkan evaluasi yang jujur tentang apakah keputusannya tepat. Tanpa catatan, orang cenderung mengingat keputusan sebagai lebih tepat daripada kenyataannya.

Kaitannya dengan praktik di Indonesia

Sebagian besar meta-analisis dalam psikologi berasal dari Amerika Utara dan Eropa. Komposisi sampel, budaya kerja, dan sistem pendidikan berbeda.

Belum ada cukup bukti bahwa efek yang dilaporkan berlaku sama di Indonesia. Karena itu, mengutip meta-analisis sebagai dasar kebijakan lokal sebaiknya disertai uji coba kecil di konteks sendiri.

Uji coba itu tidak harus mahal. Satu kelompok dengan 40–60 peserta dan pengukuran sebelum-sesudah sudah memberi informasi awal yang berguna, asalkan diakui sebagai studi kecil dengan keterbatasan.

Yang perlu dihindari: memakai hasil uji coba kecil sebagai bukti kuat. Studi 50 orang bisa menunjukkan arah yang menarik, tetapi tidak dapat menggantikan evaluasi yang lebih besar. Posisi yang jujur adalah "hasil awal yang menjanjikan, perlu diuji lebih lanjut".

Batas interpretasi

Meta-analisis bukan diagnosis dan bukan dasar tunggal kebijakan. Ia ringkasan bukti pada satu waktu, yang bergantung pada studi yang tersedia dan keputusan analisis penulisnya.

Untuk memahami ukuran efek, lihat artikel effect size. Untuk memahami mengapa banyak temuan tidak bertahan, lihat artikel preregistrasi dan replikasi.

Pertanyaan yang sering diajukan

Apakah meta-analisis selalu lebih kuat daripada satu studi besar?

Tidak selalu. Meta-analisis dari banyak studi lemah bisa lebih menyesatkan daripada satu studi besar dengan metode ketat. Kekuatan meta-analisis bergantung pada kualitas input dan transparansi analisisnya.

Apa arti I² sebesar 80%?

I² 80% menandakan variasi antar studi jauh melebihi yang diharapkan dari kebetulan. Dalam kondisi itu, satu angka gabungan sebaiknya tidak dipakai tanpa membahas sumber variasi.

Bagaimana mendeteksi meta-analisis yang lemah?

Beberapa tanda: tidak ada penilaian risiko bias, tidak ada pemeriksaan bias publikasi, kriteria inklusi kabur, dan kesimpulan yang lebih tegas daripada data. Selain itu, waspadai laporan yang tidak menyebut heterogenitas sama sekali.

Rujukan

• Higgins, J. P. T., Thompson, S. G., Deeks, J. J., & Altman, D. G. (2003). Measuring inconsistency in meta-analyses. BMJ, 327(7414), 557–560. doi:10.1136/bmj.327.7414.557
• Egger, M., Davey Smith, G., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. BMJ, 315(7109), 629–634. doi:10.1136/bmj.315.7109.629
• Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. doi:10.1037/0033-2909.112.1.155
• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. doi:10.1371/journal.pmed.0020124
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. doi:10.1126/science.aac4716
• Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040–2068. doi:10.1037/apl0000994