Alat Deteksi Teks AI: Mengapa Hasilnya Tidak Layak Jadi Bukti

Sebuah perguruan tinggi menolak sebuah skripsi setelah alat deteksi memberi skor tinggi untuk "kemungkinan dihasilkan AI". Mahasiswa itu menulis sendiri. Tidak ada bukti lain yang diajukan, dan tidak ada yang memeriksa alatnya.

Kasus semacam ini berakar pada satu kekeliruan. Skor persentase pada detektor dibaca sebagai kepastian, padahal ia keluaran pengklasifikasi yang bisa salah ke dua arah.

Batas detektor teks AI. Skor detektor adalah sinyal statistik, bukan bukti bahwa sebuah teks ditulis mesin.

Skor detektor bukan probabilitas

Detektor bekerja dengan membandingkan ciri statistik teks terhadap pola yang dipelajari dari korpus mesin dan korpus manusia. Keluarannya berupa skor, bukan pengukuran langsung atas asal-usul teks.

Skor itu lalu dipetakan ke kategori: manusia, mesin, atau tidak pasti. Titik potongnya ditentukan pembuat alat. Mengubah titik potong mengubah proporsi teks yang dilabeli mesin, tanpa mengubah satu kata pun di dalam teks.

Ini sebabnya angka "97%" menyesatkan. Angka itu bukan peluang bahwa teks tertentu buatan mesin. Ia posisi relatif teks pada skala yang dibuat alat tersebut, dan skalanya berbeda antar alat.

Apa yang ditemukan pengujian independen

Weber-Wulff dan rekan-rekannya (2023) menguji sekumpulan alat deteksi pada teks yang asal-usulnya diketahui, termasuk teks yang telah diparafrase dan teks hasil terjemahan. Hasilnya beragam antar alat, dan sebagian alat tidak jauh lebih baik daripada tebakan pada teks yang sudah diubah sedikit.

Sadasivan dan rekan-rekannya (2023) memberi alasan teoretisnya. Bila sebaran teks manusia dan teks mesin saling menutupi, tidak ada pengklasifikasi yang dapat memisahkan keduanya dengan sempurna. Menaikkan deteksi di satu sisi menaikkan galat di sisi lain.

Elkhatat, Elsaid, dan Almeer (2023) menguji beberapa alat populer pada kumpulan teks yang sama dan melaporkan selisih akurasi yang cukup besar untuk mengubah keputusan.

Gao dan rekan-rekannya (2023) memakai pendekatan berbeda: membandingkan abstrak buatan model bahasa dengan abstrak asli. Sebagian besar pembaca manusia tidak dapat membedakannya, dan detektor yang ada tidak memberi pemisahan bersih. Ketika abstrak asli ikut diperiksa, sebagian di antaranya justru ditandai sebagai buatan mesin.

Bias terhadap penulis non-pribumi

Liang dan rekan-rekannya (2023) menguji beberapa detektor pada esai karya penutur bahasa Inggris non-pribumi. Esai itu lebih sering dilabeli buatan AI, meski ditulis manusia.

Penyebabnya bukan niat jahat. Ciri teks yang dianggap khas mesin beririsan dengan ciri teks penulis yang kosakatanya lebih terbatas dan strukturnya lebih teratur.

Bagi konteks Indonesia, implikasinya langsung. Banyak penulis akademik di sini menulis dalam bahasa Inggris sebagai bahasa kedua, atau menulis dalam bahasa Indonesia lalu menerjemahkan. Kedua kondisi itu menaikkan peluang salah tuduh.

Mengapa parafrase meruntuhkan detektor

Detektor mengenali pola permukaan: pilihan kata, panjang kalimat, dan sebaran tanda baca. Mengubah permukaan tanpa mengubah isi menurunkan deteksi secara tajam.

Ini menghasilkan paradoks praktis. Mahasiswa yang menyunting tulisannya sendiri, memperbaiki kalimat, dan menyederhanakan istilah justru bisa terlihat lebih "seperti mesin" daripada draf pertamanya. Sebaliknya, teks mesin yang diedit kasar bisa lolos.

Paradoks itu bukan cacat yang bisa diperbaiki dengan model yang lebih besar. Ia muncul karena yang diukur bukan asal-usul, melainkan kemiripan gaya.

Ada efek samping yang jarang dibahas: detektor memberi insentif untuk menulis lebih buruk. Penulis yang ingin menghindari tuduhan bisa memilih kalimat yang sengaja berbelit atau kosakata yang sengaja tidak rapi. Mutu tulisan turun, dan tidak ada yang menang.

Mengapa panjang teks memengaruhi hasil

Detektor bekerja dengan menghitung pola. Pada teks pendek, pola belum terbentuk, sehingga skor bergerak liar.

Satu paragraf jawaban bisa dilabeli mesin pada satu percobaan dan manusia pada percobaan berikutnya hanya karena satu kata diganti. Pada teks sepanjang beberapa ribu kata, skor lebih stabil, tetapi justru di situ campur tangan manusia paling banyak terjadi: penyuntingan, penambahan, dan pemotongan.

Karena itu, memeriksa jawaban ujian esai pendek dengan detektor adalah pemakaian yang paling lemah. Yang diukur bukan gaya penulis, melainkan derau.

Yang bisa dilakukan penulis

Penulis tidak bisa mengendalikan alat yang dipakai menilai tulisannya. Ia bisa mengendalikan jejak prosesnya.

Simpan draf antara, bukan hanya versi akhir. Catatan waktu penyuntingan, komentar di dokumen, dan riwayat versi adalah bukti yang jauh lebih kuat daripada pernyataan bahwa tulisan itu asli.

Bila memakai model bahasa untuk menyunting, sebutkan pemakaiannya. Kebijakan yang jujur biasanya lebih mudah dipertahankan daripada klaim bahwa tidak ada bantuan sama sekali, yang mudah terbantah oleh riwayat dokumen.

Watermark dan janjinya

Jalan lain yang ditawarkan adalah watermark: pola tersembunyi yang disisipkan pembuat model ke keluarannya, sehingga teksnya dapat dikenali secara pasti oleh pihak yang memegang kunci.

Kirchenbauer dan rekan-rekannya (2023) menunjukkan bahwa pendekatan ini bekerja pada kondisi terkontrol. Namun ada dua syarat yang membatasinya. Pertama, model harus mau menyisipkan watermark. Kedua, teks tidak boleh diubah setelah dihasilkan.

Pada praktiknya, dua syarat itu berat. Sebagian besar model yang dipakai publik tidak menyisipkan watermark, dan penerjemahan atau parafrase sederhana biasanya cukup untuk melemahkannya.

Apakah detektor masih berguna?

Berguna, untuk hal yang lebih kecil daripada yang sering dijanjikan.

Detektor dapat dipakai sebagai penyaring awal pada kumpulan teks yang sangat besar, misalnya untuk memilih tulisan yang perlu diperiksa manusia. Ia tidak dapat dipakai sebagai bukti tunggal, apalagi sebagai dasar sanksi.

Ia juga berguna untuk mendeteksi teks yang tidak diedit sama sekali, misalnya jawaban esai yang ditempel langsung dari keluaran model. Kasus semacam itu biasanya sudah terlihat dari isinya, tanpa bantuan detektor.

Yang tidak boleh dilakukan: memakai skor detektor sebagai satu-satunya dasar keputusan yang merugikan seseorang.

Prosedur yang lebih adil

Bila ada dugaan, periksa isinya lebih dulu. Kesalahan faktual, sitasi yang tidak ada, dan gaya yang melompat antar bagian lebih sering menunjukkan masalah daripada skor detektor. Untuk memeriksa sitasi, ada panduan memeriksa rujukan dari AI dan daftar periksa audit konten.

Kedua, minta penjelasan penulis. Dalam banyak kasus, penulis dapat menunjukkan draf, catatan, atau versi terdahulu. Bila tidak ada, ketiadaan bukti itu sendiri bukan bukti kesalahan.

Ketiga, bila alat tetap dipakai, laporkan hasilnya sebagai indikasi, bukan temuan. Cantumkan nama alat, versi, dan titik potong yang dipakai, karena ketiganya mengubah arti skor.

Keempat, siapkan banding. Keputusan yang tidak dapat dibanding harus dianggap belum selesai.

Batas interpretasi

Skor detektor bukan diagnosis dan bukan dasar tunggal keputusan akademik maupun keputusan kerja. Ia indikator statistik yang bergantung pada alat, versi, dan titik potong.

Untuk aspek lain pemakaian AI dalam asesmen, lihat batas AI dalam asesmen psikologis dan prompt untuk belajar psikometri.

Pertanyaan yang sering diajukan

Apakah ada detektor yang akurat?

Tidak ada yang akurat tanpa syarat. Akurasi bergantung pada jenis teks, bahasa, panjang teks, dan apakah teks telah diedit. Klaim akurasi di situs penyedia biasanya berasal dari kumpulan uji yang mereka susun sendiri.

Mengapa tulisan saya sendiri terdeteksi sebagai AI?

Karena detektor mengukur gaya, bukan asal-usul. Tulisan yang kalimatnya rapi dan kosakatanya terbatas lebih mudah dilabeli mesin, dan itu lebih sering terjadi pada penulis yang menulis dalam bahasa kedua.

Apakah watermark menyelesaikan masalah ini?

Hanya bila model menyisipkan watermark dan teksnya tidak diubah. Pada pemakaian nyata, dua syarat itu jarang terpenuhi bersamaan.

Bolehkah skor detektor dipakai untuk sanksi?

Sebaiknya tidak sebagai dasar tunggal. Sanksi menuntut bukti yang dapat diperiksa ulang, dan skor detektor tidak memenuhi syarat itu karena tidak stabil antar versi.

Rujukan

• Elkhatat, A. M., Elsaid, K., & Almeer, S. (2023). Evaluating the efficacy of AI content detection tools in differentiating between human and AI-generated text. International Journal for Educational Integrity, 19, 17. doi:10.1007/s40979-023-00140-5
• Gao, C. A., Howard, F. M., Markov, N. S., Dyer, E. C., Ramesh, S., Luo, Y., & Pearson, A. T. (2023). Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers. npj Digital Medicine, 6, 75. doi:10.1038/s41746-023-00819-6
• Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. (2023). A watermark for large language models. Proceedings of the 40th International Conference on Machine Learning. arXiv:2301.10226
• Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. doi:10.1016/j.patter.2023.100779
• Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-generated text be reliably detected? arXiv:2303.11156
• Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19, 26. doi:10.1007/s40979-023-00146-z