AI Mengungguli Pakar dalam Telaah Sejawat: Temuan Studi Harvard

Bayangkan Anda mengirim draf makalah dan menerima dua ulasan: satu dari pakar yang dibayar layak dan dikenal teliti, satu lagi dari AI. Mana yang lebih membantu? Sebuah makalah kerja dari Harvard yang terbit pada 22 Oktober 2026 memberi jawaban yang cukup mengejutkan, dan sedang ramai dibicarakan di X beberapa hari terakhir.

Apa yang diteliti

Makalah berjudul AI Article Reviews Dominate Human Peer Reviews at Their Best: Evidence and Policy Choices ditulis oleh Gary King, profesor dan direktur Institute for Quantitative Social Science (IQSS) Harvard, bersama Steven Worthington. Mereka memakai data dari rapidPeer, layanan IQSS yang memberi ulasan double-blind atas draf makalah dosen sebelum dikirim ke jurnal.

Ulasan manusia di rapidPeer bukan ulasan sembarangan. Peninjau dipilih dari institusi lain, dibayar, dan diminta menulis masukan yang menyeluruh dan konstruktif. Menurut penulis, 88% dari 74 penulis makalah yang mengisi survei menilai ulasan yang mereka terima berkualitas tinggi atau sangat tinggi.

Korpusnya terdiri dari 124 makalah dan 134 ulasan manusia yang dikumpulkan antara 2019 dan 2026, mulai dari analisis statistik, model matematika formal, hingga studi kualitatif. Untuk setiap makalah, peneliti membuat satu ulasan AI menggunakan Claude Opus 4.8 dengan pengaturan penalaran maksimum, baik dengan pedoman peninjau yang sama persis dengan yang diterima manusia maupun dengan prompt khusus plus akses pencarian web.

Hasilnya: AI unggul di semua area

Penilaian dilakukan dua arah. Pertama, model dari keluarga berbeda, GPT-5.5, menjadi juri AI agar pembuat dan penilai ulasan tidak "satu keturunan". Kedua, tiga mantan editor jurnal ternama menilai 10 pasang ulasan yang dipilih acak tanpa tahu mana buatan AI.

Beberapa temuan utamanya:

• Juri AI memilih ulasan AI di seluruh pasangan yang bisa diputuskan (132 dari 132).
• Tiga mantan editor memilih ulasan AI pada 26 dari 30 penilaian, atau 87%. Masing-masing editor juga condong ke AI (8, 8, dan 10 dari 10 pasang).
• Per area, AI menang 92% untuk teori dan ide, framing, serta komunikasi; 99% untuk gambar dan tabel; dan 100% untuk sumber, kelemahan, dan metode.
• Soal akurasi, ulasan AI tidak mengutip sumber fiktif, dan 5,5% klaimnya tentang naskah dinilai keliru, sekitar sepertiga dari 15,9% pada ulasan manusia.

Peneliti juga menjalankan sejumlah uji ketahanan. Ketika panjang ulasan disamakan (44 pasang), AI tetap dipilih di semua pasangan. Ketika ulasan manusia ditulis ulang dengan gaya bahasa AI, hasilnya tidak berubah, sehingga keunggulan itu bukan sekadar soal format atau gaya.

Mengapa ini penting bagi kita

Bagi dosen, peneliti, dan mahasiswa pascasarjana di Indonesia, proses telaah sejawat sering identik dengan antrean panjang, masukan yang tidak konsisten, dan revisi berkali-kali. Temuan ini menunjukkan AI bisa menjadi "pembaca pertama" yang tajam: menemukan celah metode, klaim yang belum didukung data, atau tabel yang membingungkan, sebelum naskah sampai ke meja editor.

King dan Worthington bahkan membahas beberapa opsi kebijakan jurnal. Misalnya, penulis diminta menjalankan ulasan AI sendiri sebelum mengirim naskah, jurnal menerbitkan prompt resmi untuk menilai kesesuaian naskah, atau naskah wajib dilampiri ulasan AI beserta surat tanggapan penulis.

Keterbatasan dan konteks

Hasil ini perlu dibaca dengan hati-hati:

• Masih makalah kerja. Studi ini belum melalui proses terbit di jurnal, dan sampel editor manusia hanya 10 pasang ulasan.
• Yang diukur adalah kualitas ulasan, bukan dampaknya. Penulis sendiri menyatakan mereka tidak mengukur seberapa jauh revisi berikutnya benar-benar memperbaiki makalah, ataupun dampak kolektif jika jurnal beralih ke AI.
• Risiko penyeragaman. Para penulis memperingatkan bahwa AI cenderung mendorong ide ke arah yang konvensional. Jika semua orang memakai AI untuk menulis dan menelaah, ilmu pengetahuan bisa menjadi lebih seragam.
• Keputusan tetap di tangan manusia. Menurut makalah ini, apakah sebuah naskah layak terbit di jurnal tertentu tetap harus diputuskan editor yang punya wewenang dan tanggung jawab.
• Etika dan kerahasiaan. Mengunggah naskah orang lain ke layanan AI tanpa izin bisa melanggar kerahasiaan telaah sejawat. Selalu ikuti kebijakan jurnal dan institusi Anda.

Satu catatan lagi: konferensi ICML 2026 menemukan 22,5% peninjau yang disurvei di kelompok "dilarang memakai AI" mengaku tetap memakainya. Artinya, AI sudah masuk ke proses telaah, suka atau tidak, dan yang dibutuhkan sekarang adalah aturan main yang jelas.

Coba di Sumber AI

Anda tidak perlu menunggu kebijakan jurnal berubah untuk mulai memanfaatkan pola ini pada naskah sendiri. Di Sumber AI, Anda bisa mengunggah draf dalam format PDF atau Markdown ke chat, lalu meminta masukan layaknya peninjau: apa kelemahan metodenya, klaim mana yang perlu bukti tambahan, dan bagian mana yang sulit dipahami. Setelah direvisi, naskah bisa dirapikan di Studio dan diterbitkan lewat Journal, tempat pembaca dapat mengutip, berdiskusi, dan mengajukan koreksi.

Gunakan AI sebagai pembaca kritis pertama, lalu tetap putuskan sendiri masukan mana yang Anda terima. Mulai gratis di sumber.ai.id.

Sumber

• Gary King dan Steven Worthington, "AI Article Reviews Dominate Human Peer Reviews at Their Best: Evidence and Policy Choices", makalah kerja, 22 Oktober 2026: gking.harvard.edu/files/peerless.pdf
• Lampiran tambahan makalah: gking.harvard.edu/files/peerless-supp.pdf
• Ringkasan diskusi di X: x.com/i/trending/2113532345743757791