Agen AI Menulis Lebih Banyak Kode, tetapi Software Tak Ikut Bertambah: Temuan Studi Harvard

Agen AI untuk pemrograman kini bisa menulis kode, membuat commit, dan mengajukan perubahan hampir tanpa campur tangan manusia. Banyak perusahaan berharap alat ini membuat tim mereka jauh lebih produktif. Namun, sebuah studi besar dari Harvard University yang ramai dibahas di X minggu ini memberi gambaran yang lebih jujur: kode memang bertambah banyak, tetapi perangkat lunak yang benar-benar selesai tidak ikut bertambah secara berarti.

Studi dengan data dari ratusan perusahaan

Penelitian berjudul Artificial Intelligence in the Firm: Bottlenecks in Software Production ini ditulis oleh dua peneliti Harvard, Fiona Chen dan James Stratton. Mereka memakai data analitik teragregasi dan anonim dari Jellyfish, platform yang memantau aktivitas tim engineering. Cakupannya besar: sekitar 300 juta "peristiwa kerja" (seperti commit, pull request, tiket Jira, dan jadwal rapat) dari sekitar 700.000 pekerja di 718 perusahaan, mulai Januari 2021 sampai Maret 2026.

Para peneliti membandingkan perusahaan yang mengadopsi alat AI lebih awal dengan yang lebih lambat atau belum mengadopsi (metode staggered difference-in-differences). Mereka juga membedakan dua jenis alat:

• Asisten AI, yang membantu melengkapi kode yang sebagian besar masih ditulis manusia.
• Agen AI, yang bisa mengerjakan tugas pemrograman cukup panjang secara semi-otonom berdasarkan perintah.

Kode naik 30%, tetapi hasil akhir nyaris datar

Untuk agen AI, hasilnya mencolok. Setelah perusahaan mulai memakai agen, jumlah baris kode naik 30%, jumlah commit naik 20%, dan pull request naik 23%. Efek asisten AI jauh lebih kecil: sekitar 12% untuk baris kode, 9% untuk commit, dan 5% untuk pull request, dan hanya kenaikan commit yang signifikan secara statistik.

Masalahnya muncul saat peneliti melihat hasil akhir, yaitu tiket Jira (issue) dan proyek besar (epic) yang benar-benar selesai. Kenaikannya kecil dan tidak signifikan secara statistik. Untuk agen AI, perkiraan mereka menunjukkan kenaikan output tidak lebih dari 12% dari rata-rata awal, jauh di bawah lonjakan 30% di tingkat penulisan kode. Peneliti juga tidak menemukan tanda bahwa tugas yang dikerjakan menjadi lebih besar atau lebih rumit, jadi selisih ini tidak bisa dijelaskan dengan alasan "pekerjaannya jadi lebih berat".

Kemacetan pindah ke tahap review

Lalu ke mana perginya tambahan produktivitas itu? Menurut studi ini, jawabannya ada di review kode. Setelah agen AI masuk:

• Waktu dari pull request diajukan sampai digabungkan naik sekitar 49%.
• Porsi pull request yang diminta direvisi hampir dua kali lipat.
• Jumlah komentar review per pull request naik sekitar 35%.
• Porsi pekerja yang ikut melakukan review naik sekitar 14%, seperti dilaporkan Ars Technica.

Artinya, waktu yang dihemat saat menulis kode terserap oleh pekerjaan memeriksa, mengoreksi, dan mendiskusikan kode itu. Ars Technica juga mencatat bahwa meski sekitar 80% perusahaan dalam data sudah memakai suatu bentuk review berbantuan AI pada Maret 2026, agen AI baru menyumbang sekitar 23,3% komentar review. Sebagian besar pemeriksaan masih dikerjakan manusia.

Soal lapangan kerja, peneliti menyatakan tidak dapat mengaitkan perubahan jumlah pekerja yang signifikan dengan adopsi AI. Untuk agen AI, mereka memperkirakan efeknya terhadap total karyawan mendekati nol.

Apa artinya bagi tim di Indonesia?

Bagi startup, software house, atau tim IT internal di Indonesia yang sedang mencoba agen AI, temuan ini memberi beberapa pelajaran praktis:

1. Ukur hasil, bukan jumlah kode. Baris kode dan jumlah commit mudah naik. Ukuran yang lebih jujur adalah fitur yang rilis, bug yang selesai, dan kepuasan pengguna.
2. Siapkan kapasitas review. Jika agen AI membuat lebih banyak perubahan, pastikan ada orang dan proses yang cukup untuk memeriksanya. Pecah perubahan menjadi bagian kecil agar mudah ditinjau.
3. Perkuat pengujian otomatis. Tes, standar penulisan, dan dokumentasi yang jelas membantu menyaring kesalahan sebelum sampai ke reviewer.
4. Jaga keahlian dasar. Reviewer tetap harus memahami arsitektur dan konteks bisnis untuk menilai apakah kode buatan AI layak masuk.

Keterbatasan dan konteks

Studi ini kuat karena memakai data kerja nyata dalam skala besar, tetapi tetap ada batasannya:

• Data berhenti di Maret 2026. Kemampuan agen AI berkembang cepat sejak itu, dan tim juga terus belajar cara memakainya. Ars Technica menyebut pola ini bisa membaik seiring pengalaman.
• Adopsi diukur di tingkat perusahaan. Penulis sendiri mencatat bahwa perkiraan mereka cenderung lebih rendah karena tidak semua pekerja di perusahaan yang "mengadopsi" benar-benar memakai alat tersebut.
• Sampelnya spesifik. Data berasal dari perusahaan yang memakai Jellyfish, sehingga belum tentu mewakili semua jenis tim, termasuk tim kecil di Indonesia.
• Masih berupa makalah kerja. Ini adalah job market paper (versi terbaru 4 Agustus 2026) yang belum tentu melalui telaah sejawat penuh di jurnal. Penulis juga menegaskan kesimpulannya tidak mewakili pandangan Jellyfish.

Jadi, studi ini tidak berarti agen AI tidak berguna. Pesannya lebih tepat: manfaat AI baru terasa jika seluruh alur kerja ikut disesuaikan, bukan hanya tahap menulis kode.

Coba di Sumber AI

Pelajaran dari studi ini berlaku juga di luar pemrograman: AI mempercepat pembuatan draf, tetapi hasilnya tetap perlu diperiksa dengan cermat. Di Sumber AI, Anda bisa memakai chat untuk menyusun draf atau merangkum bahan, mencatat hal yang perlu dicek ulang di jurnal, lalu merapikan hasil akhirnya menjadi konten di Studio. Biarkan AI membantu bekerja lebih cepat, sementara keputusan akhir tetap di tangan Anda.

Sumber

• Fiona Chen dan James Stratton (Harvard University): Artificial Intelligence in the Firm: Bottlenecks in Software Production (versi 4 Agustus 2026)
• Ars Technica: AI coding agents generate more code, but not more software
• Ringkasan diskusi di X: AI Coding Agents Speed Up Output But Widen Verification Gap