Satu Baris robots.txt untuk Menolak Pelatihan AI: Google, Microsoft, OpenAI, dan Anthropic Sepakat

Bagi banyak pemilik website di Indonesia, mulai dari media daring, blog pribadi, sampai toko online UMKM, ada satu pertanyaan yang makin sering muncul: apakah tulisan dan foto di situs saya ikut dipakai untuk melatih AI, dan bisakah saya menolaknya? Selama ini jawabannya rumit. Setiap perusahaan AI punya “nama robot” dan aturannya sendiri, sehingga pemilik situs harus menulis instruksi terpisah untuk masing-masing.

Pada 30 Oktober 2026, empat nama besar di dunia AI, yaitu Google, Microsoft, OpenAI, dan Anthropic, menyatakan akan mendukung satu sinyal bersama untuk keperluan itu. Kabar ini ramai dibahas di X dalam dua hari terakhir karena menyangkut hampir semua orang yang punya website.

Apa yang diumumkan?

Intinya sederhana: pemilik situs cukup menambahkan satu kelompok aturan di file robots.txt, file kecil di akar website yang sejak lama dipakai untuk memberi tahu robot mesin pencari halaman mana yang boleh dan tidak boleh diakses.

Bedanya, kali ini yang ditulis bukan nama robot tertentu, melainkan sebuah “policy token” bernama __usage_ai-training. Contoh untuk menolak pelatihan AI di seluruh situs:

User-Agent: __usage_ai-training
Disallow: /

Aturan ini juga bisa dibuat per folder. Contoh dari dokumen drafnya: seluruh situs ditolak untuk pelatihan AI, kecuali folder siaran pers yang tetap diizinkan dengan menambahkan baris Allow: /press-kit/.

Mekanisme ini diusulkan oleh Kevin Kelley, pemimpin teknis standar di Anthropic, sebagai draf di kelompok kerja AI Preferences (AIPREF) milik Internet Engineering Task Force (IETF), lembaga yang menyusun banyak standar teknis internet. Dalam blog resminya, Google menyebut tujuannya agar pemilik situs tidak lagi perlu “mengelola instruksi terpisah untuk setiap pengembang AI”.

Kapan mulai berlaku?

Ini bagian yang penting dipahami: belum ada yang membacanya hari ini. Jadwal tiap perusahaan berbeda:

• Microsoft akan mulai menghormati preferensi ini saat merayapi halaman mulai 1 Februari 2027.
• Google menargetkan dukungan pada 2027. Dokumentasi crawler-nya menyebut “awal 2027”.
• OpenAI menyatakan akan menerapkannya “dalam beberapa bulan ke depan”, tanpa tanggal pasti.
• Anthropic, lewat Kevin Kelley, menyebut sudah mulai membangun dukungannya, juga tanpa tanggal.

Artinya, pemilik situs yang ingin menolak pelatihan AI sebaiknya tetap memakai aturan lama untuk sementara, misalnya memblokir Google-Extended untuk Google atau GPTBot untuk OpenAI, sambil menambahkan token baru sebagai persiapan.

Hal teknis yang sering terlewat

Ada beberapa detail yang bisa mengecoh:

• Aturan wildcard (User-Agent bertanda bintang) tidak dihitung. Menurut draf, kelompok aturan wildcard tidak dianggap menyatakan preferensi soal pelatihan AI. Jika ingin menolak, token __usage_ai-training harus ditulis secara eksplisit.
• Ini soal penggunaan, bukan akses. Token ini tidak melarang robot mengunjungi situs. Ia hanya menyatakan bahwa konten tidak ingin dipakai untuk melatih model AI generatif. Peringkat di hasil pencarian Google dan Bing tidak terpengaruh.
• Perlakuan Google lebih luas. Google akan membaca token ini sebagai larangan Google-Extended jika situs tidak menulis aturan Google-Extended sendiri. Menurut dokumentasi Google, Google-Extended juga mencakup grounding, yaitu pemakaian konten untuk mendukung jawaban di aplikasi Gemini. Jadi, menolak pelatihan lewat token ini di Google juga bisa berarti situs tidak dikutip di jawaban Gemini, kecuali Google-Extended diizinkan secara khusus.
• Microsoft memisahkan pelatihan dan grounding. Microsoft menambahkan pengaturan terpisah di tingkat halaman untuk grounding di Bing dan Copilot, dan berhenti membaca tag lama NoArchive serta NoCache sebagai preferensi AI setelah 1 Maret 2027.

Keterbatasan dan konteks

Kabar ini langkah maju, tetapi perlu dibaca dengan jernih:

• Sifatnya sukarela. Tidak ada mekanisme penegakan. Robots.txt pada dasarnya permintaan, dan perusahaan di luar empat nama ini belum tentu ikut membacanya. Meta, Amazon, dan Apple, misalnya, belum menyatakan komitmen yang sama.
• Masih berupa draf. Dokumen Kelley adalah draf individual yang belum disahkan IETF dan bisa berubah sebelum menjadi standar resmi.
• Hanya berlaku ke depan. Preferensi melekat pada konten saat konten diambil. Konten yang sudah dikumpulkan sebelum token ditambahkan tidak otomatis ditarik dari data latih.
• Ada pertukaran (trade-off). Menolak pelatihan dan grounding bisa mengurangi peluang situs muncul atau dikutip di jawaban AI. Microsoft sendiri menegaskan bahwa pilihan apa pun tidak menjamin trafik atau pembayaran.

Bagi pengelola media dan bisnis di Indonesia, keputusan ini sebaiknya diambil dengan sadar: apakah lebih penting melindungi konten dari pelatihan model, atau tetap terlihat di jawaban asisten AI yang makin sering dipakai orang untuk mencari informasi? Tidak ada jawaban tunggal. Yang penting, kini pilihannya mulai lebih mudah dinyatakan.

Coba di Sumber AI

Kalau Anda mengelola website dan ingin memahami isi robots.txt situs Anda sendiri, coba tempelkan file tersebut di chat Sumber AI dan minta penjelasan baris demi baris dengan bahasa sederhana. Anda juga bisa meminta draf aturan sesuai kebutuhan, lalu mencatat keputusan dan alasannya di jurnal agar mudah ditinjau ulang saat jadwal dukungan tiap perusahaan mulai berlaku. Tetap periksa kembali hasilnya dengan dokumentasi resmi sebelum memasangnya di situs.

Sumber

• Google Search Central Blog, “Supporting a shared AI training control for websites” (30 Oktober 2026): developers.google.com
• PPC Land, “Google, Microsoft, OpenAI and Anthropic back one AI training opt-out” (31 Oktober 2026): ppc.land
• The Verge, “The biggest names in AI are backing a new way to opt out of scraping”: theverge.com