AI yang Bisa Membaca dan Menulis Bobot Model AI Lain: Mengenal Weight-Space Programming

Selama ini, "isi kepala" sebuah model AI adalah jutaan hingga miliaran angka yang disebut bobot (weights). Angka-angka itu tidak ditulis manusia, melainkan dibentuk oleh proses pelatihan yang panjang dan mahal. Bagi kebanyakan orang, termasuk para peneliti, membaca deretan angka itu lalu menebak apa yang dikerjakan model hampir mustahil.

Sebuah tulisan riset dari MIT CSAIL yang terbit pada 2 November 2026 mencoba menantang anggapan itu. Judulnya Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, ditulis oleh Rikiya Takehi, Jayden Teoh, Alex Zhang, dan Omar Khattab. Mereka melaporkan bahwa model bahasa besar (LLM) papan atas, dalam percobaan ini GPT-6 Astra, ternyata cukup mampu membaca dan menulis bobot jaringan saraf secara langsung, tanpa proses pelatihan ulang.

Apa itu Weight-Space Programming?

Para peneliti memakai istilah Weight-Space Programming untuk menggambarkan cara kerja baru: sebuah LLM serbaguna diberi bobot model lain, lalu diminta memahami, memperbaiki, atau bahkan menulis bobot itu berdasarkan tujuan yang dijelaskan dengan bahasa biasa. Tidak ada gradient descent, tidak ada training loop. Modelnya bernalar tentang apa yang dihitung oleh tiap bagian jaringan, lalu mengubah angkanya.

Dalam tulisan itu, percobaannya dibagi menjadi tiga kelompok besar.

1. Membaca bobot. Astra diberi bobot mentah dari empat jaringan kecil yang dilatih untuk bermain game berbeda (versi sederhana Breakout, Pong, Pac-Man, dan Freeway). Arsitekturnya dibuat identik sehingga perbedaannya hanya ada di angka-angka bobot. Tanpa diberi tahu pilihan gamenya, Astra menebak keempatnya dengan benar. Pada percobaan lain, ia bisa menebak bahasa yang dipelajari model bahasa kecil (kode Python, bahasa Jepang dalam huruf Latin, atau bahasa Inggris) hanya dari lapisan tengahnya.

2. Memperbaiki bobot. Sebuah jaringan pengendali mobil di simulasi fisika gagal menaiki tanjakan karena "terjebak" pada strategi yang salah. Dalam satu kali percobaan, Astra mengubah sekitar 3,5% bobotnya, dan mobil itu berhasil di seluruh 1.024 episode uji.

3. Menulis bobot dari nol. Untuk tiga game MinAtar, Astra menulis bobot jaringan langsung sebagai teks, tanpa data dan tanpa mencoba memainkannya lebih dulu. Hasilnya mengungguli jaringan yang dilatih dengan PPO selama 100 juta langkah di ketiga game tersebut.

Percobaan yang paling banyak dibicarakan

Bagian yang paling ramai dibahas di X adalah percobaan pada model bahasa sungguhan, Qwen3.5-0.8B. Astra diminta membuat model kecil ini lebih jago matematika, lagi-lagi tanpa pelatihan. Ia hanya diberi sesi Python berisi bobot model, soal latihan dari GSM8K dan MATH, serta jatah terbatas untuk menjalankan model.

Astra menemukan masalah yang memang sudah diperingatkan di kartu model Qwen: dalam mode "berpikir", model kecil ini sering terjebak mengulang teks yang sama (looping) sampai batas token habis. Astra melacak penyebabnya ke satu arah tertentu pada lapisan MLP ke-15 dan ke-19, lalu mengubah 64 kolom di masing-masing lapisan, yaitu 131.072 bobot atau sekitar 0,016% dari seluruh model.

Menurut laporan para peneliti, dengan pengaturan sampling yang sama:

• Skor MATH-500 naik dari 7,9% menjadi 48,1%.
• Skor GSM8K naik dari 13,8% menjadi 67,1%.
• Skor IFEval (kepatuhan pada instruksi) naik dari 21,0% menjadi 62,3%.
• Porsi jawaban MATH-500 yang mentok di batas token turun dari 93% menjadi 33,1%.

Model hasil editan itu dirilis di Hugging Face, lengkap dengan log percobaan di GitHub, sehingga siapa pun bisa memeriksanya.

Batasan dan konteks yang perlu diketahui

Angka di atas terdengar spektakuler, tetapi ada beberapa catatan penting.

Yang diperbaiki adalah "macet", bukan kecerdasan baru. Para peneliti sendiri menulis bahwa memperbaiki looping tidak sama dengan membuat model lebih pintar matematika; model hanya jadi bisa menyelesaikan jawaban yang sebenarnya sudah mampu ia kerjakan. Ketika metode yang sama dicoba pada Gemma 3 270M, model kecil yang jarang looping, Astra tidak berhasil menaikkan skor MATH-500 lebih dari sekitar satu poin. Kesimpulan mereka: mengedit bobot bisa menyingkirkan penghalang, tetapi belum bisa menambahkan kemampuan yang tidak dimiliki model.

Pengaturan uji sangat berpengaruh. Beberapa pihak independen mencoba mengulang hasilnya. Pengujian ulang yang dicantumkan di kartu model Hugging Face mendapatkan skor sekitar 51% untuk model editan, sejalan dengan klaim penulis. Namun, sebuah analisis independen lain menunjukkan bahwa model dasar Qwen tanpa diedit bisa meraih sekitar 44% di MATH-500 bila memakai pengaturan "non-thinking" yang direkomendasikan Qwen. Artinya, angka 7,9% sebagian besar mencerminkan pengaturan yang membuat model mudah looping, bukan batas kemampuan model.

Tidak semua percobaan berhasil. Saat diminta menebak mana dari dua model Gemma yang dilatih untuk bersikap "asal setuju" (sycophantic), Astra gagal bila hanya melihat bobotnya. Ia baru berhasil setelah diizinkan melihat pola atensi saat model dijalankan.

Ini masih tahap awal. Hasilnya dipublikasikan sebagai tulisan blog riset, bukan makalah yang sudah melalui telaah sejawat. Sebagian besar percobaan juga memakai jaringan kecil. Para penulis menyebut kemampuan ini "menarik tetapi masih terbatas" dan sedang menyiapkan benchmark khusus.

Mengapa ini menarik?

Jika arah riset ini berkembang, ada beberapa kemungkinan yang disebut para peneliti: mengaudit model untuk mencari masalah tersembunyi (misalnya backdoor) langsung dari bobotnya, memperbaiki perilaku tertentu tanpa pelatihan ulang yang mahal, hingga menghapus kemampuan tertentu tanpa perlu mengumpulkan banyak data. Bagi dunia keamanan dan interpretabilitas AI, kemampuan "membaca isi kepala" model adalah hal yang sudah lama dicari.

Bagi kita pengguna sehari-hari, pelajarannya lebih sederhana: AI semakin sering dipakai untuk memahami AI lain. Namun klaim besar tetap perlu dibaca bersama konteksnya, termasuk siapa yang menguji, dengan pengaturan apa, dan apakah hasilnya bisa diulang.

Coba di Sumber AI

Membaca riset seperti ini sering kali butuh waktu, apalagi jika penuh istilah teknis seperti forward pass, MLP, atau benchmark. Anda bisa memanfaatkan Sumber AI untuk membantu: tanyakan istilah yang belum jelas lewat chat, minta ringkasan poin penting dalam bahasa Indonesia, atau gunakan fitur jurnal untuk mencatat hal-hal yang ingin Anda pelajari lebih lanjut. Tetap biasakan memeriksa sumber aslinya, seperti yang kami lakukan di tulisan ini.

Sumber

• Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab (MIT CSAIL), Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, 2 November 2026: rikiyat.github.io/blog/weight-space-programming
• Kartu model Hugging Face, Qwen3.5-0.8B-weight-space-programming: huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming
• Carlos Toledo, Weight-Space Programming: the edit decided from its bytes, the scores re-graded: carlostoledo.co/reports/weight-space-programming.html