Together Compiler: Agen AI yang Mengoptimalkan Inference Secara Berkelanjutan

Setiap minggu model AI open-source baru muncul, pola pemakaian berubah, dan perangkat keras GPU terus berganti. Bagi penyedia inference (layanan yang menjalankan model agar kita bisa memakai chat, agen, atau API), itu berarti pekerjaan mengoptimalkan kecepatan tidak pernah selesai. Yang kemarin cepat untuk satu model bisa jadi lambat untuk model berikutnya.

Pada 4 November 2026, Together AI mengumumkan Together Compiler (disingkat TKCC) sebagai langkah pertama menuju apa yang mereka sebut Polymorphic Inference: sistem inference yang menyesuaikan diri dengan model, lalu lintas, dan perangkat keras yang terus berubah. Intinya sederhana tetapi ambisius: biarkan agen AI mencari cara membuat inference lebih cepat, lalu uji dan terapkan hasilnya tanpa menunggu minggu kerja peneliti manusia.

Apa yang diumumkan?

Menurut tulisan teknis Together AI yang ditulis Reyna Abhyankar, Dylan Lim, dan Simran Arora, Together Compiler adalah putaran optimasi berkelanjutan (continual compilation). Sistem ini menerima bentuk lalu lintas, model, dan perangkat keras sebagai masukan, lalu memakai kawanan agen untuk mengusulkan optimasi pada engine inference.

Yang membedakan pendekatan mereka, menurut laporan tersebut, bukan hanya “memakai AI untuk menulis kernel GPU”, melainkan tiga keputusan desain:

1. *Mesin yang terus hidup (persistent engines). Banyak sistem agen lain harus memulai ulang engine seperti vLLM atau SGLang setiap kali menguji ide baru. Start-up itu bisa memakan ratusan detik. Together Compiler mengklaim mesinnya bisa hot-reload kandidat forward pass* tanpa restart penuh, sehingga waktu siap uji turun drastis (dalam tabel mereka, sekitar 9 detik versus sekitar 467 detik pada alur status quo).
2. Dua tingkat pengukuran. Ada “mesin cepat” yang memuat sedikit lapisan untuk iterasi cepat, dan “mesin lebih lambat” yang memuat banyak lapisan agar hasilnya lebih setia pada data nyata. Ini penting karena arsitektur modern seperti MoE dan atensi jarang (sparse) sangat bergantung pada distribusi input, bukan data acak.
3. Model biaya untuk memilih strategi paralelisme. Alih-alih hanya melihat spesifikasi GPU, sistem memakai pengukuran bertingkat agar pilihan tensor parallel, expert parallel, dan sejenisnya lebih cocok dengan bentuk lalu lintas aktual.

Angka yang mereka laporkan

Together AI menempatkan Together Compiler di sejumlah penetapan (benchmark) yang mereka bandingkan dengan konfigurasi engine open terbaik yang dilaporkan di SemiAnalysis InferenceX/AgentX, serta megakernel open:

• Hingga 2,6× TPS (tokens per second) lebih tinggi pada sejumlah model open frontier (disebutkan antara lain Kimi K3, GLM 5.3, MiniMax M3.1-Flash, DeepSeek v4.1-Flash), dalam kurang dari 24 jam proses kompilasi.
• Pada skenario latensi rendah batch size 1: 1.111 TPS pada MiniMax M3.1-Flash dan 1.205 TPS pada DeepSeek v4.1-Flash.
• 1,7× lebih tinggi daripada megakernel open pada pengaturan Llama 1B batch size 1.
• Throughput eksperimen agen diklaim 252× lebih tinggi dibanding baseline sistem optimasi agen yang mereka bandingkan.

Mereka juga menulis bahwa Together Compiler sudah melayani triliunan token di produksi, dan prinsip yang sama diujicoba di luar LLM (pemodelan cuaca, PDE, deret waktu, biologi), dengan perbandingan terhadap Claude Code pada beberapa codebase open.

Di tulisan perusahaan yang lebih ringkas, Simran Arora dan Dan Fu menekankan konteks industri: 80% lalu lintas di OpenRouter menuju model yang dirilis dalam tiga bulan terakhir, dan sepuluh model open paling populer tidak memakai arsitektur yang sama. Itu alasan mereka menyebut era “Static Inference” (satu model, satu bentuk lalu lintas, satu platform) sudah kalah relevan.

Mengapa ini menarik untuk pembaca di Indonesia?

Banyak tim di sini memakai model open lewat API atau self-host. Biaya dan latensi sering menjadi penentu apakah sebuah fitur chat atau agen layak diluncurkan. Jika penyedia inference bisa menyesuaikan kernel secara otomatis saat model baru muncul atau saat pola pemakaian bergeser (misalnya dari chat pendek ke agen dengan prompt panjang), pengguna bisa merasakan respons lebih cepat tanpa harus menunggu rilis kernel manual.

Bagi pengembang yang membangun agen, ada pelajaran lain: AI kini dipakai untuk mengoptimalkan AI itu sendiri. Yang dioptimalkan di sini bukan jawaban chat, melainkan jalur eksekusi di GPU. Itu contoh nyata recursive self-improvement di lapisan sistem, bukan hanya di lapisan model.

Batasan dan konteks

Angka di atas berasal dari laporan Together AI sendiri, termasuk penetapan yang mereka pilih dan konfigurasi yang mereka bandingkan. Beberapa hal perlu digarisbawahi:

• Ini klaim vendor yang disertai tulisan teknis, bukan audit independen. Pembaca yang ingin memverifikasi sebaiknya membaca blog dan makalah yang mereka tautkan, serta menunggu perbandingan pihak ketiga.
• Kecepatan uji tergantung catatan kaki. Untuk Trainium2, misalnya, mereka memakai dataset sintetis multi-turn karena implementasi mereka belum mendukung konkurensi lebih tinggi pada kapasitas HBM terbatas.
• Akses pelanggan masih terbatas. Together menulis Together Compiler sudah aktif di beberapa endpoint serverless populer, sementara self-serve untuk endpoint khusus pelanggan disebut dalam limited beta.
• *Optimasi inference bukan jaminan kualitas jawaban.* TPS lebih tinggi berarti lebih banyak token per detik pada kondisi uji; itu tidak otomatis membuat model lebih pintar atau lebih aman.
• Generalitas di luar LLM masih awal. Perbandingan pada cuaca/PDE/biologi menarik, tetapi skala dan skenarionya berbeda dari layanan chat produksi.

Dengan kata lain: arahnya penting—sistem yang beradaptasi saat model dan lalu lintas berubah—tetapi angka spektakuler tetap harus dibaca bersama metode pengujiannya.

Coba di Sumber AI

Topik seperti compiler, kernel GPU, dan polymorphic inference mudah terasa berat jika dibaca sekali jalan. Di Sumber AI Anda bisa membuka chat untuk minta ringkasan istilah teknis dalam bahasa Indonesia, mengunggah catatan atau cuplikan artikel lalu mendiskusikannya, atau menulis refleksi di Jurnal dan Studio agar ide tidak hilang. Banyak model tersedia dalam satu ruang kerja, sehingga Anda bisa membandingkan penjelasan tanpa berpindah aplikasi. Tetap biasakan membuka sumber aslinya sebelum menyimpulkan.

Sumber

• Reyna Abhyankar, Dylan Lim, Simran Arora (Together AI), Together Compiler: Continual Compilation for AI inference, 4 November 2026: together.ai/blog/together-compiler-continual-compilation-for-ai-inference
• Simran Arora, Dan Fu (Together AI), From Static to Polymorphic Inference, 4 November 2026: together.ai/blog/polymorphic-inference
• Halaman produk Polymorphic Inference: together.ai/polymorphic-inference