Nvidia Pamer Chip Inferensi Groq 3 LPX: 3.431 Token per Detik, Rack Sudah Produksi Massal

KILASKINI.COM — Nvidia secara resmi mempresentasikan arsitektur rack inferensi Groq 3 LPX di konferensi Hot Chips 2026. Presentasi yang dilakukan Igor Arsovski, VP of Hardware Nvidia yang juga mantan kepala arsitek Groq, ini menjadi momen pertama kalinya teknologi Groq dipamerkan sebagai bagian dari lini produk Nvidia setelah akuisisi senilai USD 20 miliar pada Desember 2025.

Yang menarik, perusahaan juga merilis tolok ukur independen pertama untuk hardware ini. Artificial Analysis mencatat kecepatan 3.431 token output per detik pada model Gemma 4 31B dengan konteks 100K—sekitar empat kali lebih cepat dibandingkan endpoint publik tercepat berikutnya yang hanya mencapai 870 token per detik.

Spesifikasi dan Arsitektur LP30

Setiap chip LP30 membawa sekitar 500MB SRAM on-die tanpa HBM sama sekali. Satu rack LPX penuh berisi 256 chip menyediakan total memori 128GB dengan bandwidth agregat 40 PB/s dan komputasi FP8 mencapai 315 PFLOPS.

• Latensi antar-chip: 350 nanodetik
• Kompatibel dengan platform Vera Rubin dan sistem MGX liquid-cooled
• Skalabilitas hingga lebih dari 1.000 unit LPU
• Desain pipeline deterministik tanpa cache, branch prediction, atau out-of-order execution

Pendekatan ini membuat seluruh jadwal eksekusi diatur oleh kompiler hingga tingkat siklus clock. Model Gemma 4 31B yang berukuran kecil cukup muat di dalam satu rack, namun model mixture-of-experts triliunan parameter membutuhkan ribuan chip karena keterbatasan kapasitas SRAM.

Keunggulan Utama: Decode Cepat dan Manajemen Daya Presisi

Dengan menyimpan bobot model di SRAM, Nvidia menghilangkan latensi akses memori yang biasanya mendominasi proses decode token tunggal. Desain deterministik juga memungkinkan kompiler memprediksi konsumsi daya secara akurat, sehingga regulator dapat memesan arus listrik lebih awal dan mengurangi voltage droop hingga 60% serta overshoot hingga 70%.

"Dengan cara ini, kami bisa mendapatkan utilisasi chip yang lebih baik di bawah batas termal yang sama. Sekitar 10-11% performa tambahan," ujar Arsovski di atas panggung. Sistem ini menyamakan panas secara merata alih-alih melakukan throttling pada tile terpanas.

Kolaborasi dengan GPU Rubin untuk Inferensi Hibrida

Nvidia memposisikan LPX sebagai co-processor decode yang bekerja bersama GPU Vera Rubin NVL72. GPU menangani fase prefill yang berat komputasi dan membangun KV cache, sementara LPU menghasilkan token output.

Terdapat tiga mode pembagian kerja yang ditawarkan: disaggregasi prefill-decode, disaggregasi attention-FFN, dan speculative decoding eksternal. Dalam mode terakhir, model kecil di LPU mengusulkan token yang diverifikasi paralel oleh GPU. Nvidia mengklaim penggabungan ini memberikan peningkatan 3-5 kali lipat dibandingkan Rubin saja pada workload dua triliun parameter dengan konteks cache 400K token.

Pesaing dan Isu Regulasi

Di sesi yang sama, Cerebras memperkenalkan sistem CS4 dengan bandwidth memori 43 PB/s yang diklaim 2.000 kali lebih tinggi dari chip Rubin. Cerebras juga telah menjalin kemitraan dengan AMD Helios untuk pembagian tugas prefill-decode serupa.

Keputusan Nvidia menarik Rubin CPX dari peta jalan untuk fokus pada LPU tahun ini memicu pertanyaan regulasi. Senator Elizabeth Warren dan Richard Blumenthal telah menulis surat kepada FTC dan Nvidia pada awal 2026, menyebut akuisisi Groq sebagai pengambilalihan "dalam segala hal kecuali nama". Hingga akhir Agustus, belum ada investigasi resmi yang dikonfirmasi.

Bagi pengembang dan penyedia layanan AI, kehadiran LPX menawarkan alternatif menarik untuk beban kerja decode berkecepatan tinggi, meski keterbatasan kapasitas memori membuatnya tidak cocok untuk model berskala sangat besar tanpa kombinasi dengan GPU.