Makalah & Riset

Thinking Machines Lab mengurai penyebab ketidakpastian inferensi LLM dan merilis kernel batch-invariant sebagai sumber terbuka

Judul asli:Defeating Nondeterminism in LLM Inference

Ringkasan AI

Thinking Machines Lab merilis blog yang menunjukkan bahwa penyebab sebenarnya ketidakpastian inferensi LLM bukanlah konkurensi ditambah floating point, melainkan kurangnya batch invariance pada kernel; perubahan ukuran batch akibat beban server dapat mengubah output satu permintaan.

Poin utama

  • Thinking Machines Lab merilis blog yang menunjukkan bahwa penyebab sebenarnya ketidakpastian…
  • melainkan kurangnya batch invariance pada kernel
  • perubahan ukuran batch akibat beban server dapat mengubah output satu permintaan.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Thinking Machines Lab:官方博客
Kategori
Makalah & Riset
Skor AI
68
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题,并给出可复现内核方案。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Thinking Machines Lab mengurai penyebab ketidakpastian inferensi LLM dan merilis kernel batch-invariant sebagai sumber terbuka. 10 September 2025. https://new.nat6.net/id/news/cmq75sy1q0009sl5w22bhu5g3/

Lihat semua →