Статьи и исследования

Thinking Machines Lab объяснила причины неопределённости рассуждений LLM и открыла ядра batch-invariant

Оригинальный заголовок:Defeating Nondeterminism in LLM Inference

ИИ-резюме

Thinking Machines Lab опубликовала блог, указав, что настоящая причина неопределённости рассуждений LLM — не параллелизм и числа с плавающей точкой, а отсутствие batch invariance у ядер: изменение размера батча из-за нагрузки на сервер меняет вывод отдельного запроса.

Ключевые моменты

  • Thinking Machines Lab опубликовала блог
  • указав,что настоящая причина неопределённости рассуждений LLM — не параллелизм и числа с плавающей…
  • а отсутствие batch invariance у ядер: изменение размера батча из-за нагрузки на сервер меняет…

Кратко

Опубликовано
Обновлено
Источник
Thinking Machines Lab:官方博客
Категория
Статьи и исследования
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题,并给出可复现内核方案。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Thinking Machines Lab объяснила причины неопределённости рассуждений LLM и открыла ядра batch-invariant. 10 сентября 2025. https://new.nat6.net/ru/news/cmq75sy1q0009sl5w22bhu5g3/

Смотреть все →