Artículos e investigación

Thinking Machines Lab analiza las causas de la incertidumbre en la inferencia de LLM y publica kernels batch-invariant de código abierto

Título original:Defeating Nondeterminism in LLM Inference

Resumen de IA

Thinking Machines Lab publica un blog en el que señala que la verdadera causa de la incertidumbre en la inferencia de LLM no es la concurrencia sumada a los números en coma flotante, sino la falta de batch invariance en los kernels: los cambios en el tamaño de batch provocados por la carga del servidor alteran la salida de una misma solicitud.

Resumen rápido

Publicado
Actualizado
Fuente
Thinking Machines Lab:官方博客
Categoría
Artículos e investigación
Puntuación IA
68
Leer el original Leer el artículo completo en la fuente original
Por qué importa

作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题,并给出可复现内核方案。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Thinking Machines Lab analiza las causas de la incertidumbre en la inferencia de LLM y publica kernels batch-invariant de código abierto. 10. septiembre 2025. https://new.nat6.net/es/news/cmq75sy1q0009sl5w22bhu5g3/

Ver todo →