Thinking Machines Lab analiza las causas de la incertidumbre en la inferencia de LLM y publica kernels batch-invariant de código abierto
Título original:Defeating Nondeterminism in LLM Inference
Resumen de IA
Thinking Machines Lab publica un blog en el que señala que la verdadera causa de la incertidumbre en la inferencia de LLM no es la concurrencia sumada a los números en coma flotante, sino la falta de batch invariance en los kernels: los cambios en el tamaño de batch provocados por la carga del servidor alteran la salida de una misma solicitud.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Thinking Machines Lab:官方博客
- Categoría
- Artículos e investigación
- Puntuación IA
- 68
作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题,并给出可复现内核方案。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Thinking Machines Lab analiza las causas de la incertidumbre en la inferencia de LLM y publica kernels batch-invariant de código abierto. 10. septiembre 2025. https://new.nat6.net/es/news/cmq75sy1q0009sl5w22bhu5g3/