Productos y aplicaciones

Ant Group Bailing lanza un daemon de caché de pesos para SGLang

Título original:Today, we’re introducing the Weight Cache Daemon for SGLang. 🚀 On Ling-2.6-1T FP8, it reduced weigh...

Resumen de IA

Hoy lanzamos Weight Cache Daemon para SGLang. 🚀 En Ling-2.6-1T FP8, reduce el tiempo de carga de pesos a aproximadamente 0,63 segundos, unas 780 veces más rápido que la carga desde disco, y recorta el tiempo total de arranque del motor de 8,8 minutos a unos 0,53 minutos. Así funciona.

Puntos clave

  • Hoy lanzamos Weight Cache Daemon para SGLang.
  • 🚀 En Ling-2.
  • 6-1T FP8,reduce el tiempo de carga de pesos a aproximadamente 0,63 segundos,unas 780 veces más…
  • Así funciona.

Resumen rápido

Publicado
Actualizado
Fuente
X:蚂蚁百灵 (@AntLingAGI)
Categoría
Productos y aplicaciones
Puntuación IA
53
Leer el original Leer el artículo completo en la fuente original
Por qué importa

把权重加载从磁盘瓶颈改为缓存复用,对需要频繁扩缩容或重启推理服务的团队,启动耗时从分钟级降到秒级可能改变运维节奏。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Ant Group Bailing lanza un daemon de caché de pesos para SGLang. 22. agosto 2026. https://new.nat6.net/es/news/cmt3wt4qm13utro6t0hb6ga3y/

Ver todo →