Ant Group Bailing lanza un daemon de caché de pesos para SGLang
Título original:Today, we’re introducing the Weight Cache Daemon for SGLang. 🚀 On Ling-2.6-1T FP8, it reduced weigh...
Resumen de IA
Hoy lanzamos Weight Cache Daemon para SGLang. 🚀 En Ling-2.6-1T FP8, reduce el tiempo de carga de pesos a aproximadamente 0,63 segundos, unas 780 veces más rápido que la carga desde disco, y recorta el tiempo total de arranque del motor de 8,8 minutos a unos 0,53 minutos. Así funciona.
Puntos clave
- Hoy lanzamos Weight Cache Daemon para SGLang.
- 🚀 En Ling-2.
- 6-1T FP8,reduce el tiempo de carga de pesos a aproximadamente 0,63 segundos,unas 780 veces más…
- Así funciona.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- X:蚂蚁百灵 (@AntLingAGI)
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 53
把权重加载从磁盘瓶颈改为缓存复用,对需要频繁扩缩容或重启推理服务的团队,启动耗时从分钟级降到秒级可能改变运维节奏。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Ant Group Bailing lanza un daemon de caché de pesos para SGLang. 22. agosto 2026. https://new.nat6.net/es/news/cmt3wt4qm13utro6t0hb6ga3y/