Ant Group Bailing lance un démon de cache de poids pour SGLang
Titre original:Today, we’re introducing the Weight Cache Daemon for SGLang. 🚀 On Ling-2.6-1T FP8, it reduced weigh...
Résumé IA
Aujourd'hui, nous lançons Weight Cache Daemon pour SGLang. 🚀 Sur Ling-2.6-1T FP8, il réduit le temps de chargement des poids à environ 0,63 seconde, soit environ 780 fois plus rapide que le chargement depuis le disque, et ramène le temps de démarrage total du moteur de 8,8 minutes à environ 0,53 minute. Voici comment il fonctionne.
Points clés
- Aujourd'hui,nous lançons Weight Cache Daemon pour SGLang.
- 🚀 Sur Ling-2.
- 6-1T FP8,il réduit le temps de chargement des poids à environ 0,63 seconde,soit environ 780 fois…
- Voici comment il fonctionne.
En bref
- Publié
- Mis à jour
- Source
- X:蚂蚁百灵 (@AntLingAGI)
- Catégorie
- Produits et applications
- Score IA
- 53
把权重加载从磁盘瓶颈改为缓存复用,对需要频繁扩缩容或重启推理服务的团队,启动耗时从分钟级降到秒级可能改变运维节奏。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Ant Group Bailing lance un démon de cache de poids pour SGLang. 22. août 2026. https://new.nat6.net/fr/news/cmt3wt4qm13utro6t0hb6ga3y/