Ant Ling melancarkan daemon cache pemberat untuk SGLang
Tajuk asal:Today, we’re introducing the Weight Cache Daemon for SGLang. 🚀 On Ling-2.6-1T FP8, it reduced weigh...
Ringkasan AI
Hari ini, kami melancarkan Weight Cache Daemon untuk SGLang. 🚀 Pada Ling-2.6-1T FP8, ia memendekkan masa pemuatan pemberat kepada kira-kira 0.63 saat, kira-kira 780 kali lebih pantas daripada pemuatan cakera, dan memendekkan jumlah masa permulaan enjin daripada 8.8 minit kepada kira-kira 0.53 minit. Berikut ialah cara ia berfungsi.
Maklumat penting
- Hari ini,kami melancarkan Weight Cache Daemon untuk SGLang.
- 🚀 Pada Ling-2.
- 6-1T FP8,ia memendekkan masa pemuatan pemberat kepada kira-kira 0.
- 63 saat,kira-kira 780 kali lebih pantas daripada pemuatan cakera,dan memendekkan jumlah masa…
- 8 minit kepada kira-kira 0.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- X:蚂蚁百灵 (@AntLingAGI)
- Kategori
- Produk & Aplikasi
- Skor AI
- 53
把权重加载从磁盘瓶颈改为缓存复用,对需要频繁扩缩容或重启推理服务的团队,启动耗时从分钟级降到秒级可能改变运维节奏。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Ant Ling melancarkan daemon cache pemberat untuk SGLang. 22 Ogos 2026. https://new.nat6.net/ms/news/cmt3wt4qm13utro6t0hb6ga3y/