SGLang lance le Low-Latency Mode, réduisant la latence d'inférence sur GPU NVIDIA et AMD via un framework de plugins
Titre original:SGLang Low-Latency Mode: Kernels and Runtime
Résumé IA
L'équipe SGLang présente le Low-Latency Mode, qui introduit des noyaux dédiés via un framework de plugins et réduit significativement la latence d'inférence sur les GPU NVIDIA GB300 et AMD MI355X.
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Produits et applications
- Score IA
- 60
原文给出 SGLang 低延迟模式的具体内核优化路径和 NVIDIA、AMD 两套实测数字,可帮助读者评估低并发推理场景的收益。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : SGLang lance le Low-Latency Mode, réduisant la latence d'inférence sur GPU NVIDIA et AMD via un framework de plugins. 18. octobre 2026. https://new.nat6.net/fr/news/a1dez7azk8nkmj0mgeb9pep03/