Ant Group et la communauté vLLM publient en open source la bibliothèque de noyaux d'inférence quantifiée Humming
Titre original:Announcing Humming: Fast, Flexible Kernels for Quantized Inference
Résumé IA
Ant Group et la communauté vLLM publient en open source Humming, une bibliothèque universelle de noyaux d'inférence quantifiée hautes performances, disponible sur github.com/vllm-project/humming.
Points clés
- Ant Group et la communauté vLLM publient en open source Humming,une bibliothèque universelle de…
- disponible sur github.
- com/vllm-project/humming.
En bref
- Publié
- Mis à jour
- Source
- vLLM 官方博客(RSS)
- Catégorie
- Produits et applications
- Score IA
- 67
原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字,读者可以据此评估不同 GPU 上的量化推理方案选择。
Sujets
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Ant Group et la communauté vLLM publient en open source la bibliothèque de noyaux d'inférence quantifiée Humming. 21. octobre 2026. https://new.nat6.net/fr/news/afv7us0zbvzo789rghqkfhq5q/