inclusionAI lanza Humming, una biblioteca de kernels GEMM de alto rendimiento para inferencia cuantizada
Título original:inclusionAI/humming
Resumen de IA
inclusionAI ha abierto el código de Humming, una biblioteca de kernels GEMM de compilación justo a tiempo, ligera y de alto rendimiento, diseñada para inferencia cuantizada. Admite inferencia con tipos de peso arbitrarios por debajo de 8 bits en tipos de datos de activación como FP16, BF16 y FP8, es compatible con diversas estrategias de cuantización y tipos de escalado, y soporta operaciones GEMM densas y GEMM de mezcla de expertos. La biblioteca es compatible con todas las GPU NVIDIA SM75 o superiores y ofrece un rendimiento y una eficiencia líderes del sector en diversos escenarios de cálculo. Sus dependencias son mínimas, solo PyTorch y NVCC, y el paquete ocupa solo unos 100 KB, lo que facilita un despliegue ultraligero.
Puntos clave
- inclusionAI ha abierto el código de Humming,una biblioteca de kernels GEMM de compilación justo a…
- Admite inferencia con tipos de peso arbitrarios por debajo de 8 bits en tipos de datos de…
- La biblioteca es compatible con todas las GPU NVIDIA SM75 o superiores y ofrece un rendimiento y…
- Sus dependencias son mínimas,solo PyTorch y NVCC,y el paquete ocupa solo unos 100 KB,lo que…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 蚂蚁 inclusionAI:GitHub 新仓库
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 61
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: inclusionAI lanza Humming, una biblioteca de kernels GEMM de alto rendimiento para inferencia cuantizada. 11. febrero 2026. https://new.nat6.net/es/news/cmorb7ik3006oslhfmf6g1irj/