Productos y aplicaciones

inclusionAI lanza Humming, una biblioteca de kernels GEMM de alto rendimiento para inferencia cuantizada

Título original:inclusionAI/humming

Resumen de IA

inclusionAI ha abierto el código de Humming, una biblioteca de kernels GEMM de compilación justo a tiempo, ligera y de alto rendimiento, diseñada para inferencia cuantizada. Admite inferencia con tipos de peso arbitrarios por debajo de 8 bits en tipos de datos de activación como FP16, BF16 y FP8, es compatible con diversas estrategias de cuantización y tipos de escalado, y soporta operaciones GEMM densas y GEMM de mezcla de expertos. La biblioteca es compatible con todas las GPU NVIDIA SM75 o superiores y ofrece un rendimiento y una eficiencia líderes del sector en diversos escenarios de cálculo. Sus dependencias son mínimas, solo PyTorch y NVCC, y el paquete ocupa solo unos 100 KB, lo que facilita un despliegue ultraligero.

Puntos clave

  • inclusionAI ha abierto el código de Humming,una biblioteca de kernels GEMM de compilación justo a…
  • Admite inferencia con tipos de peso arbitrarios por debajo de 8 bits en tipos de datos de…
  • La biblioteca es compatible con todas las GPU NVIDIA SM75 o superiores y ofrece un rendimiento y…
  • Sus dependencias son mínimas,solo PyTorch y NVCC,y el paquete ocupa solo unos 100 KB,lo que…

Resumen rápido

Publicado
Actualizado
Fuente
蚂蚁 inclusionAI:GitHub 新仓库
Categoría
Productos y aplicaciones
Puntuación IA
61
Leer el original Leer el artículo completo en la fuente original
Por qué importa

蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: inclusionAI lanza Humming, una biblioteca de kernels GEMM de alto rendimiento para inferencia cuantizada. 11. febrero 2026. https://new.nat6.net/es/news/cmorb7ik3006oslhfmf6g1irj/

Ver todo →