inclusionAI выпустила высокопроизводительную библиотеку ядер GEMM для квантованного вывода Humming
Оригинальный заголовок:inclusionAI/humming
ИИ-резюме
inclusionAI открыла исходный код Humming — высокопроизводительной лёгкой библиотеки GEMM-ядер с JIT-компиляцией, предназначенной для квантованного вывода. Она поддерживает вывод с произвольными типами весов ниже 8 бит при различных типах активаций, включая FP16, BF16 и FP8, совместима с множеством стратегий квантования и типов масштабирования, а также поддерживает как плотные GEMM, так и GEMM для смеси экспертов. Библиотека совместима со всеми GPU NVIDIA от SM75 и выше и обеспечивает ведущую в отрасли пропускную способность и эффективность в различных вычислительных сценариях. Её зависимости минимальны — требуются только PyTorch и NVCC, а размер пакета составляет всего около 100 КБ, что удобно для сверхлёгкого развёртывания.
Ключевые моменты
- inclusionAI открыла исходный код Humming — высокопроизводительной лёгкой библиотеки GEMM-ядер с…
- Она поддерживает вывод с произвольными типами весов ниже 8 бит при различных типах…
- Библиотека совместима со всеми GPU NVIDIA от SM75 и выше и обеспечивает ведущую в отрасли…
- Её зависимости минимальны — требуются только PyTorch и NVCC,а размер пакета составляет всего около…
Кратко
- Опубликовано
- Обновлено
- Источник
- 蚂蚁 inclusionAI:GitHub 新仓库
- Категория
- Продукты и приложения
- Оценка ИИ
- 61
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: inclusionAI выпустила высокопроизводительную библиотеку ядер GEMM для квантованного вывода Humming. 11 февраля 2026. https://new.nat6.net/ru/news/cmorb7ik3006oslhfmf6g1irj/