Продукты и приложения

inclusionAI выпустила высокопроизводительную библиотеку ядер GEMM для квантованного вывода Humming

Оригинальный заголовок:inclusionAI/humming

ИИ-резюме

inclusionAI открыла исходный код Humming — высокопроизводительной лёгкой библиотеки GEMM-ядер с JIT-компиляцией, предназначенной для квантованного вывода. Она поддерживает вывод с произвольными типами весов ниже 8 бит при различных типах активаций, включая FP16, BF16 и FP8, совместима с множеством стратегий квантования и типов масштабирования, а также поддерживает как плотные GEMM, так и GEMM для смеси экспертов. Библиотека совместима со всеми GPU NVIDIA от SM75 и выше и обеспечивает ведущую в отрасли пропускную способность и эффективность в различных вычислительных сценариях. Её зависимости минимальны — требуются только PyTorch и NVCC, а размер пакета составляет всего около 100 КБ, что удобно для сверхлёгкого развёртывания.

Ключевые моменты

  • inclusionAI открыла исходный код Humming — высокопроизводительной лёгкой библиотеки GEMM-ядер с…
  • Она поддерживает вывод с произвольными типами весов ниже 8 бит при различных типах…
  • Библиотека совместима со всеми GPU NVIDIA от SM75 и выше и обеспечивает ведущую в отрасли…
  • Её зависимости минимальны — требуются только PyTorch и NVCC,а размер пакета составляет всего около…

Кратко

Опубликовано
Обновлено
Источник
蚂蚁 inclusionAI:GitHub 新仓库
Категория
Продукты и приложения
Оценка ИИ
61
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: inclusionAI выпустила высокопроизводительную библиотеку ядер GEMM для квантованного вывода Humming. 11 февраля 2026. https://new.nat6.net/ru/news/cmorb7ik3006oslhfmf6g1irj/

Смотреть все →