Мнения

Проверено на практике: невероятная скорость инференса

Оригинальный заголовок:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...

ИИ-резюме

Команда Kog достигла чрезвычайно высокой скорости инференса для одного пользователя на стандартных GPU центров обработки данных: 3 000 tokens/s на 8× AMD MI300X GPUs и 2 100 tokens/s на 8× NVIDIA H200. По сравнению с обычной скоростью инференса (около 100–300 tokens/s) это ускорение в 10–30 раз. Ключевая идея — рассматривать декодирование LLM как задачу потоковой передачи памяти; за счёт совместного проектирования monokernel, перестроенной синхронизации, целевого отображения доступа к памяти и архитектуры модели Laneformer с отложенным тензорным параллелизмом устранены узкие места традиционного конвейера.

Ключевые моменты

  • Команда Kog достигла чрезвычайно высокой скорости инференса для одного пользователя на стандартных…
  • По сравнению с обычной скоростью инференса (около 100–300 tokens/s) это ускорение в 10–30 раз.
  • Ключевая идея — рассматривать декодирование LLM как задачу потоковой передачи памяти
  • за счёт совместного проектирования monokernel,перестроенной синхронизации,целевого отображения…

Кратко

Опубликовано
Обновлено
Источник
X:Rohan Paul (@rohanpaul_ai)
Категория
Мнения
Оценка ИИ
76
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Проверено на практике: невероятная скорость инференса. 30 мая 2026. https://new.nat6.net/ru/news/cmpr6nk7c0bf4slnok93x9vov/

Смотреть все →