Проверено на практике: невероятная скорость инференса
Оригинальный заголовок:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...
ИИ-резюме
Команда Kog достигла чрезвычайно высокой скорости инференса для одного пользователя на стандартных GPU центров обработки данных: 3 000 tokens/s на 8× AMD MI300X GPUs и 2 100 tokens/s на 8× NVIDIA H200. По сравнению с обычной скоростью инференса (около 100–300 tokens/s) это ускорение в 10–30 раз. Ключевая идея — рассматривать декодирование LLM как задачу потоковой передачи памяти; за счёт совместного проектирования monokernel, перестроенной синхронизации, целевого отображения доступа к памяти и архитектуры модели Laneformer с отложенным тензорным параллелизмом устранены узкие места традиционного конвейера.
Ключевые моменты
- Команда Kog достигла чрезвычайно высокой скорости инференса для одного пользователя на стандартных…
- По сравнению с обычной скоростью инференса (около 100–300 tokens/s) это ускорение в 10–30 раз.
- Ключевая идея — рассматривать декодирование LLM как задачу потоковой передачи памяти
- за счёт совместного проектирования monokernel,перестроенной синхронизации,целевого отображения…
Кратко
- Опубликовано
- Обновлено
- Источник
- X:Rohan Paul (@rohanpaul_ai)
- Категория
- Мнения
- Оценка ИИ
- 76
Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Проверено на практике: невероятная скорость инференса. 30 мая 2026. https://new.nat6.net/ru/news/cmpr6nk7c0bf4slnok93x9vov/