Perplexity открыла исходный код Unigram-токенизатора, снизив нагрузку на CPU
Оригинальный заголовок:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...
ИИ-резюме
Мы открыли исходный код переработанного Unigram-токенизатора, который снижает нагрузку на CPU в 5–6 раз. Небольшие реранкеры и эмбеддинг-модели выполняются на GPU всего за несколько миллисекунд, из-за чего токенизация на CPU становится значительной частью общей задержки. http://github.com/perplexityai/pplx-garden
Ключевые моменты
- Мы открыли исходный код переработанного Unigram-токенизатора,который снижает нагрузку на CPU в 5–6…
- Небольшие реранкеры и эмбеддинг-модели выполняются на GPU всего за несколько миллисекунд
- из-за чего токенизация на CPU становится значительной частью общей задержки.
Кратко
- Опубликовано
- Обновлено
- Источник
- X:Perplexity (@perplexity_ai)
- Категория
- Продукты и приложения
- Оценка ИИ
- 68
Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Perplexity открыла исходный код Unigram-токенизатора, снизив нагрузку на CPU. 27 мая 2026. https://new.nat6.net/ru/news/cmpo929df03ztslv4z9v93608/