Продукты и приложения

Perplexity открыла исходный код Unigram-токенизатора, снизив нагрузку на CPU

Оригинальный заголовок:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...

ИИ-резюме

Мы открыли исходный код переработанного Unigram-токенизатора, который снижает нагрузку на CPU в 5–6 раз. Небольшие реранкеры и эмбеддинг-модели выполняются на GPU всего за несколько миллисекунд, из-за чего токенизация на CPU становится значительной частью общей задержки. http://github.com/perplexityai/pplx-garden

Ключевые моменты

  • Мы открыли исходный код переработанного Unigram-токенизатора,который снижает нагрузку на CPU в 5–6…
  • Небольшие реранкеры и эмбеддинг-модели выполняются на GPU всего за несколько миллисекунд
  • из-за чего токенизация на CPU становится значительной частью общей задержки.

Кратко

Опубликовано
Обновлено
Источник
X:Perplexity (@perplexity_ai)
Категория
Продукты и приложения
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Perplexity открыла исходный код Unigram-токенизатора, снизив нагрузку на CPU. 27 мая 2026. https://new.nat6.net/ru/news/cmpo929df03ztslv4z9v93608/

Смотреть все →