Open source ng Perplexity ang Unigram tokenizer, binabawasan ang CPU usage
Orihinal na pamagat:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...
AI summary
Nag-open source kami ng muling ginawang Unigram tokenizer, na makakabawas ng CPU usage ng 5-6 beses. Ang maliliit na reranker at embedding model ay tumatakbo sa GPU sa loob lamang ng ilang millisecond, kaya ang CPU tokenization ay naging mahalagang bahagi ng kabuuang latency. http://github.com/perplexityai/pplx-garden
Mahahalagang impormasyon
- Nag-open source kami ng muling ginawang Unigram tokenizer,na makakabawas ng CPU usage ng 5-6 beses.
- Ang maliliit na reranker at embedding model ay tumatakbo sa GPU sa loob lamang ng ilang millisecond
- kaya ang CPU tokenization ay naging mahalagang bahagi ng kabuuang latency.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- X:Perplexity (@perplexity_ai)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 68
Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Open source ng Perplexity ang Unigram tokenizer, binabawasan ang CPU usage. 27 Mayo 2026. https://new.nat6.net/fil/news/cmpo929df03ztslv4z9v93608/