Perplexity veröffentlicht Unigram-Tokenizer als Open Source und senkt CPU-Last
Originaltitel:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...
KI-Zusammenfassung
Wir haben einen neu aufgebauten Unigram-Tokenizer als Open Source veröffentlicht, der die CPU-Last um das 5- bis 6-Fache senkt. Kleine Reranker und Embedding-Modelle laufen auf der GPU nur wenige Millisekunden, wodurch die CPU-Tokenisierung einen erheblichen Teil der Gesamtlatenz ausmacht. http://github.com/perplexityai/pplx-garden
Kernpunkte
- Wir haben einen neu aufgebauten Unigram-Tokenizer als Open Source veröffentlicht,der die CPU-Last…
- Kleine Reranker und Embedding-Modelle laufen auf der GPU nur wenige Millisekunden
- wodurch die CPU-Tokenisierung einen erheblichen Teil der Gesamtlatenz ausmacht.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 68
Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Perplexity veröffentlicht Unigram-Tokenizer als Open Source und senkt CPU-Last. 27. Mai 2026. https://new.nat6.net/de/news/cmpo929df03ztslv4z9v93608/