Perplexity sumber terbuka tokenizer Unigram kurangkan penggunaan CPU
Tajuk asal:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...
Ringkasan AI
Kami telah sumber terbuka tokenizer Unigram yang dibina semula, yang dapat mengurangkan penggunaan CPU sebanyak 5-6 kali ganda. Model penyusun semula dan pembenaman kecil hanya mengambil masa beberapa milisaat pada GPU, menjadikan tokenisasi CPU komponen penting dalam jumlah kependaman. http://github.com/perplexityai/pplx-garden
Maklumat penting
- Kami telah sumber terbuka tokenizer Unigram yang dibina semula,yang dapat mengurangkan penggunaan…
- Model penyusun semula dan pembenaman kecil hanya mengambil masa beberapa milisaat pada GPU
- menjadikan tokenisasi CPU komponen penting dalam jumlah kependaman.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Produk & Aplikasi
- Skor AI
- 68
Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Perplexity sumber terbuka tokenizer Unigram kurangkan penggunaan CPU. 27 Mei 2026. https://new.nat6.net/ms/news/cmpo929df03ztslv4z9v93608/