Produk & Aplikasi

Perplexity sumber terbuka tokenizer Unigram kurangkan penggunaan CPU

Tajuk asal:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...

Ringkasan AI

Kami telah sumber terbuka tokenizer Unigram yang dibina semula, yang dapat mengurangkan penggunaan CPU sebanyak 5-6 kali ganda. Model penyusun semula dan pembenaman kecil hanya mengambil masa beberapa milisaat pada GPU, menjadikan tokenisasi CPU komponen penting dalam jumlah kependaman. http://github.com/perplexityai/pplx-garden

Maklumat penting

  • Kami telah sumber terbuka tokenizer Unigram yang dibina semula,yang dapat mengurangkan penggunaan…
  • Model penyusun semula dan pembenaman kecil hanya mengambil masa beberapa milisaat pada GPU
  • menjadikan tokenisasi CPU komponen penting dalam jumlah kependaman.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
X:Perplexity (@perplexity_ai)
Kategori
Produk & Aplikasi
Skor AI
68
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Perplexity sumber terbuka tokenizer Unigram kurangkan penggunaan CPU. 27 Mei 2026. https://new.nat6.net/ms/news/cmpo929df03ztslv4z9v93608/

Lihat Semua →