Produk & Aplikasi

Perplexity merilis tokenizer Unigram sumber terbuka untuk mengurangi penggunaan CPU

Judul asli:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...

Ringkasan AI

Kami merilis ulang tokenizer Unigram yang telah dibangun ulang, yang dapat mengurangi penggunaan CPU hingga 5-6 kali lipat. Reranker kecil dan model embedding hanya berjalan dalam hitungan milidetik pada GPU, sehingga tokenisasi CPU menjadi komponen penting dari total latensi. http://github.com/perplexityai/pplx-garden

Poin utama

  • Kami merilis ulang tokenizer Unigram yang telah dibangun ulang,yang dapat mengurangi penggunaan…
  • Reranker kecil dan model embedding hanya berjalan dalam hitungan milidetik pada GPU
  • sehingga tokenisasi CPU menjadi komponen penting dari total latensi.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
X:Perplexity (@perplexity_ai)
Kategori
Produk & Aplikasi
Skor AI
68
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Perplexity merilis tokenizer Unigram sumber terbuka untuk mengurangi penggunaan CPU. 27 Mei 2026. https://new.nat6.net/id/news/cmpo929df03ztslv4z9v93608/

Lihat semua →