Sản phẩm & ứng dụng

Perplexity mã nguồn mở Unigram tokenizer giảm tải CPU

Tiêu đề gốc:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...

Tóm tắt AI

Chúng tôi đã mã nguồn mở Unigram tokenizer được xây dựng lại, giúp giảm tải CPU 5-6 lần. Các mô hình xếp hạng lại nhỏ và mô hình nhúng chạy trên GPU chỉ mất vài mili giây, khiến tokenize trên CPU trở thành phần quan trọng của tổng độ trễ. http://github.com/perplexityai/pplx-garden

Thông tin chính

  • Chúng tôi đã mã nguồn mở Unigram tokenizer được xây dựng lại,giúp giảm tải CPU 5-6 lần.
  • Các mô hình xếp hạng lại nhỏ và mô hình nhúng chạy trên GPU chỉ mất vài mili giây
  • khiến tokenize trên CPU trở thành phần quan trọng của tổng độ trễ.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
X:Perplexity (@perplexity_ai)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
68
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Perplexity mã nguồn mở Unigram tokenizer giảm tải CPU. 27 tháng 5 2026. https://new.nat6.net/vi/news/cmpo929df03ztslv4z9v93608/

Xem tất cả →