Perplexity mã nguồn mở Unigram tokenizer giảm tải CPU
Tiêu đề gốc:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...
Tóm tắt AI
Chúng tôi đã mã nguồn mở Unigram tokenizer được xây dựng lại, giúp giảm tải CPU 5-6 lần. Các mô hình xếp hạng lại nhỏ và mô hình nhúng chạy trên GPU chỉ mất vài mili giây, khiến tokenize trên CPU trở thành phần quan trọng của tổng độ trễ. http://github.com/perplexityai/pplx-garden
Thông tin chính
- Chúng tôi đã mã nguồn mở Unigram tokenizer được xây dựng lại,giúp giảm tải CPU 5-6 lần.
- Các mô hình xếp hạng lại nhỏ và mô hình nhúng chạy trên GPU chỉ mất vài mili giây
- khiến tokenize trên CPU trở thành phần quan trọng của tổng độ trễ.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 68
Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Perplexity mã nguồn mở Unigram tokenizer giảm tải CPU. 27 tháng 5 2026. https://new.nat6.net/vi/news/cmpo929df03ztslv4z9v93608/