产品与应用

Perplexity开源Unigram分词器降低CPU占用

原文标题:We're open-sourcing the Unigram tokenizer we rebuilt to reduce CPU utilization by 5-6x. Small reran...

AI 摘要

我们开源了重新构建的Unigram分词器,可将CPU占用降低5-6倍。 小型重排序器和嵌入模型在GPU上运行时间仅为个位数毫秒,使得CPU分词成为总延迟的重要组成部分。 http://github.com/perplexityai/pplx-garden

关键信息

  • 我们开源了重新构建的Unigram分词器,可将CPU占用降低5-6倍。
  • 小型重排序器和嵌入模型在GPU上运行时间仅为个位数毫秒,使得CPU分词成为总延迟的重要组成部分
  • Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化

速览

发布时间
更新时间
来源
X:Perplexity (@perplexity_ai)
分类
产品与应用
AI 评分
68
阅读原文 前往信息源阅读完整正文
推荐理由

Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍,做实时推理的团队值得立马试试,对延迟敏感的场景是实打实的优化。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Perplexity开源Unigram分词器降低CPU占用。2026年5月27日。https://new.nat6.net/news/cmpo929df03ztslv4z9v93608/

查看全部 →
  • Runway 推出 Model Context Protocol 服务器

    Runway 正式推出 Runway MCP 服务器,允许任何兼容 MCP 的 AI 智能体(如 Claude、ChatGPT、Cursor)在对话界面中直接生成图像与视频,无需切换工作流。该服务器接入了 Runway 最新的多款 SOT…

    Runway:News(网页)产品与应用AI 评分 73

  • Claude Code v2.1.152 更新发布

    Claude Code 发布 v2.1.152 版本更新。核心改进包括:`/code-review --fix` 现在会将审查建议直接应用于工作目录;技能与斜杠命令支持通过 frontmatter 的 `disallowed-tools`…

    Claude Code:GitHub Releases(RSS)产品与应用AI 评分 71

  • 在Claude Code中引入动态工作流

    Claude Code 推出“动态工作流”功能,使 Claude 能端到端处理复杂任务。该功能通过动态编写脚本,在单个会话中并行运行数十到数百个子智能体来完成工作,并会在结果呈现前进行验证。它适用于跨代码库的 bug 查找、大规模迁移(如…

    Claude:Blog(网页)产品与应用AI 评分 78