论文与研究

小红书发布大模型新架构 PIPO

原文标题:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」

AI 摘要

小红书提出 PIPO 架构,通过输入侧压缩器将两个 token 折叠为一个 latent,输出侧 MTP head 将隐藏状态展开为额外 token,实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone,在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中,TTFT 加速约 1.23×,TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段,将 verifier 校验能力蒸馏进轻量 confidence head。

关键信息

  • 小红书提出 PIPO 架构,通过输入侧压缩器将两个 token 折叠为一个 latent,输出侧 MTP head 将隐藏状态展开为额外 token,实现输入长度减半、每步输出翻倍。
  • 基于 Qwen3.
  • 5-4B/9B backbone,在 AIME 2025 等基准上最高带来 +7.
  • 15 pass@4 提升。
  • 部署测评中,TTFT 加速约 1.

速览

发布时间
更新时间
来源
公众号:小红书技术(dots.llm)
分类
论文与研究
AI 评分
70
阅读原文 前往信息源阅读完整正文
推荐理由

PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:小红书发布大模型新架构 PIPO。2026年7月10日。https://new.nat6.net/news/cmrerlfrs0046ihm87smc2el4/

查看全部 →