Xiaohongshu stellt neue LLM-Architektur PIPO vor
Originaltitel:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」
KI-Zusammenfassung
Xiaohongshu hat die PIPO-Architektur vorgestellt: Ein eingangsseitiger Kompressor faltet zwei Token zu einem Latent, während ein ausgangsseitiger MTP-Head die Hidden States zu zusätzlichen Token entfaltet. Dadurch halbiert sich die Eingabelänge, und die Ausgabe pro Schritt verdoppelt sich. Auf Basis des Qwen3.5-4B/9B-Backbones ergibt sich auf Benchmarks wie AIME 2025 ein Plus von bis zu 7,15 pass@4. In Deployment-Tests beschleunigt sich TTFT um etwa 1,23× und TPOT um etwa 1,86×. Das Training erfolgt zweistufig mit SFT und On-Policy Distillation und destilliert die Verifier-Prüffähigkeit in einen leichten Confidence-Head.
Kernpunkte
- Xiaohongshu hat die PIPO-Architektur vorgestellt: Ein eingangsseitiger Kompressor faltet zwei…
- Dadurch halbiert sich die Eingabelänge,und die Ausgabe pro Schritt verdoppelt sich.
- Auf Basis des Qwen3.
- 5-4B/9B-Backbones ergibt sich auf Benchmarks wie AIME 2025 ein Plus von bis zu 7,15 pass@4.
- In Deployment-Tests beschleunigt sich TTFT um etwa 1,23× und TPOT um etwa 1,86×.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:小红书技术(dots.llm)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 70
PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Xiaohongshu stellt neue LLM-Architektur PIPO vor. 10. Juli 2026. https://new.nat6.net/de/news/cmrerlfrs0046ihm87smc2el4/