Papers & Forschung

Xiaohongshu stellt neue LLM-Architektur PIPO vor

Originaltitel:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」

KI-Zusammenfassung

Xiaohongshu hat die PIPO-Architektur vorgestellt: Ein eingangsseitiger Kompressor faltet zwei Token zu einem Latent, während ein ausgangsseitiger MTP-Head die Hidden States zu zusätzlichen Token entfaltet. Dadurch halbiert sich die Eingabelänge, und die Ausgabe pro Schritt verdoppelt sich. Auf Basis des Qwen3.5-4B/9B-Backbones ergibt sich auf Benchmarks wie AIME 2025 ein Plus von bis zu 7,15 pass@4. In Deployment-Tests beschleunigt sich TTFT um etwa 1,23× und TPOT um etwa 1,86×. Das Training erfolgt zweistufig mit SFT und On-Policy Distillation und destilliert die Verifier-Prüffähigkeit in einen leichten Confidence-Head.

Kernpunkte

  • Xiaohongshu hat die PIPO-Architektur vorgestellt: Ein eingangsseitiger Kompressor faltet zwei…
  • Dadurch halbiert sich die Eingabelänge,und die Ausgabe pro Schritt verdoppelt sich.
  • Auf Basis des Qwen3.
  • 5-4B/9B-Backbones ergibt sich auf Benchmarks wie AIME 2025 ein Plus von bis zu 7,15 pass@4.
  • In Deployment-Tests beschleunigt sich TTFT um etwa 1,23× und TPOT um etwa 1,86×.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:小红书技术(dots.llm)
Kategorie
Papers & Forschung
KI-Bewertung
70
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Xiaohongshu stellt neue LLM-Architektur PIPO vor. 10. Juli 2026. https://new.nat6.net/de/news/cmrerlfrs0046ihm87smc2el4/

Alle ansehen →