Xiaohongshu présente la nouvelle architecture de grand modèle PIPO
Titre original:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」
Résumé IA
Xiaohongshu propose l'architecture PIPO, qui, via un compresseur côté entrée, replie deux tokens en un latent, tandis qu'une tête MTP côté sortie déploie les états cachés en tokens supplémentaires, divisant par deux la longueur d'entrée et doublant la sortie à chaque étape. Basée sur les backbones Qwen3.5-4B/9B, elle apporte jusqu'à +7,15 pass@4 sur des benchmarks comme AIME 2025. Lors des tests de déploiement, le TTFT est accéléré d'environ 1,23× et le TPOT d'environ 1,86×. L'entraînement se fait en deux étapes, SFT puis On-Policy Distillation, en distillant la capacité de vérification du verifier dans une tête de confiance légère.
Points clés
- Xiaohongshu propose l'architecture PIPO,qui,via un compresseur côté entrée,replie deux tokens en…
- Basée sur les backbones Qwen3.
- 5-4B/9B,elle apporte jusqu'à +7,15 pass@4 sur des benchmarks comme AIME 2025.
- Lors des tests de déploiement,le TTFT est accéléré d'environ 1,23× et le TPOT d'environ 1,86×.
- L'entraînement se fait en deux étapes,SFT puis On-Policy Distillation,en distillant la capacité de…
En bref
- Publié
- Mis à jour
- Source
- 公众号:小红书技术(dots.llm)
- Catégorie
- Articles et recherche
- Score IA
- 70
PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Xiaohongshu présente la nouvelle architecture de grand modèle PIPO. 10. juillet 2026. https://new.nat6.net/fr/news/cmrerlfrs0046ihm87smc2el4/