Xiaohongshu presenta PIPO, una nueva arquitectura de grandes modelos
Título original:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」
Resumen de IA
Xiaohongshu propone la arquitectura PIPO, que mediante un compresor en el lado de entrada pliega dos tokens en un latent y, en el lado de salida, un MTP head expande el estado oculto en tokens adicionales, logrando reducir a la mitad la longitud de entrada y duplicar la salida por paso. Sobre backbones Qwen3.5-4B/9B, aporta mejoras de hasta +7.15 pass@4 en referencias como AIME 2025. En las pruebas de despliegue, el TTFT se acelera aproximadamente 1,23× y el TPOT aproximadamente 1,86×. El entrenamiento emplea dos fases, SFT y On-Policy Distillation, destilando la capacidad de verificación del verificador en un confidence head ligero.
Puntos clave
- Xiaohongshu propone la arquitectura PIPO,que mediante un compresor en el lado de entrada pliega…
- Sobre backbones Qwen3.
- 5-4B/9B,aporta mejoras de hasta +7.
- 15 pass@4 en referencias como AIME 2025.
- En las pruebas de despliegue,el TTFT se acelera aproximadamente 1,23× y el TPOT aproximadamente…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:小红书技术(dots.llm)
- Categoría
- Artículos e investigación
- Puntuación IA
- 70
PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Xiaohongshu presenta PIPO, una nueva arquitectura de grandes modelos. 10. julio 2026. https://new.nat6.net/es/news/cmrerlfrs0046ihm87smc2el4/