Сяохуншу представила новую архитектуру большой модели PIPO
Оригинальный заголовок:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」
ИИ-резюме
Сяохуншу предложила архитектуру PIPO: компрессор на входе сворачивает два токена в один latent, а MTP head на выходе разворачивает скрытые состояния в дополнительные токены, что позволяет вдвое сократить длину входа и удвоить выход на каждом шаге. На базе Qwen3.5-4B/9B backbone архитектура даёт прирост до +7.15 pass@4 на бенчмарках, включая AIME 2025. В тестах развёртывания TTFT ускоряется примерно в 1.23×, TPOT — примерно в 1.86×. Обучение проходит в два этапа, SFT и On-Policy Distillation, и переносит способность проверки от verifier в лёгкий confidence head.
Ключевые моменты
- Сяохуншу предложила архитектуру PIPO: компрессор на входе сворачивает два токена в один latent,а…
- На базе Qwen3.
- 5-4B/9B backbone архитектура даёт прирост до +7.
- 15 pass@4 на бенчмарках,включая AIME 2025.
- В тестах развёртывания TTFT ускоряется примерно в 1.
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:小红书技术(dots.llm)
- Категория
- Статьи и исследования
- Оценка ИИ
- 70
PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Сяохуншу представила новую архитектуру большой модели PIPO. 10 июля 2026. https://new.nat6.net/ru/news/cmrerlfrs0046ihm87smc2el4/