KPop: resolver con divergencia KL binaria simétrica la inconsistencia entre entrenamiento e inferencia en el aprendizaje por refuerzo de grandes modelos
Título original:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题
Resumen de IA
El equipo de Ant Bailing propone el método KPop para hacer frente al colapso del entrenamiento causado por la inconsistencia entre las distribuciones de probabilidad de los motores de entrenamiento y de inferencia en el aprendizaje por refuerzo de grandes modelos. KPop sustituye el umbral de ratio fijo de IcePop por una divergencia KL binaria simétrica, requiere solo un hiperparámetro y es adaptativamente tolerante con los tokens raros y estricto con los tokens frecuentes. En Ring-flash-2.0 (100B de parámetros totales) sostiene más de 800 pasos de entrenamiento RL estable, y SWE-bench Verified pasa del 70,8% al 76,28%.
Puntos clave
- El equipo de Ant Bailing propone el método KPop para hacer frente al colapso del entrenamiento…
- KPop sustituye el umbral de ratio fijo de IcePop por una divergencia KL binaria simétrica,requiere…
- En Ring-flash-2.
- 0 (100B de parámetros totales) sostiene más de 800 pasos de entrenamiento RL estable,y SWE-bench…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:蚂蚁百灵(Ling)
- Categoría
- Artículos e investigación
- Puntuación IA
- 68
解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: KPop: resolver con divergencia KL binaria simétrica la inconsistencia entre entrenamiento e inferencia en el aprendizaje por refuerzo de grandes modelos. 2. junio 2026. https://new.nat6.net/es/news/cmsdu2qga010irofz1h15420q/