KPop : résoudre l'incohérence entraînement-inférence du RL des grands modèles par une divergence KL binaire symétrique
Titre original:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题
Résumé IA
L'équipe Ant Ling propose la méthode KPop pour faire face aux effondrements d'entraînement causés par l'incohérence des distributions de probabilité entre les moteurs d'entraînement et d'inférence dans le RL des grands modèles. KPop remplace le seuil de ratio fixe d'IcePop par une divergence KL binaire symétrique, ne nécessitant qu'un seul hyperparamètre, avec une tolérance adaptative pour les tokens rares et une contrainte stricte pour les tokens fréquents. Sur Ring-flash-2.0 (100B de paramètres au total), elle soutient plus de 800 étapes d'entraînement RL stable, faisant passer SWE-bench Verified de 70,8 % à 76,28 %.
Points clés
- L'équipe Ant Ling propose la méthode KPop pour faire face aux effondrements d'entraînement causés…
- KPop remplace le seuil de ratio fixe d'IcePop par une divergence KL binaire symétrique,ne…
- Sur Ring-flash-2.
- 0 (100B de paramètres au total),elle soutient plus de 800 étapes d'entraînement RL stable,faisant…
En bref
- Publié
- Mis à jour
- Source
- 公众号:蚂蚁百灵(Ling)
- Catégorie
- Articles et recherche
- Score IA
- 68
解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : KPop : résoudre l'incohérence entraînement-inférence du RL des grands modèles par une divergence KL binaire symétrique. 2. juin 2026. https://new.nat6.net/fr/news/cmsdu2qga010irofz1h15420q/