Articles et recherche

KPop : résoudre l'incohérence entraînement-inférence du RL des grands modèles par une divergence KL binaire symétrique

Titre original:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题

Résumé IA

L'équipe Ant Ling propose la méthode KPop pour faire face aux effondrements d'entraînement causés par l'incohérence des distributions de probabilité entre les moteurs d'entraînement et d'inférence dans le RL des grands modèles. KPop remplace le seuil de ratio fixe d'IcePop par une divergence KL binaire symétrique, ne nécessitant qu'un seul hyperparamètre, avec une tolérance adaptative pour les tokens rares et une contrainte stricte pour les tokens fréquents. Sur Ring-flash-2.0 (100B de paramètres au total), elle soutient plus de 800 étapes d'entraînement RL stable, faisant passer SWE-bench Verified de 70,8 % à 76,28 %.

Points clés

  • L'équipe Ant Ling propose la méthode KPop pour faire face aux effondrements d'entraînement causés…
  • KPop remplace le seuil de ratio fixe d'IcePop par une divergence KL binaire symétrique,ne…
  • Sur Ring-flash-2.
  • 0 (100B de paramètres au total),elle soutient plus de 800 étapes d'entraînement RL stable,faisant…

En bref

Publié
Mis à jour
Source
公众号:蚂蚁百灵(Ling)
Catégorie
Articles et recherche
Score IA
68
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : KPop : résoudre l'incohérence entraînement-inférence du RL des grands modèles par une divergence KL binaire symétrique. 2. juin 2026. https://new.nat6.net/fr/news/cmsdu2qga010irofz1h15420q/

Tout voir →