논문 및 연구

KPop: 대칭 이원 KL 발산으로 대규모 모델 강화학습의 훈련-추론 불일치 해결

원제목:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题

AI 요약

앤트百灵 팀이 KPop 방법을 제안해 대규모 모델 강화학습에서 훈련과 추론 엔진의 확률 분포 불일치로 인한 훈련 붕괴에 대응했다. KPop은 IcePop의 고정 비율 임계값을 대칭 이원 KL 발산으로 대체해 초파라미터 하나만 필요로 하며, 희귀 token에는 적응적으로 관대하고 고빈도 token에는 엄격하게 제약한다. Ring-flash-2.0(총 100B)에서 800+ 스텝의 안정적인 RL 훈련을 지원했고, SWE-bench Verified는 70.8%에서 76.28%로 향상됐다.

핵심 정보

  • 앤트百灵 팀이 KPop 방법을 제안해 대규모 모델 강화학습에서 훈련과 추론 엔진의 확률 분포 불일치로 인한 훈련 붕괴에 대응했다.
  • KPop은 IcePop의 고정 비율 임계값을 대칭 이원 KL 발산으로 대체해 초파라미터 하나만 필요로 하며,희귀 token에는 적응적으로 관대하고 고빈도 token에는 엄격하게…
  • Ring-flash-2.
  • 0(총 100B)에서 800+ 스텝의 안정적인 RL 훈련을 지원했고,SWE-bench Verified는 70.
  • 28%로 향상됐다.

한눈에 보기

게시
업데이트
출처
公众号:蚂蚁百灵(Ling)
카테고리
논문 및 연구
AI 점수
68
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: KPop: 대칭 이원 KL 발산으로 대규모 모델 강화학습의 훈련-추론 불일치 해결. 2026년 6월 2일. https://new.nat6.net/ko/news/cmsdu2qga010irofz1h15420q/

전체 보기 →