OpenAI : l'apprentissage par renforcement produit des modèles bénéfiques larges et durables
Titre original:Reinforcement learning towards broadly and persistently beneficial models
Résumé IA
OpenAI entraîne des modèles par apprentissage par renforcement dans des scénarios de conversation réels afin qu'ils manifestent des traits bénéfiques tels que l'honnêteté, l'humilité épistémique, la transparence métacognitive, la corrigibilité, l'équité universelle et le souci du bien-être humain. Les données d'entraînement couvrent la santé, l'éducation, la science, le droit, l'ingénierie et d'autres domaines. Après entraînement, les modèles s'améliorent sur des dizaines d'évaluations d'alignement indépendantes (y compris le reward hacking, la tromperie, les conseils nuisibles et le respect des normes), et cette amélioration se généralise à des domaines, tâches et configurations d'évaluation non inclus dans l'entraînement. Face à des invites adversariales ou à un fine-tuning, les modèles restent difficiles à orienter vers des comportements nuisibles, ce qui indique que l'apprentissage par renforcement de traits bénéfiques peut produire une généralisation d'alignement large et durable.
Points clés
- OpenAI entraîne des modèles par apprentissage par renforcement dans des scénarios de conversation…
- Les données d'entraînement couvrent la santé,l'éducation,la science,le droit,l'ingénierie et…
- Après entraînement,les modèles s'améliorent sur des dizaines d'évaluations d'alignement…
- Face à des invites adversariales ou à un fine-tuning,les modèles restent difficiles à orienter…
En bref
- Publié
- Mis à jour
- Source
- OpenAI:Alignment 研究博客(RSS)
- Catégorie
- Articles et recherche
- Score IA
- 64
OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : OpenAI : l'apprentissage par renforcement produit des modèles bénéfiques larges et durables. 19. juin 2026. https://new.nat6.net/fr/news/cmqk1gfya0283slhilhufijtu/