Articles et recherche

OpenAI : l'apprentissage par renforcement produit des modèles bénéfiques larges et durables

Titre original:Reinforcement learning towards broadly and persistently beneficial models

Résumé IA

OpenAI entraîne des modèles par apprentissage par renforcement dans des scénarios de conversation réels afin qu'ils manifestent des traits bénéfiques tels que l'honnêteté, l'humilité épistémique, la transparence métacognitive, la corrigibilité, l'équité universelle et le souci du bien-être humain. Les données d'entraînement couvrent la santé, l'éducation, la science, le droit, l'ingénierie et d'autres domaines. Après entraînement, les modèles s'améliorent sur des dizaines d'évaluations d'alignement indépendantes (y compris le reward hacking, la tromperie, les conseils nuisibles et le respect des normes), et cette amélioration se généralise à des domaines, tâches et configurations d'évaluation non inclus dans l'entraînement. Face à des invites adversariales ou à un fine-tuning, les modèles restent difficiles à orienter vers des comportements nuisibles, ce qui indique que l'apprentissage par renforcement de traits bénéfiques peut produire une généralisation d'alignement large et durable.

Points clés

  • OpenAI entraîne des modèles par apprentissage par renforcement dans des scénarios de conversation…
  • Les données d'entraînement couvrent la santé,l'éducation,la science,le droit,l'ingénierie et…
  • Après entraînement,les modèles s'améliorent sur des dizaines d'évaluations d'alignement…
  • Face à des invites adversariales ou à un fine-tuning,les modèles restent difficiles à orienter…

En bref

Publié
Mis à jour
Source
OpenAI:Alignment 研究博客(RSS)
Catégorie
Articles et recherche
Score IA
64
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : OpenAI : l'apprentissage par renforcement produit des modèles bénéfiques larges et durables. 19. juin 2026. https://new.nat6.net/fr/news/cmqk1gfya0283slhilhufijtu/

Tout voir →