Articles et recherche

RVPO : un alignement sensible au risque fondé sur la régularisation par la variance

Titre original:RVPO: Risk-Sensitive Alignment via Variance Regularization

Résumé IA

Les méthodes RLHF existantes sans commentateur agrègent plusieurs récompenses d'objectifs par moyenne arithmétique, ce qui favorise la négligence des contraintes : le score élevé d'un objectif unique peut masquer l'échec grave d'autres objectifs essentiels (sécurité ou format, par exemple), dissimulant ainsi les récompenses à faible performance qui constituent des goulots d'étranglement pour un alignement fiable. Cette étude propose Reward Variance Policy Optimization (RVPO), un cadre sensible au risque qui pénalise la variance entre récompenses lors de l'agrégation des avantages, faisant passer l'objectif d'optimisation de « maximiser la somme » à « maximiser la cohérence ». L'analyse montre que RVPO identifie et renforce efficacement la contribution des récompenses goulots d'étranglement, parvenant à une optimisation de politique plus équilibrée dans les tâches d'alignement multi-objectifs telles que la sécurité et le respect du format.

Points clés

  • Les méthodes RLHF existantes sans commentateur agrègent plusieurs récompenses d'objectifs par…
  • Cette étude propose Reward Variance Policy Optimization (RVPO),un cadre sensible au risque qui…
  • L'analyse montre que RVPO identifie et renforce efficacement la contribution des récompenses…

En bref

Publié
Mis à jour
Source
Apple Machine Learning Research(RSS)
Catégorie
Articles et recherche
Score IA
68
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

当多数RLHF在‘求总分’,这篇Apple论文告诉你得分方差也致命,做安全对齐的人会看到新的损失函数怎么把一致性也纳入训练目标。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : RVPO : un alignement sensible au risque fondé sur la régularisation par la variance. 8. mai 2026. https://new.nat6.net/fr/news/cmox787mj007fslfoi53rqpks/

Tout voir →