Статьи и исследования

RVPO: риск-чувствительное выравнивание на основе регуляризации дисперсии

Оригинальный заголовок:RVPO: Risk-Sensitive Alignment via Variance Regularization

ИИ-резюме

Существующие методы RLHF без критика агрегируют многокритериальные награды через арифметическое среднее, что легко приводит к игнорированию ограничений: высокая оценка по одной цели может маскировать серьёзные провалы по другим ключевым целям (например, безопасности или формату), скрывая тем самым узкие места наград с низкой производительностью, влияющие на надёжное выравнивание. В этом исследовании предлагается оптимизация стратегии по дисперсии наград (RVPO) — риск-чувствительная структура, которая при агрегировании преимуществ штрафует дисперсию между наградами, переводя цель оптимизации с «максимизации суммы» на «максимизацию согласованности». Анализ показывает, что RVPO эффективно выявляет и повышает вклад узких мест наград, обеспечивая более сбалансированную оптимизацию стратегии в задачах многокритериального выравнивания, включая безопасность и соблюдение формата.

Ключевые моменты

  • Существующие методы RLHF без критика агрегируют многокритериальные награды через арифметическое…
  • В этом исследовании предлагается оптимизация стратегии по дисперсии наград (RVPO) —…
  • Анализ показывает,что RVPO эффективно выявляет и повышает вклад узких мест наград,обеспечивая…

Кратко

Опубликовано
Обновлено
Источник
Apple Machine Learning Research(RSS)
Категория
Статьи и исследования
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

当多数RLHF在‘求总分’,这篇Apple论文告诉你得分方差也致命,做安全对齐的人会看到新的损失函数怎么把一致性也纳入训练目标。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: RVPO: риск-чувствительное выравнивание на основе регуляризации дисперсии. 8 мая 2026. https://new.nat6.net/ru/news/cmox787mj007fslfoi53rqpks/

Смотреть все →