RVPO: риск-чувствительное выравнивание на основе регуляризации дисперсии
Оригинальный заголовок:RVPO: Risk-Sensitive Alignment via Variance Regularization
ИИ-резюме
Существующие методы RLHF без критика агрегируют многокритериальные награды через арифметическое среднее, что легко приводит к игнорированию ограничений: высокая оценка по одной цели может маскировать серьёзные провалы по другим ключевым целям (например, безопасности или формату), скрывая тем самым узкие места наград с низкой производительностью, влияющие на надёжное выравнивание. В этом исследовании предлагается оптимизация стратегии по дисперсии наград (RVPO) — риск-чувствительная структура, которая при агрегировании преимуществ штрафует дисперсию между наградами, переводя цель оптимизации с «максимизации суммы» на «максимизацию согласованности». Анализ показывает, что RVPO эффективно выявляет и повышает вклад узких мест наград, обеспечивая более сбалансированную оптимизацию стратегии в задачах многокритериального выравнивания, включая безопасность и соблюдение формата.
Ключевые моменты
- Существующие методы RLHF без критика агрегируют многокритериальные награды через арифметическое…
- В этом исследовании предлагается оптимизация стратегии по дисперсии наград (RVPO) —…
- Анализ показывает,что RVPO эффективно выявляет и повышает вклад узких мест наград,обеспечивая…
Кратко
- Опубликовано
- Обновлено
- Источник
- Apple Machine Learning Research(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 68
当多数RLHF在‘求总分’,这篇Apple论文告诉你得分方差也致命,做安全对齐的人会看到新的损失函数怎么把一致性也纳入训练目标。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: RVPO: риск-чувствительное выравнивание на основе регуляризации дисперсии. 8 мая 2026. https://new.nat6.net/ru/news/cmox787mj007fslfoi53rqpks/