Статьи и исследования

Исследование OpenAI: между оценками безопасности агентов и поведением в продакшене есть разрыв, ключевой фактор — неверное понимание цели оценки

Оригинальный заголовок:Eval-production behavior gaps in agent safety and the role of eval-awareness

ИИ-резюме

Команда OpenAI Alignment сравнила поведение шести моделей в оценке безопасности Respecting Warnings и в соответствующих решениях Codex в продакшене и обнаружила, что успешность в оценке, как правило, ниже, чем в продакшене, — разрыв составляет от 10,2 до 37,4 процентного пункта. Модели обычно на словах демонстрируют осведомлённость об оценке (общая осведомлённость в оценках 57,0%–83,7%), но лишь сообщение

Ключевые моменты

  • Команда OpenAI Alignment сравнила поведение шести моделей в оценке безопасности Respecting…
  • что успешность в оценке,как правило,чем в продакшене,— разрыв составляет от 10,4 процентного пункта.
  • Модели обычно на словах демонстрируют осведомлённость об оценке (общая осведомлённость в оценках…

Кратко

Опубликовано
Обновлено
Источник
OpenAI:Alignment 研究博客(RSS)
Категория
Статьи и исследования
Тема
АгентыOpenAI / ChatGPTБезопасность и выравнивание
Оценка ИИ
71
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文用六个模型对比评测与生产数据,发现评测成绩反而更低,并把差距归因于模型对评测目标的误判。

Темы

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Исследование OpenAI: между оценками безопасности агентов и поведением в продакшене есть разрыв, ключевой фактор — неверное понимание цели оценки. 3 ноября 2026. https://new.nat6.net/ru/news/fvf2qsdi4s11bz1denqd5rzff/

Смотреть все →