Trail of Bits раскритиковала бенчмарк ИИ-патчей 1Password как вводящий в заблуждение и выпустила два патча для проверки навыков агентов
Оригинальный заголовок:1Password's AI patching benchmark is misleading
ИИ-резюме
Trail of Bits раскритиковала опубликованный 6 августа отчёт FLAWED от 1Password, заявив, что показатель 26% чистых исправлений ИИ искажён четырьмя особенностями дизайна эксперимента: 22% данных составляют промпты, намеренно указывающие агенту применить неверное исправление; 36% испытаний запрещают компиляцию и тесты; также различались уровни рассуждений.
Ключевые моменты
- Trail of Bits раскритиковала опубликованный 6 августа отчёт FLAWED от 1Password,заявив,что…
- 36% испытаний запрещают компиляцию и тесты
- также различались уровни рассуждений.
Кратко
- Опубликовано
- Обновлено
- Источник
- Trail of Bits:AI安全研究
- Категория
- Мнения
- Оценка ИИ
- 61
原文针对1Password基准的26%头条数字给出逐项方法学批评,并补充自身人类修复失败率与开源合并数据作对照。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Trail of Bits раскритиковала бенчмарк ИИ-патчей 1Password как вводящий в заблуждение и выпустила два патча для проверки навыков агентов. 15 сентября 2026. https://new.nat6.net/ru/news/cmu2lqodj08k0rovqocv9r3z3/