Мнения

Trail of Bits раскритиковала бенчмарк ИИ-патчей 1Password как вводящий в заблуждение и выпустила два патча для проверки навыков агентов

Оригинальный заголовок:1Password's AI patching benchmark is misleading

ИИ-резюме

Trail of Bits раскритиковала опубликованный 6 августа отчёт FLAWED от 1Password, заявив, что показатель 26% чистых исправлений ИИ искажён четырьмя особенностями дизайна эксперимента: 22% данных составляют промпты, намеренно указывающие агенту применить неверное исправление; 36% испытаний запрещают компиляцию и тесты; также различались уровни рассуждений.

Ключевые моменты

  • Trail of Bits раскритиковала опубликованный 6 августа отчёт FLAWED от 1Password,заявив,что…
  • 36% испытаний запрещают компиляцию и тесты
  • также различались уровни рассуждений.

Кратко

Опубликовано
Обновлено
Источник
Trail of Bits:AI安全研究
Категория
Мнения
Оценка ИИ
61
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文针对1Password基准的26%头条数字给出逐项方法学批评,并补充自身人类修复失败率与开源合并数据作对照。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Trail of Bits раскритиковала бенчмарк ИИ-патчей 1Password как вводящий в заблуждение и выпустила два патча для проверки навыков агентов. 15 сентября 2026. https://new.nat6.net/ru/news/cmu2lqodj08k0rovqocv9r3z3/

Смотреть все →