METR выпустил RE-Bench: сравнение возможностей AI R&D языковых агентов и экспертов-людей
Оригинальный заголовок:Evaluating frontier AI R&D capabilities of language model agents against human experts
ИИ-резюме
METR выпустил бенчмарк RE-Bench, измеряющий результаты экспертов-людей и агентов на передовых моделях в 7 средах ML-исследований, и опубликовал все транскрипты 71 попытки экспертов, а также запусков Claude 3.5 Sonnet и o1-preview.
Ключевые моменты
- METR выпустил бенчмарк RE-Bench,измеряющий результаты экспертов-людей и агентов на передовых…
- и опубликовал все транскрипты 71 попытки экспертов,а также запусков Claude 3.
- 5 Sonnet и o1-preview.
Кратко
- Опубликовано
- Обновлено
- Источник
- METR:Research(网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 62
原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: METR выпустил RE-Bench: сравнение возможностей AI R&D языковых агентов и экспертов-людей. 22 ноября 2024. https://new.nat6.net/ru/news/cmtyo7nb703vkrog0y9c82c3h/