Статьи и исследования

METR выпустил RE-Bench: сравнение возможностей AI R&D языковых агентов и экспертов-людей

Оригинальный заголовок:Evaluating frontier AI R&D capabilities of language model agents against human experts

ИИ-резюме

METR выпустил бенчмарк RE-Bench, измеряющий результаты экспертов-людей и агентов на передовых моделях в 7 средах ML-исследований, и опубликовал все транскрипты 71 попытки экспертов, а также запусков Claude 3.5 Sonnet и o1-preview.

Ключевые моменты

  • METR выпустил бенчмарк RE-Bench,измеряющий результаты экспертов-людей и агентов на передовых…
  • и опубликовал все транскрипты 71 попытки экспертов,а также запусков Claude 3.
  • 5 Sonnet и o1-preview.

Кратко

Опубликовано
Обновлено
Источник
METR:Research(网页)
Категория
Статьи и исследования
Оценка ИИ
62
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: METR выпустил RE-Bench: сравнение возможностей AI R&D языковых агентов и экспертов-людей. 22 ноября 2024. https://new.nat6.net/ru/news/cmtyo7nb703vkrog0y9c82c3h/

Смотреть все →