Artículos e investigación

METR publica RE-Bench: compara la capacidad de I+D en IA de agentes basados en modelos de lenguaje y expertos humanos

Título original:Evaluating frontier AI R&D capabilities of language model agents against human experts

Resumen de IA

METR publica el benchmark RE-Bench, que emplea 7 entornos de ingeniería de investigación en ML para medir el rendimiento de expertos humanos y de agentes basados en modelos de vanguardia, y hace públicas 71 intentos de expertos humanos y todas las transcripciones de ejecución de Claude 3.5 Sonnet y o1-preview.

Puntos clave

  • METR publica el benchmark RE-Bench,que emplea 7 entornos de ingeniería de investigación en ML para…
  • y hace públicas 71 intentos de expertos humanos y todas las transcripciones de ejecución de Claude…
  • 5 Sonnet y o1-preview.

Resumen rápido

Publicado
Actualizado
Fuente
METR:Research(网页)
Categoría
Artículos e investigación
Puntuación IA
62
Leer el original Leer el artículo completo en la fuente original
Por qué importa

原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: METR publica RE-Bench: compara la capacidad de I+D en IA de agentes basados en modelos de lenguaje y expertos humanos. 22. noviembre 2024. https://new.nat6.net/es/news/cmtyo7nb703vkrog0y9c82c3h/

Ver todo →