Tutoriales y consejos

ARC Prize mide el rendimiento de OpenAI o1 en ARC-AGI-Pub

Título original:OpenAI o1 Results on ARC-AGI-Pub

Resumen de IA

ARC Prize, con un marco de pruebas unificado, midió que o1-preview obtuvo 21.2% en la evaluación pública de ARC-AGI, comparable al 21% de Claude 3.5 Sonnet, pero con un tiempo medio de 4.2 minutos por tarea, unas 10 veces más. El artículo considera que o1 materializó el paradigma de CoT en entrenamiento e inferencia, pasando de memorizar respuestas a memorizar razonamiento, pero sigue limitado a la distribución de los datos de preentrenamiento; aunque aumentar el cómputo en tiempo de prueba puede mejorar la precisión de forma logarítmica, lograr la AGI aún requiere nuevas ideas.

Puntos clave

  • ARC Prize,con un marco de pruebas unificado,midió que o1-preview obtuvo 21.
  • 2% en la evaluación pública de ARC-AGI,comparable al 21% de Claude 3.
  • 5 Sonnet,pero con un tiempo medio de 4.
  • 2 minutos por tarea,unas 10 veces más.
  • El artículo considera que o1 materializó el paradigma de CoT en entrenamiento e inferencia,pasando…

Resumen rápido

Publicado
Actualizado
Fuente
ARC Prize:官方博客
Categoría
Tutoriales y consejos
Puntuación IA
71
Leer el original Leer el artículo completo en la fuente original
Por qué importa

ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: ARC Prize mide el rendimiento de OpenAI o1 en ARC-AGI-Pub. 13. septiembre 2024. https://new.nat6.net/es/news/cmtyo2p2t03glrog0f2a4owcg/

Ver todo →