ARC Prize mide el rendimiento de OpenAI o1 en ARC-AGI-Pub
Título original:OpenAI o1 Results on ARC-AGI-Pub
Resumen de IA
ARC Prize, con un marco de pruebas unificado, midió que o1-preview obtuvo 21.2% en la evaluación pública de ARC-AGI, comparable al 21% de Claude 3.5 Sonnet, pero con un tiempo medio de 4.2 minutos por tarea, unas 10 veces más. El artículo considera que o1 materializó el paradigma de CoT en entrenamiento e inferencia, pasando de memorizar respuestas a memorizar razonamiento, pero sigue limitado a la distribución de los datos de preentrenamiento; aunque aumentar el cómputo en tiempo de prueba puede mejorar la precisión de forma logarítmica, lograr la AGI aún requiere nuevas ideas.
Puntos clave
- ARC Prize,con un marco de pruebas unificado,midió que o1-preview obtuvo 21.
- 2% en la evaluación pública de ARC-AGI,comparable al 21% de Claude 3.
- 5 Sonnet,pero con un tiempo medio de 4.
- 2 minutos por tarea,unas 10 veces más.
- El artículo considera que o1 materializó el paradigma de CoT en entrenamiento e inferencia,pasando…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- ARC Prize:官方博客
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 71
ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: ARC Prize mide el rendimiento de OpenAI o1 en ARC-AGI-Pub. 13. septiembre 2024. https://new.nat6.net/es/news/cmtyo2p2t03glrog0f2a4owcg/