Туториалы и советы

ARC Prize протестировал OpenAI o1 на ARC-AGI-Pub

Оригинальный заголовок:OpenAI o1 Results on ARC-AGI-Pub

ИИ-резюме

ARC Prize в единой тестовой среде измерил o1-preview на открытой оценке ARC-AGI: 21,2%, что сопоставимо с 21% у Claude 3.5 Sonnet, но среднее время на задачу — 4,2 минуты, примерно в 10 раз больше. По мнению авторов, o1 реализовал парадигму CoT при обучении и выводе, перейдя от запоминания ответов к запоминанию рассуждений, но по-прежнему ограничен распределением предобучающих данных; рост вычислений на этапе тестирования хотя и дает логарифмический прирост точности, для AGI все еще нужны новые идеи.

Ключевые моменты

  • ARC Prize в единой тестовой среде измерил o1-preview на открытой оценке ARC-AGI: 21,2%,что…
  • 5 Sonnet,но среднее время на задачу — 4,2 минуты,примерно в 10 раз больше.
  • По мнению авторов,o1 реализовал парадигму CoT при обучении и выводе,перейдя от запоминания ответов…
  • рост вычислений на этапе тестирования хотя и дает логарифмический прирост точности,для AGI все еще…

Кратко

Опубликовано
Обновлено
Источник
ARC Prize:官方博客
Категория
Туториалы и советы
Оценка ИИ
71
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: ARC Prize протестировал OpenAI o1 на ARC-AGI-Pub. 13 сентября 2024. https://new.nat6.net/ru/news/cmtyo2p2t03glrog0f2a4owcg/

Смотреть все →