ARC Prize протестировал OpenAI o1 на ARC-AGI-Pub
Оригинальный заголовок:OpenAI o1 Results on ARC-AGI-Pub
ИИ-резюме
ARC Prize в единой тестовой среде измерил o1-preview на открытой оценке ARC-AGI: 21,2%, что сопоставимо с 21% у Claude 3.5 Sonnet, но среднее время на задачу — 4,2 минуты, примерно в 10 раз больше. По мнению авторов, o1 реализовал парадигму CoT при обучении и выводе, перейдя от запоминания ответов к запоминанию рассуждений, но по-прежнему ограничен распределением предобучающих данных; рост вычислений на этапе тестирования хотя и дает логарифмический прирост точности, для AGI все еще нужны новые идеи.
Ключевые моменты
- ARC Prize в единой тестовой среде измерил o1-preview на открытой оценке ARC-AGI: 21,2%,что…
- 5 Sonnet,но среднее время на задачу — 4,2 минуты,примерно в 10 раз больше.
- По мнению авторов,o1 реализовал парадигму CoT при обучении и выводе,перейдя от запоминания ответов…
- рост вычислений на этапе тестирования хотя и дает логарифмический прирост точности,для AGI все еще…
Кратко
- Опубликовано
- Обновлено
- Источник
- ARC Prize:官方博客
- Категория
- Туториалы и советы
- Оценка ИИ
- 71
ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: ARC Prize протестировал OpenAI o1 на ARC-AGI-Pub. 13 сентября 2024. https://new.nat6.net/ru/news/cmtyo2p2t03glrog0f2a4owcg/