Cognition оценила серию OpenAI o1 в кодинг-агенте Devin и раскрыла методику оценки
Оригинальный заголовок:A review of OpenAI’s o1 and how we evaluate coding agents
ИИ-резюме
Cognition опубликовала ранние результаты нескольких недель тестирования o1-mini и o1-preview в Devin: на внутреннем бенчмарке cognition-golden Devin-Base вырос с 25,9% у GPT-4o до 34,6% у o1-mini и 51,8% у o1-preview, а производственная версия Devin достигла 74,2%.
Ключевые моменты
- Cognition опубликовала ранние результаты нескольких недель тестирования o1-mini и o1-preview в…
- 9% у GPT-4o до 34,6% у o1-mini и 51,8% у o1-preview
- а производственная версия Devin достигла 74
Кратко
- Опубликовано
- Обновлено
- Источник
- Cognition 模型 / Devin 博客(网页)
- Категория
- Туториалы и советы
- Оценка ИИ
- 60
Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Cognition оценила серию OpenAI o1 в кодинг-агенте Devin и раскрыла методику оценки. 12 сентября 2024. https://new.nat6.net/ru/news/swrpyrobyv7olq6awpfmlqkld/