Туториалы и советы

Cognition оценила серию OpenAI o1 в кодинг-агенте Devin и раскрыла методику оценки

Оригинальный заголовок:A review of OpenAI’s o1 and how we evaluate coding agents

ИИ-резюме

Cognition опубликовала ранние результаты нескольких недель тестирования o1-mini и o1-preview в Devin: на внутреннем бенчмарке cognition-golden Devin-Base вырос с 25,9% у GPT-4o до 34,6% у o1-mini и 51,8% у o1-preview, а производственная версия Devin достигла 74,2%.

Ключевые моменты

  • Cognition опубликовала ранние результаты нескольких недель тестирования o1-mini и o1-preview в…
  • 9% у GPT-4o до 34,6% у o1-mini и 51,8% у o1-preview
  • а производственная версия Devin достигла 74

Кратко

Опубликовано
Обновлено
Источник
Cognition 模型 / Devin 博客(网页)
Категория
Туториалы и советы
Оценка ИИ
60
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Cognition оценила серию OpenAI o1 в кодинг-агенте Devin и раскрыла методику оценки. 12 сентября 2024. https://new.nat6.net/ru/news/swrpyrobyv7olq6awpfmlqkld/

Смотреть все →