Cognition、OpenAI o1 シリーズの Devin コーディングエージェントでの性能を評価し評価手法を公開
原題:A review of OpenAI’s o1 and how we evaluate coding agents
AI 要約
Cognition は Devin で o1-mini と o1-preview を数週間テストした初期結果を公開した。社内ベンチマーク cognition-golden では、Devin-Base が GPT-4o の 25.9% から o1-mini で 34.6%、o1-preview で 51.8% に向上し、製品版 Devin は 74.2% に達した。
要点
- Cognition は Devin で o1-mini と o1-preview を数週間テストした初期結果を公開した。
- 社内ベンチマーク cognition-golden では、Devin-Base が GPT-4o の 25.
- 9% から o1-mini で 34.
- 6%、o1-preview で 51.
- 8% に向上し、製品版 Devin は 74.
概要
- 公開日時
- 更新日時
- カテゴリ
- チュートリアル
- AI スコア
- 60
おすすめの理由
Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Cognition、OpenAI o1 シリーズの Devin コーディングエージェントでの性能を評価し評価手法を公開。2024年9月12日。https://new.nat6.net/ja/news/swrpyrobyv7olq6awpfmlqkld/