チュートリアル

Cognition、OpenAI o1 シリーズの Devin コーディングエージェントでの性能を評価し評価手法を公開

原題:A review of OpenAI’s o1 and how we evaluate coding agents

AI 要約

Cognition は Devin で o1-mini と o1-preview を数週間テストした初期結果を公開した。社内ベンチマーク cognition-golden では、Devin-Base が GPT-4o の 25.9% から o1-mini で 34.6%、o1-preview で 51.8% に向上し、製品版 Devin は 74.2% に達した。

要点

  • Cognition は Devin で o1-mini と o1-preview を数週間テストした初期結果を公開した。
  • 社内ベンチマーク cognition-golden では、Devin-Base が GPT-4o の 25.
  • 9% から o1-mini で 34.
  • 6%、o1-preview で 51.
  • 8% に向上し、製品版 Devin は 74.

概要

公開日時
更新日時
出典
Cognition 模型 / Devin 博客(网页)
カテゴリ
チュートリアル
AI スコア
60
原文を読む 情報源で全文を読む
おすすめの理由

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Cognition、OpenAI o1 シリーズの Devin コーディングエージェントでの性能を評価し評価手法を公開。2024年9月12日。https://new.nat6.net/ja/news/swrpyrobyv7olq6awpfmlqkld/

すべて見る →