Tutorial & Tips

Cognition menguji seri OpenAI o1 pada agen coding Devin dan mempublikasikan metodologi evaluasinya

Judul asli:A review of OpenAI’s o1 and how we evaluate coding agents

Ringkasan AI

Cognition mengumumkan hasil awal pengujian o1-mini dan o1-preview di Devin selama beberapa minggu: pada benchmark internal cognition-golden, Devin-Base meningkat dari 25,9% dengan GPT-4o menjadi 34,6% dengan o1-mini dan 51,8% dengan o1-preview, sementara versi produksi Devin mencapai 74,2%.

Poin utama

  • Cognition mengumumkan hasil awal pengujian o1-mini dan o1-preview di Devin selama beberapa minggu:…
  • Devin-Base meningkat dari 25
  • 9% dengan GPT-4o menjadi 34,6% dengan o1-mini dan 51,8% dengan o1-preview,sementara versi produksi…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Cognition 模型 / Devin 博客(网页)
Kategori
Tutorial & Tips
Skor AI
60
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Cognition menguji seri OpenAI o1 pada agen coding Devin dan mempublikasikan metodologi evaluasinya. 12 September 2024. https://new.nat6.net/id/news/swrpyrobyv7olq6awpfmlqkld/

Lihat semua →