Cognition menguji seri OpenAI o1 pada agen coding Devin dan mempublikasikan metodologi evaluasinya
Judul asli:A review of OpenAI’s o1 and how we evaluate coding agents
Ringkasan AI
Cognition mengumumkan hasil awal pengujian o1-mini dan o1-preview di Devin selama beberapa minggu: pada benchmark internal cognition-golden, Devin-Base meningkat dari 25,9% dengan GPT-4o menjadi 34,6% dengan o1-mini dan 51,8% dengan o1-preview, sementara versi produksi Devin mencapai 74,2%.
Poin utama
- Cognition mengumumkan hasil awal pengujian o1-mini dan o1-preview di Devin selama beberapa minggu:…
- Devin-Base meningkat dari 25
- 9% dengan GPT-4o menjadi 34,6% dengan o1-mini dan 51,8% dengan o1-preview,sementara versi produksi…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Cognition 模型 / Devin 博客(网页)
- Kategori
- Tutorial & Tips
- Skor AI
- 60
Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Cognition menguji seri OpenAI o1 pada agen coding Devin dan mempublikasikan metodologi evaluasinya. 12 September 2024. https://new.nat6.net/id/news/swrpyrobyv7olq6awpfmlqkld/