Cognition menilai prestasi siri OpenAI o1 pada ejen pengekodan Devin dan mendedahkan kaedah penilaian
Tajuk asal:A review of OpenAI’s o1 and how we evaluate coding agents
Ringkasan AI
Cognition mendedahkan hasil awal ujian o1-mini dan o1-preview dalam Devin selama beberapa minggu: pada penanda aras dalaman cognition-golden, Devin-Base meningkat daripada 25.9% dengan GPT-4o kepada 34.6% dengan o1-mini dan 51.8% dengan o1-preview, manakala Devin versi pengeluaran mencapai 74.2%.
Maklumat penting
- Cognition mendedahkan hasil awal ujian o1-mini dan o1-preview dalam Devin selama beberapa minggu:…
- 9% dengan GPT-4o kepada 34.
- 6% dengan o1-mini dan 51.
- 8% dengan o1-preview,manakala Devin versi pengeluaran mencapai 74.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Cognition 模型 / Devin 博客(网页)
- Kategori
- Tutorial dan petua
- Skor AI
- 60
Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Cognition menilai prestasi siri OpenAI o1 pada ejen pengekodan Devin dan mendedahkan kaedah penilaian. 12 September 2024. https://new.nat6.net/ms/news/swrpyrobyv7olq6awpfmlqkld/