Tutorial dan petua

Cognition menilai prestasi siri OpenAI o1 pada ejen pengekodan Devin dan mendedahkan kaedah penilaian

Tajuk asal:A review of OpenAI’s o1 and how we evaluate coding agents

Ringkasan AI

Cognition mendedahkan hasil awal ujian o1-mini dan o1-preview dalam Devin selama beberapa minggu: pada penanda aras dalaman cognition-golden, Devin-Base meningkat daripada 25.9% dengan GPT-4o kepada 34.6% dengan o1-mini dan 51.8% dengan o1-preview, manakala Devin versi pengeluaran mencapai 74.2%.

Maklumat penting

  • Cognition mendedahkan hasil awal ujian o1-mini dan o1-preview dalam Devin selama beberapa minggu:…
  • 9% dengan GPT-4o kepada 34.
  • 6% dengan o1-mini dan 51.
  • 8% dengan o1-preview,manakala Devin versi pengeluaran mencapai 74.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Cognition 模型 / Devin 博客(网页)
Kategori
Tutorial dan petua
Skor AI
60
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Cognition menilai prestasi siri OpenAI o1 pada ejen pengekodan Devin dan mendedahkan kaedah penilaian. 12 September 2024. https://new.nat6.net/ms/news/swrpyrobyv7olq6awpfmlqkld/

Lihat Semua →