Tutorial dan petua

ARC Prize uji prestasi OpenAI o1 pada ARC-AGI-Pub

Tajuk asal:OpenAI o1 Results on ARC-AGI-Pub

Ringkasan AI

ARC Prize menggunakan rangka kerja ujian bersatu dan mendapati o1-preview memperoleh 21.2% pada penilaian awam ARC-AGI, setanding dengan 21% Claude 3.5 Sonnet, tetapi purata masa setiap tugas 4.2 minit iaitu kira-kira 10 kali ganda. Artikel berpendapat o1 merealisasikan paradigma CoT semasa latihan dan penaakulan, beralih daripada menghafal jawapan kepada menghafal penaakulan, namun masih terhad dalam taburan data pra-latihan; peningkatan kuasa pengiraan semasa ujian boleh meningkatkan ketepatan secara logaritma, tetapi mencapai AGI masih memerlukan idea baharu.

Maklumat penting

  • ARC Prize menggunakan rangka kerja ujian bersatu dan mendapati o1-preview memperoleh 21.
  • 2% pada penilaian awam ARC-AGI,setanding dengan 21% Claude 3.
  • 5 Sonnet,tetapi purata masa setiap tugas 4.
  • 2 minit iaitu kira-kira 10 kali ganda.
  • Artikel berpendapat o1 merealisasikan paradigma CoT semasa latihan dan penaakulan,beralih daripada…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
ARC Prize:官方博客
Kategori
Tutorial dan petua
Skor AI
71
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: ARC Prize uji prestasi OpenAI o1 pada ARC-AGI-Pub. 13 September 2024. https://new.nat6.net/ms/news/cmtyo2p2t03glrog0f2a4owcg/

Lihat Semua →