ARC Prize uji prestasi OpenAI o1 pada ARC-AGI-Pub
Tajuk asal:OpenAI o1 Results on ARC-AGI-Pub
Ringkasan AI
ARC Prize menggunakan rangka kerja ujian bersatu dan mendapati o1-preview memperoleh 21.2% pada penilaian awam ARC-AGI, setanding dengan 21% Claude 3.5 Sonnet, tetapi purata masa setiap tugas 4.2 minit iaitu kira-kira 10 kali ganda. Artikel berpendapat o1 merealisasikan paradigma CoT semasa latihan dan penaakulan, beralih daripada menghafal jawapan kepada menghafal penaakulan, namun masih terhad dalam taburan data pra-latihan; peningkatan kuasa pengiraan semasa ujian boleh meningkatkan ketepatan secara logaritma, tetapi mencapai AGI masih memerlukan idea baharu.
Maklumat penting
- ARC Prize menggunakan rangka kerja ujian bersatu dan mendapati o1-preview memperoleh 21.
- 2% pada penilaian awam ARC-AGI,setanding dengan 21% Claude 3.
- 5 Sonnet,tetapi purata masa setiap tugas 4.
- 2 minit iaitu kira-kira 10 kali ganda.
- Artikel berpendapat o1 merealisasikan paradigma CoT semasa latihan dan penaakulan,beralih daripada…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- ARC Prize:官方博客
- Kategori
- Tutorial dan petua
- Skor AI
- 71
ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: ARC Prize uji prestasi OpenAI o1 pada ARC-AGI-Pub. 13 September 2024. https://new.nat6.net/ms/news/cmtyo2p2t03glrog0f2a4owcg/