ARC Prize menguji skor OpenAI o1 pada ARC-AGI-Pub
Judul asli:OpenAI o1 Results on ARC-AGI-Pub
Ringkasan AI
ARC Prize menggunakan kerangka pengujian terpadu dan mengukur o1-preview memperoleh 21,2% pada evaluasi publik ARC-AGI, setara dengan 21% milik Claude 3.5 Sonnet, tetapi rata-rata waktu per tugas 4,2 menit sekitar 10 kali lipatnya. Artikel berpendapat o1 mewujudkan paradigma CoT saat pelatihan dan penalaran, beralih dari menghafal jawaban ke menghafal penalaran, namun masih terbatas pada distribusi data pra-pelatihan; peningkatan komputasi saat pengujian dapat meningkatkan akurasi secara logaritmik, tetapi mewujudkan AGI masih memerlukan gagasan baru.
Poin utama
- ARC Prize menggunakan kerangka pengujian terpadu dan mengukur o1-preview memperoleh 21,2% pada…
- 5 Sonnet,tetapi rata-rata waktu per tugas 4,2 menit sekitar 10 kali lipatnya.
- Artikel berpendapat o1 mewujudkan paradigma CoT saat pelatihan dan penalaran,beralih dari…
- peningkatan komputasi saat pengujian dapat meningkatkan akurasi secara logaritmik,tetapi…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- ARC Prize:官方博客
- Kategori
- Tutorial & Tips
- Skor AI
- 71
ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: ARC Prize menguji skor OpenAI o1 pada ARC-AGI-Pub. 13 September 2024. https://new.nat6.net/id/news/cmtyo2p2t03glrog0f2a4owcg/