Tutorial & Tips

ARC Prize menguji skor OpenAI o1 pada ARC-AGI-Pub

Judul asli:OpenAI o1 Results on ARC-AGI-Pub

Ringkasan AI

ARC Prize menggunakan kerangka pengujian terpadu dan mengukur o1-preview memperoleh 21,2% pada evaluasi publik ARC-AGI, setara dengan 21% milik Claude 3.5 Sonnet, tetapi rata-rata waktu per tugas 4,2 menit sekitar 10 kali lipatnya. Artikel berpendapat o1 mewujudkan paradigma CoT saat pelatihan dan penalaran, beralih dari menghafal jawaban ke menghafal penalaran, namun masih terbatas pada distribusi data pra-pelatihan; peningkatan komputasi saat pengujian dapat meningkatkan akurasi secara logaritmik, tetapi mewujudkan AGI masih memerlukan gagasan baru.

Poin utama

  • ARC Prize menggunakan kerangka pengujian terpadu dan mengukur o1-preview memperoleh 21,2% pada…
  • 5 Sonnet,tetapi rata-rata waktu per tugas 4,2 menit sekitar 10 kali lipatnya.
  • Artikel berpendapat o1 mewujudkan paradigma CoT saat pelatihan dan penalaran,beralih dari…
  • peningkatan komputasi saat pengujian dapat meningkatkan akurasi secara logaritmik,tetapi…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
ARC Prize:官方博客
Kategori
Tutorial & Tips
Skor AI
71
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: ARC Prize menguji skor OpenAI o1 pada ARC-AGI-Pub. 13 September 2024. https://new.nat6.net/id/news/cmtyo2p2t03glrog0f2a4owcg/

Lihat semua →