Tutoriels et astuces

ARC Prize évalue les performances d'OpenAI o1 sur ARC-AGI-Pub

Titre original:OpenAI o1 Results on ARC-AGI-Pub

Résumé IA

Avec un cadre de test unifié, ARC Prize mesure o1-preview à 21,2 % sur l'évaluation publique ARC-AGI, un niveau comparable aux 21 % de Claude 3.5 Sonnet, mais avec un temps moyen de 4,2 minutes par tâche, environ 10 fois plus long. L'article estime que o1 concrétise le paradigme CoT à l'entraînement et à l'inférence, passant de la mémorisation des réponses à celle du raisonnement, mais reste limité à la distribution des données de préentraînement ; l'augmentation du calcul à l'inférence améliore la précision de façon logarithmique, mais l'AGI exige encore de nouvelles approches.

Points clés

  • Avec un cadre de test unifié,ARC Prize mesure o1-preview à 21,2 % sur l'évaluation publique…
  • 5 Sonnet,mais avec un temps moyen de 4,2 minutes par tâche,environ 10 fois plus long.
  • L'article estime que o1 concrétise le paradigme CoT à l'entraînement et à l'inférence,passant de…
  • l'augmentation du calcul à l'inférence améliore la précision de façon logarithmique,mais l'AGI…

En bref

Publié
Mis à jour
Source
ARC Prize:官方博客
Catégorie
Tutoriels et astuces
Score IA
71
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : ARC Prize évalue les performances d'OpenAI o1 sur ARC-AGI-Pub. 13. septembre 2024. https://new.nat6.net/fr/news/cmtyo2p2t03glrog0f2a4owcg/

Tout voir →