Opinion

Pratiques de conception d'évaluations résistantes à l'IA

Titre original:Designing AI-resistant technical evaluations

Résumé IA

Tristan Hume, responsable de l'équipe d'optimisation des performances d'Anthropic, partage son expérience dans la conception d'évaluations résistantes à l'IA. Depuis début 2024, l'équipe utilise un test à emporter pour évaluer la capacité des candidats à optimiser du code de simulateur d'accélérateur ; plus de 1000 personnes y ont participé et des dizaines d'ingénieurs ont été recrutés. Mais avec l'itération rapide des modèles Claude, Opus 4 a dépassé la plupart des candidats humains, et Opus 4.5 égale même les meilleurs candidats, rendant difficile la distinction entre productions humaines et IA sous contrainte de temps. L'auteur a donc repensé le test à trois reprises, explorant les éléments d'une évaluation résistante à l'IA, détaillant la conception initiale, les méthodes de contournement des modèles et des contre-mesures non conventionnelles. Finalement, l'équipe a publié le test original comme défi public, car sans limite de temps, les humains restent meilleurs que Claude.

Points clés

  • Tristan Hume,responsable de l'équipe d'optimisation des performances d'Anthropic,partage son…
  • Depuis début 2024,l'équipe utilise un test à emporter pour évaluer la capacité des candidats à…
  • plus de 1000 personnes y ont participé et des dizaines d'ingénieurs ont été recrutés.
  • Mais avec l'itération rapide des modèles Claude,Opus 4 a dépassé la plupart des candidats…
  • 5 égale même les meilleurs candidats,rendant difficile la distinction entre productions humaines…

En bref

Publié
Mis à jour
Source
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Catégorie
Opinion
Score IA
72
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Pratiques de conception d'évaluations résistantes à l'IA. 21. janvier 2026. https://new.nat6.net/fr/news/cmorb7ml0008dslhf40wkfniz/

Tout voir →