Pratiques de conception d'évaluations résistantes à l'IA
Titre original:Designing AI-resistant technical evaluations
Résumé IA
Tristan Hume, responsable de l'équipe d'optimisation des performances d'Anthropic, partage son expérience dans la conception d'évaluations résistantes à l'IA. Depuis début 2024, l'équipe utilise un test à emporter pour évaluer la capacité des candidats à optimiser du code de simulateur d'accélérateur ; plus de 1000 personnes y ont participé et des dizaines d'ingénieurs ont été recrutés. Mais avec l'itération rapide des modèles Claude, Opus 4 a dépassé la plupart des candidats humains, et Opus 4.5 égale même les meilleurs candidats, rendant difficile la distinction entre productions humaines et IA sous contrainte de temps. L'auteur a donc repensé le test à trois reprises, explorant les éléments d'une évaluation résistante à l'IA, détaillant la conception initiale, les méthodes de contournement des modèles et des contre-mesures non conventionnelles. Finalement, l'équipe a publié le test original comme défi public, car sans limite de temps, les humains restent meilleurs que Claude.
Points clés
- Tristan Hume,responsable de l'équipe d'optimisation des performances d'Anthropic,partage son…
- Depuis début 2024,l'équipe utilise un test à emporter pour évaluer la capacité des candidats à…
- plus de 1000 personnes y ont participé et des dizaines d'ingénieurs ont été recrutés.
- Mais avec l'itération rapide des modèles Claude,Opus 4 a dépassé la plupart des candidats…
- 5 égale même les meilleurs candidats,rendant difficile la distinction entre productions humaines…
En bref
- Publié
- Mis à jour
- Catégorie
- Opinion
- Score IA
- 72
Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Pratiques de conception d'évaluations résistantes à l'IA. 21. janvier 2026. https://new.nat6.net/fr/news/cmorb7ml0008dslhf40wkfniz/