Prácticas para diseñar evaluaciones técnicas resistentes a la IA
Título original:Designing AI-resistant technical evaluations
Resumen de IA
Tristan Hume, responsable del equipo de optimización de rendimiento de Anthropic, compartió su experiencia en el diseño de evaluaciones técnicas resistentes a la IA. Desde principios de 2024, el equipo utiliza pruebas para llevar a casa con el fin de evaluar la capacidad de los candidatos para optimizar código de aceleradores simulados; más de 1000 personas participaron y se contrató a decenas de ingenieros. Sin embargo, con la rápida iteración de los modelos Claude, Opus 4 ya supera a la mayoría de los solicitantes humanos y Opus 4.5 incluso iguala a los mejores candidatos, lo que dificulta distinguir entre producción humana y de IA bajo límites de tiempo. Por ello, el autor rediseñó la prueba tres veces y exploró elementos de evaluación resistentes a la IA, detallando el diseño original, las formas en que los modelos la vulneraron y contramedidas no convencionales. Finalmente, el equipo publicó la prueba original como desafío abierto, ya que sin límite de tiempo el rendimiento humano sigue superando al de Claude.
Puntos clave
- Tristan Hume,responsable del equipo de optimización de rendimiento de Anthropic,compartió su…
- Desde principios de 2024,el equipo utiliza pruebas para llevar a casa con el fin de evaluar la…
- más de 1000 personas participaron y se contrató a decenas de ingenieros.
- Sin embargo,con la rápida iteración de los modelos Claude,Opus 4 ya supera a la mayoría de los…
- 5 incluso iguala a los mejores candidatos,lo que dificulta distinguir entre producción humana y de…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Opinión
- Puntuación IA
- 72
Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Prácticas para diseñar evaluaciones técnicas resistentes a la IA. 21. enero 2026. https://new.nat6.net/es/news/cmorb7ml0008dslhf40wkfniz/