Opinión

Prácticas para diseñar evaluaciones técnicas resistentes a la IA

Título original:Designing AI-resistant technical evaluations

Resumen de IA

Tristan Hume, responsable del equipo de optimización de rendimiento de Anthropic, compartió su experiencia en el diseño de evaluaciones técnicas resistentes a la IA. Desde principios de 2024, el equipo utiliza pruebas para llevar a casa con el fin de evaluar la capacidad de los candidatos para optimizar código de aceleradores simulados; más de 1000 personas participaron y se contrató a decenas de ingenieros. Sin embargo, con la rápida iteración de los modelos Claude, Opus 4 ya supera a la mayoría de los solicitantes humanos y Opus 4.5 incluso iguala a los mejores candidatos, lo que dificulta distinguir entre producción humana y de IA bajo límites de tiempo. Por ello, el autor rediseñó la prueba tres veces y exploró elementos de evaluación resistentes a la IA, detallando el diseño original, las formas en que los modelos la vulneraron y contramedidas no convencionales. Finalmente, el equipo publicó la prueba original como desafío abierto, ya que sin límite de tiempo el rendimiento humano sigue superando al de Claude.

Puntos clave

  • Tristan Hume,responsable del equipo de optimización de rendimiento de Anthropic,compartió su…
  • Desde principios de 2024,el equipo utiliza pruebas para llevar a casa con el fin de evaluar la…
  • más de 1000 personas participaron y se contrató a decenas de ingenieros.
  • Sin embargo,con la rápida iteración de los modelos Claude,Opus 4 ya supera a la mayoría de los…
  • 5 incluso iguala a los mejores candidatos,lo que dificulta distinguir entre producción humana y de…

Resumen rápido

Publicado
Actualizado
Fuente
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Categoría
Opinión
Puntuación IA
72
Leer el original Leer el artículo completo en la fuente original
Por qué importa

Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Prácticas para diseñar evaluaciones técnicas resistentes a la IA. 21. enero 2026. https://new.nat6.net/es/news/cmorb7ml0008dslhf40wkfniz/

Ver todo →