Opinión

La evaluación de IA se convierte en el nuevo cuello de botella de cómputo

Título original:AI evals are becoming the new compute bottleneck

Resumen de IA

El coste de la evaluación de IA ha superado un umbral crítico y está redefiniendo su accesibilidad. Holistic Agent Leaderboard gastó unos 40.000 dólares en más de 20.000 simulaciones de agentes, y una sola prueba de un modelo de frontera puede costar 2.829 dólares. La investigación muestra que el coste de una misma tarea puede variar hasta 33 veces, y la elección del andamiaje es el principal factor de coste. Aunque los benchmarks estáticos pueden reducir el coste cien veces mediante técnicas de compresión, la evaluación de agentes admite una compresión limitada por sus trayectorias largas y ruidosas. Un mayor gasto no garantiza mejores resultados: en la prueba GAIA, una solución de 2.828 dólares logró un 28,5% de precisión, mientras que otra de 1.686 dólares alcanzó el 57,6%. Cuando la evaluación incluye entrenamiento de modelos, el coste supera por completo los marcos habituales de API.

Puntos clave

  • El coste de la evaluación de IA ha superado un umbral crítico y está redefiniendo su accesibilidad.
  • Holistic Agent Leaderboard gastó unos 40.
  • 000 dólares en más de 20.
  • 000 simulaciones de agentes,y una sola prueba de un modelo de frontera puede costar 2.
  • 829 dólares.

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Opinión
Puntuación IA
62
Leer el original Leer el artículo completo en la fuente original
Por qué importa

这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: La evaluación de IA se convierte en el nuevo cuello de botella de cómputo. 30. abril 2026. https://new.nat6.net/es/news/cmokcbel300ilsl4fwekuxwgp/

Ver todo →