Artículos e investigación

Estudio de Dwarkesh Patel: la mejora del preentrenamiento proviene principalmente de los datos

Título original:Pretraining progress is mostly coming from data

Resumen de IA

Dwarkesh Patel publicó un análisis experimental en el que entrenó recetas de modelos representativos de cada año entre 2019 y 2025 y corpus de datos con un presupuesto de cómputo de hasta 1e19 FLOPs, y encontró que la mejora de los datos aporta un aumento de eficiencia de cómputo de 12,0x, frente a 3,7x de la mejora del modelo, por lo que la contribución de los datos es aproximadamente 3,24 veces la del modelo.

Puntos clave

  • Dwarkesh Patel publicó un análisis experimental en el que entrenó recetas de modelos…
  • y encontró que la mejora de los datos aporta un aumento de eficiencia de cómputo de 12
  • frente a 3,7x de la mejora del modelo,por lo que la contribución de los datos es aproximadamente…

Resumen rápido

Publicado
Actualizado
Fuente
Dwarkesh Patel:Podcast & Blog(RSS)
Categoría
Artículos e investigación
Puntuación IA
60
Leer el original Leer el artículo completo en la fuente original
Por qué importa

文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Estudio de Dwarkesh Patel: la mejora del preentrenamiento proviene principalmente de los datos. 9. septiembre 2026. https://new.nat6.net/es/news/cmtsx0wm4041jrob5liwjypsq/

Ver todo →