Estudio de Dwarkesh Patel: la mejora del preentrenamiento proviene principalmente de los datos
Título original:Pretraining progress is mostly coming from data
Resumen de IA
Dwarkesh Patel publicó un análisis experimental en el que entrenó recetas de modelos representativos de cada año entre 2019 y 2025 y corpus de datos con un presupuesto de cómputo de hasta 1e19 FLOPs, y encontró que la mejora de los datos aporta un aumento de eficiencia de cómputo de 12,0x, frente a 3,7x de la mejora del modelo, por lo que la contribución de los datos es aproximadamente 3,24 veces la del modelo.
Puntos clave
- Dwarkesh Patel publicó un análisis experimental en el que entrenó recetas de modelos…
- y encontró que la mejora de los datos aporta un aumento de eficiencia de cómputo de 12
- frente a 3,7x de la mejora del modelo,por lo que la contribución de los datos es aproximadamente…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Artículos e investigación
- Puntuación IA
- 60
文章用小规模对照实验量化了 2019 到 2025 年预训练进步中数据与模型改进各自的算力效率贡献,并讨论结论对更大规模模型的适用边界。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Estudio de Dwarkesh Patel: la mejora del preentrenamiento proviene principalmente de los datos. 9. septiembre 2026. https://new.nat6.net/es/news/cmtsx0wm4041jrob5liwjypsq/