Le trou noir de données au cœur de l'IA
Titre original:The data black hole at the center of AI
Résumé IA
Une définition de l'intelligence est l'efficacité d'échantillonnage, mais les progrès récents de l'IA reposent principalement sur l'extension de la distribution des données et l'augmentation de la puissance de calcul. L'apprentissage par renforcement est essentiellement une génération de données synthétiques : investir massivement du calcul pour filtrer les « bonnes » données via un vérificateur, puis entraîner le modèle à prédire les sorties correctes. Ce processus exige d'énormes exemples d'experts humains pour chaque domaine et compétence, et l'industrie de la donnée génère déjà des milliards de dollars de revenus annuels. Epoch a récemment rapporté que les modèles open source n'accusent que 4 mois de retard sur les modèles fermés de pointe, car les données peuvent être distillées depuis des API publiques, tandis que les hyperparamètres sont difficiles à copier. Un humain est exposé à environ 200 millions de tokens au cours de sa vie, contre des dizaines à des centaines de billions de tokens pour l'entraînement des modèles de pointe, soit un écart de près d'un million de fois ; la robotique et la conduite autonome présentent des écarts d'efficacité tout aussi considérables.
Points clés
- Une définition de l'intelligence est l'efficacité d'échantillonnage,mais les progrès récents de…
- L'apprentissage par renforcement est essentiellement une génération de données synthétiques:…
- Ce processus exige d'énormes exemples d'experts humains pour chaque domaine et compétence,et…
- Epoch a récemment rapporté que les modèles open source n'accusent que 4 mois de retard sur les…
- Un humain est exposé à environ 200 millions de tokens au cours de sa vie,contre des dizaines à des…
En bref
- Publié
- Mis à jour
- Catégorie
- Opinion
- Score IA
- 60
Dwarkesh 把 AI 的‘笨’归因于数据效率远低于人类,计算虽简但直指要害,他给出的一个逆向洞察是开源模型四个月追上闭源,正是数据驱动进步的最好证据。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Le trou noir de données au cœur de l'IA. 20. juin 2026. https://new.nat6.net/fr/news/cmql6vhtu01n0slluxpq3yvzh/