AIセンターのデータブラックホール
原題:The data black hole at the center of AI
AI 要約
知能の一つの定義はサンプル効率だが、近年のAIの進歩は主にデータ分布の拡大と計算資源の増加に依存している。強化学習の本質は合成データ生成であり、大量の計算資源を投入してバリデータで「良い」データを選別し、モデルをトレーニングして正しい出力を予測させる。このプロセスには各分野とスキルの膨大な人類専門家の例が必要で、データ業界の年間収益は数十億ドルに達している。最近のEpochの報告によると、オープンソースモデルはフロンティアのクローズドモデルにわずか4か月遅れているだけであり、その理由はデータが公開APIから蒸留できる一方、ハイパーパラメータなどは複製しにくいことにある。人間が一生で触れるのは約2億トークンで、フロンティアモデルのトレーニングは数十から数百Tトークンの間であり、約100万倍の差がある。ロボット、自動運転などの分野でも同様に大きな効率差が存在する。
要点
- 知能の一つの定義はサンプル効率だが、近年のAIの進歩は主にデータ分布の拡大と計算資源の増加に依存している。
- 強化学習の本質は合成データ生成であり、大量の計算資源を投入してバリデータで「良い」データを選別し、モデルをトレーニングして正しい出力を予測させる。
- このプロセスには各分野とスキルの膨大な人類専門家の例が必要で、データ業界の年間収益は数十億ドルに達している。
- 最近のEpochの報告によると、オープンソースモデルはフロンティアのクローズドモデルにわずか4か月遅れているだけであり、その理由はデータが公開APIから蒸留できる一方、ハイパーパラメータなどは複製し…
- 人間が一生で触れるのは約2億トークンで、フロンティアモデルのトレーニングは数十から数百Tトークンの間であり、約100万倍の差がある。
概要
- 公開日時
- 更新日時
- カテゴリ
- オピニオン
- AI スコア
- 60
Dwarkesh 把 AI 的‘笨’归因于数据效率远低于人类,计算虽简但直指要害,他给出的一个逆向洞察是开源模型四个月追上闭源,正是数据驱动进步的最好证据。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:AIセンターのデータブラックホール。2026年6月20日。https://new.nat6.net/ja/news/cmql6vhtu01n0slluxpq3yvzh/