AI 중심의 데이터 블랙홀
원제목:The data black hole at the center of AI
AI 요약
지능의 한 정의는 샘플 효율성이다. 그러나 최근 AI 발전은 주로 데이터 분포 확장과 컴퓨팅 파워 증대에 의존했다. 강화학습은 본질적으로 합성 데이터 생성이다. 막대한 컴퓨팅 파워를 투입해 검증기로 '좋은' 데이터를 선별한 뒤 모델이 올바른 출력을 예측하도록 훈련한다. 이 과정에는 각 분야와 기술의 방대한 인간 전문가 예시가 필요하며, 데이터 산업의 연매출은 이미 수십억 달러에 달한다. 최근 Epoch 보고서에 따르면 오픈소스 모델은 프런티어 폐쇄형 모델보다 불과 4개월 뒤처져 있는데, 그 이유는 데이터를 공개 API에서 증류할 수 있는 반면 하이퍼파라미터 등은 복제하기 어렵기 때문이다. 인간은 일생 동안 약 2억 토큰에 노출되는 반면, 프런티어 모델 훈련은 수십에서 수백 T 토큰 사이로 거의 백만 배 차이가 난다. 로봇, 자율주행 등 분야에서도 마찬가지로 거대한 효율 격차가 존재한다.
핵심 정보
- 지능의 한 정의는 샘플 효율성이다.
- 그러나 최근 AI 발전은 주로 데이터 분포 확장과 컴퓨팅 파워 증대에 의존했다.
- 강화학습은 본질적으로 합성 데이터 생성이다.
- 막대한 컴퓨팅 파워를 투입해 검증기로 '좋은' 데이터를 선별한 뒤 모델이 올바른 출력을 예측하도록 훈련한다.
- 이 과정에는 각 분야와 기술의 방대한 인간 전문가 예시가 필요하며,데이터 산업의 연매출은 이미 수십억 달러에 달한다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 오피니언
- AI 점수
- 60
Dwarkesh 把 AI 的‘笨’归因于数据效率远低于人类,计算虽简但直指要害,他给出的一个逆向洞察是开源模型四个月追上闭源,正是数据驱动进步的最好证据。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: AI 중심의 데이터 블랙홀. 2026년 6월 20일. https://new.nat6.net/ko/news/cmql6vhtu01n0slluxpq3yvzh/