앤트그룹 저우쥔 AICon 강연: 토큰 수에서 토큰 밀도로, 조 단위 파라미터 모델의 효율 우선
원제목:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
AI 요약
앤트그룹 부총재 저우쥔은 AICon 강연에서 조 단위 파라미터 모델이 15분 실행할 때마다 드는 컴퓨팅 비용이 테슬라 한 대와 맞먹는다며, 효율이 에이전트 시대에 가장 시급히 해결해야 할 문제라고 지적했다. 팀은 '더 많은 토큰'에서 '더 높은 토큰 밀도'로 전략을 전환하고, Lightning Attention 7개와 MLA 1개를 결합한 하이브리드 선형 어텐션 아키텍처를 채택해 256K 장문맥 비용을 지수 수준에서 선형 수준으로 낮춰 컴퓨팅을 더 많이 사고에 투입했다. Kpop 알고리즘으로 도구 호출과 자연어 토큰을 구분하고, 사고 사슬 가지치기, 자기 증류 등을 결합해 토큰 출력을 약 4배 줄이면서도 능력은 유지했다. LongBench, BFCL 등 벤치마크에서 유의미한 향상을 보였고, 천억 파라미터 모델은 Agent 작업에서 일부 더 큰 모델을 능가했으며, 소형 모델 flash 처리량은 2.4배, 5턴 대화 비용은 10배 이상 절감됐다.
핵심 정보
- 앤트그룹 부총재 저우쥔은 AICon 강연에서 조 단위 파라미터 모델이 15분 실행할 때마다 드는 컴퓨팅 비용이 테슬라 한 대와 맞먹는다며,효율이 에이전트 시대에 가장 시급히…
- 팀은 '더 많은 토큰'에서 '더 높은 토큰 밀도'로 전략을 전환하고,Lightning Attention 7개와 MLA 1개를 결합한 하이브리드 선형 어텐션 아키텍처를 채택해…
- Kpop 알고리즘으로 도구 호출과 자연어 토큰을 구분하고,사고 사슬 가지치기,자기 증류 등을 결합해 토큰 출력을 약 4배 줄이면서도 능력은 유지했다.
- LongBench,BFCL 등 벤치마크에서 유의미한 향상을 보였고,천억 파라미터 모델은 Agent 작업에서 일부 더 큰 모델을 능가했으며,소형 모델 flash 처리량은 2.
- 4배,5턴 대화 비용은 10배 이상 절감됐다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 오피니언
- AI 점수
- 64
蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 앤트그룹 저우쥔 AICon 강연: 토큰 수에서 토큰 밀도로, 조 단위 파라미터 모델의 효율 우선. 2026년 7월 8일. https://new.nat6.net/ko/news/cmrbdsefa02yjihl17gg7mhx3/