앤트그룹 저우쥔: 하이브리드 선형 구조로 1조 파라미터 모델의 Token 밀도 개선
원제목:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
AI 요약
앤트그룹 부총재 저우쥔은 1조 파라미터 모델이 15분 실행될 때마다 연산 비용이 테슬라 한 대와 맞먹는다며, 효율은 에이전트 시대에 가장 먼저 해결해야 할 문제라고 밝혔다. 팀은 Lightning Attention 7개와 MLA 1개를 조합한 하이브리드 선형 구조로 256K 장문맥 비용을 지수적 수준에서 선형 수준으로 낮췄고, Kpop 알고리즘과 실제 환경 훈련을 결합해 Token 출력을 약 4배 줄였다. 1000억 파라미터 모델은 실제 Agent 작업에서 일부 더 큰 규모 모델을 능가했다.
핵심 정보
- 앤트그룹 부총재 저우쥔은 1조 파라미터 모델이 15분 실행될 때마다 연산 비용이 테슬라 한 대와 맞먹는다며,효율은 에이전트 시대에 가장 먼저 해결해야 할 문제라고 밝혔다.
- 팀은 Lightning Attention 7개와 MLA 1개를 조합한 하이브리드 선형 구조로 256K 장문맥 비용을 지수적 수준에서 선형 수준으로 낮췄고,Kpop 알고리즘과…
- 1000억 파라미터 모델은 실제 Agent 작업에서 일부 더 큰 규모 모델을 능가했다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 오피니언
- AI 점수
- 60
추천 이유
7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 앤트그룹 저우쥔: 하이브리드 선형 구조로 1조 파라미터 모델의 Token 밀도 개선. 2026년 7월 8일. https://new.nat6.net/ko/news/cmsdu2qga010drofz1h40txvh/