기타

Ling 2.5 Lightning Attention+MLA 하이브리드 선형 아키텍처 개조 실천

AI 요약

초장문 컨텍스트에서의 계산 효율을 높이기 위해 Ling 2.5 아키텍처는 Ling 2.0의 GQA를 1:7의 Lightning Attention과 MLA 하이브리드 선형 어텐션으로 개조했다. 이는 Lightning Attention으로 장문 시퀀스 처리량을 높이고 MLA로 KV Cache를 극한까지 압축하기 위한 것이다. 개조 후 성능 손실이 없도록 팀은 가중치 변환, QK Norm 융합, Partial RoPE 개조 등 다단계 추가 훈련을 포함한 정교한 평활 전이 훈련 전략을 설계했다. Scaling Law 실험으로 1:7이 최적 혼합 비율임을 확인했으며, 최종적으로 1조 파라미터 모델이 더 낮은 계산 비용과 더 높은 장문 추론 효율을 달성했다.

핵심 정보

  • 초장문 컨텍스트에서의 계산 효율을 높이기 위해 Ling 2.
  • 5 아키텍처는 Ling 2.
  • 0의 GQA를 1:7의 Lightning Attention과 MLA 하이브리드 선형 어텐션으로 개조했다.
  • 이는 Lightning Attention으로 장문 시퀀스 처리량을 높이고 MLA로 KV Cache를 극한까지 압축하기 위한 것이다.
  • 개조 후 성능 손실이 없도록 팀은 가중치 변환,QK Norm 융합,Partial RoPE 개조 등 다단계 추가 훈련을 포함한 정교한 평활 전이 훈련 전략을 설계했다.

한눈에 보기

게시
업데이트
출처
蚂蚁百灵:Developer Blog(网页)
카테고리
기타
AI 점수
86
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

为大模型长上下文优化提供可落地的工程实践参考。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: Ling 2.5 Lightning Attention+MLA 하이브리드 선형 아키텍처 개조 실천. 2026년 2월 26일. https://new.nat6.net/ko/news/cmoecv1p6003usl1973hu5t5o/

전체 보기 →