기타

NSA: 하드웨어 정렬형 희소 어텐션 신기제

원제목:🚀 Introducing NSA: A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f...

AI 요약

NSA는 하드웨어 정렬형이며 기본적으로 훈련 가능한 희소 어텐션 기제로, 초고속 장문맥 훈련과 추론을 위해 설계됐다. 핵심은 동적 계층적 희소 전략으로, 거친 단위 토큰 압축과 세밀한 단위 토큰 선택을 결합한다. 현대 하드웨어에 최적화된 NSA는 추론을 가속하고 사전 훈련 비용을 낮추면서도 성능 손실이 없으며, 일반 벤치마크, 장문맥 작업 및 지시 추론에서 Full Attention 모델과 동등하거나 능가한다.

핵심 정보

  • NSA는 하드웨어 정렬형이며 기본적으로 훈련 가능한 희소 어텐션 기제로,초고속 장문맥 훈련과 추론을 위해 설계됐다.
  • 핵심은 동적 계층적 희소 전략으로,거친 단위 토큰 압축과 세밀한 단위 토큰 선택을 결합한다.
  • 현대 하드웨어에 최적화된 NSA는 추론을 가속하고 사전 훈련 비용을 낮추면서도 성능 손실이 없으며,일반 벤치마크,장문맥 작업 및 지시 추론에서 Full Attention 모델과…

한눈에 보기

게시
업데이트
출처
X:DeepSeek (@deepseek_ai)
카테고리
기타
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

DeepSeek 推出硬件对齐稀疏注意力 NSA,长上下文训练推理双提速,预训练成本显著降低

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: NSA: 하드웨어 정렬형 희소 어텐션 신기제. 2025년 2월 18일. https://new.nat6.net/ko/news/cmo77611u003hslhea6kr5k19/

전체 보기 →
  • 세 가지 관찰

    OpenAI가 AI 경제학에 관한 세 가지 관찰을 제시했다. 모델 지능은 훈련 자원의 로그에 비례해 예측 가능하게 확장되고, AI 사용 비용은 12개월마다 약 10배씩 떨어져 무어의 법칙보다 빠르며, 지능의 선형…

    Sam Altman:Blog(RSS)기타

  • Grok 3 Beta 출시: 추론 에이전트 시대 도래

    Grok 3 Beta가 정식 출시되어 '추론 에이전트' 시대를 열었다. 새 버전은 심층 추론과 자율 의사결정 능력을 강화하고 복잡한 과제 분해와 다단계 논리 체인 처리를 지원하며 수학, 프로그래밍 등 추론 집약적…

    xAI:News(网页)기타

  • 중국, 수출 통제, 두 가지 가능한 미래에 대한 생각

    Dario Amodei가 DeepSeek 사건에 대해 대중국 AI 수출 통제 정책을 평가하고 현재 기술 경쟁이 통제 가능한 협력 또는 통제 불능의 군비 경쟁이라는 두 가지 상반된 미래로 갈 수 있는 갈림길에 서…

    X:Dario Amodei (@DarioAmodei)기타

  • 회로 추적: 언어 모델의 계산 그래프 공개

    연구팀은 언어 모델 행동의 계산 메커니즘을 밝히기 위한 '회로 추적' 방법을 제안했다. 이 방법은 대체 모델에서 계산 단계를 추적하여 모델 실행 과정을 설명하는 그래프를 생성하며, 대체 모델은 교차 계층…

    Anthropic:Transformer Circuits(可解释性研究)기타AI 점수 76