동결된 대규모 언어 모델 은닉 상태에 여전히 읽을 수 있는 행동 신호 존재, 신기술로 정확도 대폭 향상
원제목:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
AI 요약
Proprioceptive AI가 개발한 Cygnus 기술은 동결된 대규모 언어 모델에 자기 감지 어댑터를 추가해 내부 인지 기하를 읽을 수 있게 한다. 이 기술은 모델의 은닉 상태를 gl(4,R) 리 대수로 정의된 수학 공간에 투영해 주요 정밀도 신호를 담은 '다크 모드'를 분리함으로써 재훈련 없이도 모델 성능을 크게 높인다. 예를 들어 RTX 3090 그래픽카드 한 장만으로 Qwen-32B의 ARC-Challenge 벤치마크 정확도를 82.2%에서 94.97%로 끌어올렸다. 어댑터는 3B부터 405B까지 여러 모델을 지원하며, 서비스 노드는 5만 사용자 동시 접속을 지원하고 이번 주말 출시될 예정이다. 관련 설계 논문은 이미 공개됐다.
핵심 정보
- Proprioceptive AI가 개발한 Cygnus 기술은 동결된 대규모 언어 모델에 자기 감지 어댑터를 추가해 내부 인지 기하를 읽을 수 있게 한다.
- 이 기술은 모델의 은닉 상태를 gl(4,R) 리 대수로 정의된 수학 공간에 투영해 주요 정밀도 신호를 담은 '다크 모드'를 분리함으로써 재훈련 없이도 모델 성능을 크게 높인다.
- 예를 들어 RTX 3090 그래픽카드 한 장만으로 Qwen-32B의 ARC-Challenge 벤치마크 정확도를 82.
- 97%로 끌어올렸다.
- 어댑터는 3B부터 405B까지 여러 모델을 지원하며,서비스 노드는 5만 사용자 동시 접속을 지원하고 이번 주말 출시될 예정이다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 튜토리얼 및 팁
- AI 점수
- 77
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 동결된 대규모 언어 모델 은닉 상태에 여전히 읽을 수 있는 행동 신호 존재, 신기술로 정확도 대폭 향상. 2026년 5월 8일. https://new.nat6.net/ko/news/cmovw0m8j00s3slcxklzwwqpj/