모델 출시

TII, Falcon-Edge 시리즈 1.58bit BitNet 언어 모델 공개…1B·3B 두 규격

원제목:Falcon-Edge: A series of powerful, universal, fine-tunable 1.58bit language models.

AI 요약

TII의 Falcon-Edge 시리즈는 BitNet 아키텍처를 기반으로 삼값 가중치 {-1, 0, 1}을 사용해 직접 사전학습했으며, 1B와 3B 두 가지 파라미터 규격으로 base와 instruct 버전을 각각 제공한다. 모델은 약 1.5 Tera Tokens 규모의 내부 데이터 혼합으로 사전학습됐다.

핵심 정보

  • TII의 Falcon-Edge 시리즈는 BitNet 아키텍처를 기반으로 삼값 가중치 {-1,1}을 사용해 직접 사전학습했으며
  • 1B와 3B 두 가지 파라미터 규격으로 base와 instruct 버전을 각각 제공한다.
  • 5 Tera Tokens 규모의 내부 데이터 혼합으로 사전학습됐다.

한눈에 보기

게시
업데이트
출처
Hugging Face 社区博客(混合发现)
카테고리
모델 출시
AI 점수
64
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

原文解释了 BitNet 三值权重的训练范式和微调路径,读者可以据此判断 1.58bit 模型在端侧部署的适用性。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: TII, Falcon-Edge 시리즈 1.58bit BitNet 언어 모델 공개…1B·3B 두 규격. 2025년 5월 15일. https://new.nat6.net/ko/news/fm425yt03kg5jtbfgp99um7jm/

전체 보기 →