TII、1.58bit BitNet 言語モデル Falcon-Edge シリーズをリリース、1B と 3B の 2 サイズを用意
原題:Falcon-Edge: A series of powerful, universal, fine-tunable 1.58bit language models.
AI 要約
TII の Falcon-Edge シリーズは BitNet アーキテクチャに基づき、三値重み {-1, 0, 1} で直接事前トレーニングされ、1B と 3B の 2 種類のパラメータサイズを提供する。それぞれ base 版と instruct 版があり、約 1.5 Tera Tokens の内部データミックスで事前トレーニングされている。
要点
- TII の Falcon-Edge シリーズは BitNet アーキテクチャに基づき、三値重み {-1,0,1} で直接事前トレーニングされ、1B と 3B の 2 種類のパラメータサイズを提供する。
- それぞれ base 版と instruct 版があり、約 1.
- 5 Tera Tokens の内部データミックスで事前トレーニングされている
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 64
おすすめの理由
原文解释了 BitNet 三值权重的训练范式和微调路径,读者可以据此判断 1.58bit 模型在端侧部署的适用性。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:TII、1.58bit BitNet 言語モデル Falcon-Edge シリーズをリリース、1B と 3B の 2 サイズを用意。2025年5月15日。https://new.nat6.net/ja/news/fm425yt03kg5jtbfgp99um7jm/