モデル公開

TII、1.58bit BitNet 言語モデル Falcon-Edge シリーズをリリース、1B と 3B の 2 サイズを用意

原題:Falcon-Edge: A series of powerful, universal, fine-tunable 1.58bit language models.

AI 要約

TII の Falcon-Edge シリーズは BitNet アーキテクチャに基づき、三値重み {-1, 0, 1} で直接事前トレーニングされ、1B と 3B の 2 種類のパラメータサイズを提供する。それぞれ base 版と instruct 版があり、約 1.5 Tera Tokens の内部データミックスで事前トレーニングされている。

要点

  • TII の Falcon-Edge シリーズは BitNet アーキテクチャに基づき、三値重み {-1,0,1} で直接事前トレーニングされ、1B と 3B の 2 種類のパラメータサイズを提供する。
  • それぞれ base 版と instruct 版があり、約 1.
  • 5 Tera Tokens の内部データミックスで事前トレーニングされている

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
モデル公開
AI スコア
64
原文を読む 情報源で全文を読む
おすすめの理由

原文解释了 BitNet 三值权重的训练范式和微调路径,读者可以据此判断 1.58bit 模型在端侧部署的适用性。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:TII、1.58bit BitNet 言語モデル Falcon-Edge シリーズをリリース、1B と 3B の 2 サイズを用意。2025年5月15日。https://new.nat6.net/ja/news/fm425yt03kg5jtbfgp99um7jm/

すべて見る →