Modellveröffentlichungen

Ant inclusionAI veröffentlicht Open-Source-MoE-Basismodell Ling-2.6-1T-base mit Billionen Parametern

Originaltitel:inclusionAI/Ling-2.6-1T-base

KI-Zusammenfassung

Ling-2.6-1T-base ist ein von Ant inclusionAI als Open Source veröffentlichtes MoE-Basismodell mit Billionen Parametern (Gesamtparameter etwa 1T, aktiviert 63B). Es ist ein Upgrade von Ling-2.0-1T-base und nutzt eine lineare Attention-Architektur, die Lightning Attention und MLA im Verhältnis 7:1 kombiniert. Nach Transfer-Vortraining mit etwa 9,6T Tokens, kontinuierlichem Vortraining und Mittraining wurde das Kontextfenster schrittweise von 4K auf 256K erweitert. Bei Benchmarks wie MMLU (86,82), SimpleQA und LongBenchv2 (43,54) übertrifft es die Vorgängergeneration. Das Modell ist ausschließlich für Forschungszwecke gedacht (weiteres Vortraining, Feintuning, Destillation usw.) und bietet keine direkte Dialogfunktion.

Kernpunkte

  • 6-1T-base ist ein von Ant inclusionAI als Open Source veröffentlichtes MoE-Basismodell mit…
  • Es ist ein Upgrade von Ling-2.
  • 0-1T-base und nutzt eine lineare Attention-Architektur,die Lightning Attention und MLA im…
  • Nach Transfer-Vortraining mit etwa 9,6T Tokens,kontinuierlichem Vortraining und Mittraining wurde…
  • Bei Benchmarks wie MMLU (86,82),SimpleQA und LongBenchv2 (43,54) übertrifft es die…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
蚂蚁 inclusionAI:HuggingFace 新模型
Kategorie
Modellveröffentlichungen
KI-Bewertung
61
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Ant inclusionAI veröffentlicht Open-Source-MoE-Basismodell Ling-2.6-1T-base mit Billionen Parametern. 2. Juni 2026. https://new.nat6.net/de/news/cmqg2a9rm02wlslsplna4jnm6/

Alle ansehen →