Ant inclusionAI veröffentlicht Open-Source-MoE-Basismodell Ling-2.6-1T-base mit Billionen Parametern
Originaltitel:inclusionAI/Ling-2.6-1T-base
KI-Zusammenfassung
Ling-2.6-1T-base ist ein von Ant inclusionAI als Open Source veröffentlichtes MoE-Basismodell mit Billionen Parametern (Gesamtparameter etwa 1T, aktiviert 63B). Es ist ein Upgrade von Ling-2.0-1T-base und nutzt eine lineare Attention-Architektur, die Lightning Attention und MLA im Verhältnis 7:1 kombiniert. Nach Transfer-Vortraining mit etwa 9,6T Tokens, kontinuierlichem Vortraining und Mittraining wurde das Kontextfenster schrittweise von 4K auf 256K erweitert. Bei Benchmarks wie MMLU (86,82), SimpleQA und LongBenchv2 (43,54) übertrifft es die Vorgängergeneration. Das Modell ist ausschließlich für Forschungszwecke gedacht (weiteres Vortraining, Feintuning, Destillation usw.) und bietet keine direkte Dialogfunktion.
Kernpunkte
- 6-1T-base ist ein von Ant inclusionAI als Open Source veröffentlichtes MoE-Basismodell mit…
- Es ist ein Upgrade von Ling-2.
- 0-1T-base und nutzt eine lineare Attention-Architektur,die Lightning Attention und MLA im…
- Nach Transfer-Vortraining mit etwa 9,6T Tokens,kontinuierlichem Vortraining und Mittraining wurde…
- Bei Benchmarks wie MMLU (86,82),SimpleQA und LongBenchv2 (43,54) übertrifft es die…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Ant inclusionAI veröffentlicht Open-Source-MoE-Basismodell Ling-2.6-1T-base mit Billionen Parametern. 2. Juni 2026. https://new.nat6.net/de/news/cmqg2a9rm02wlslsplna4jnm6/