Meinung

Ant Group: Zhou Jun auf der AICon – von Token-Menge zu Token-Dichte, Effizienzpriorität bei Billionen-Parameter-Modellen

Originaltitel:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

KI-Zusammenfassung

Ant-Group-Vizepräsident Zhou Jun erklärte in seiner AICon-Rede, dass die Rechenkosten eines Billionen-Parameter-Modells pro 15 Minuten Laufzeit etwa einem Tesla entsprechen; Effizienz sei das drängendste Problem im Agent-Zeitalter. Das Team schlägt den Wechsel von „mehr Token“ zu „höherer Token-Dichte“ vor und nutzt eine hybride lineare Attention-Architektur aus 7 Teilen Lightning Attention und 1 Teil MLA, wodurch die Kosten für 256K langen Kontext von exponentiell auf linear sinken und mehr Rechenleistung fürs Denken verfügbar wird. Der Kpop-Algorithmus unterscheidet Tool-Aufrufe von natürlicher Sprache; kombiniert mit Chain-of-Thought-Pruning und Selbst-Destillation sinkt die Token-Ausgabe um etwa das Vierfache, ohne dass die Fähigkeiten abnehmen. Bei Benchmarks wie LongBench und BFCL gibt es deutliche Verbesserungen; ein Modell mit 100 Milliarden Parametern übertrifft bei Agent-Aufgaben teils größere Modelle; das kleine Modell flash erreicht 2,4-fachen Durchsatz, und die Kosten für fünf Dialogrunden sinken um mehr als das Zehnfache.

Kernpunkte

  • Ant-Group-Vizepräsident Zhou Jun erklärte in seiner AICon-Rede,dass die Rechenkosten eines…
  • Effizienz sei das drängendste Problem im Agent-Zeitalter.
  • Das Team schlägt den Wechsel von „mehr Token“ zu „höherer Token-Dichte“ vor und nutzt eine hybride…
  • Der Kpop-Algorithmus unterscheidet Tool-Aufrufe von natürlicher Sprache
  • kombiniert mit Chain-of-Thought-Pruning und Selbst-Destillation sinkt die Token-Ausgabe um etwa…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:蚂蚁百灵(Ling)
Kategorie
Meinung
KI-Bewertung
64
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Ant Group: Zhou Jun auf der AICon – von Token-Menge zu Token-Dichte, Effizienzpriorität bei Billionen-Parameter-Modellen. 8. Juli 2026. https://new.nat6.net/de/news/cmrbdsefa02yjihl17gg7mhx3/

Alle ansehen →