Eingefrorene Multi-Token-Vorhersage beschleunigt Gemini Nano auf Pixel-Geräten
Originaltitel:Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction
KI-Zusammenfassung
Google Research schlägt eine neue Architektur vor, die Multi-Token Prediction (MTP) auf dem eingefrorenen Gemini-Nano-v3-Modell nachrüstet, um die On-Device-Inferenz auf Pixel 9 und 10 zu beschleunigen. Die Methode basiert auf dem EAGLE-Framework und CALM, benötigt kein separat trainiertes, speicherintensives Draft-Modell und erreicht die Beschleunigung über eine „Late-Exit“-Strategie. KI-Benachrichtigungszusammenfassungen und Korrekturfunktionen erzeugen dadurch deutlich schneller Text bei geringerem Energieverbrauch; Entwickler müssen nicht für jede neue Aufgabe ein eigenes Modell feinabstimmen.
Kernpunkte
- Google Research schlägt eine neue Architektur vor,die Multi-Token Prediction (MTP) auf dem…
- Die Methode basiert auf dem EAGLE-Framework und CALM,benötigt kein separat…
- KI-Benachrichtigungszusammenfassungen und Korrekturfunktionen erzeugen dadurch deutlich schneller…
- Entwickler müssen nicht für jede neue Aufgabe ein eigenes Modell feinabstimmen.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Google Research:Blog(网页)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 55
谷歌这篇技术博客值得端侧开发者细读,他们把多令牌预测硬是装进了已部署的 Nano 模型,Pixel 上生成加速五成,还省了 130MB 内存,零拷贝架构的想法挺巧,但没法直接复现,主要是开脑洞用的。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Eingefrorene Multi-Token-Vorhersage beschleunigt Gemini Nano auf Pixel-Geräten. 26. Juni 2026. https://new.nat6.net/de/news/cmqwtvowe0035slp023899gx2/