Kertas penyelidikan

Ramalan berbilang token beku percepat model Gemini Nano pada Pixel

Tajuk asal:Accelerating Gemini Nano models on Pixel with frozen Multi-Token Prediction

Ringkasan AI

Google Research mencadangkan seni bina baharu yang mengubah suai Multi-Token Prediction (MTP) pada model Gemini Nano v3 yang telah dibekukan, untuk mempercepat inferens pada peranti siri Pixel 9 dan 10. Kaedah ini berdasarkan rangka kerja EAGLE dan CALM, tidak memerlukan latihan model draf berasingan yang mengambil memori, dan mencapai pecutan melalui strategi "keluar lewat". Fungsi ringkasan pemberitahuan AI dan pembetulan teks kini menjana teks dengan lebih pantas dan menggunakan kurang tenaga, tanpa pembangun perlu menyelaraskan model berasingan bagi setiap tugas baharu.

Maklumat penting

  • Google Research mencadangkan seni bina baharu yang mengubah suai Multi-Token Prediction (MTP) pada…
  • Kaedah ini berdasarkan rangka kerja EAGLE dan CALM,tidak memerlukan latihan model draf berasingan…
  • Fungsi ringkasan pemberitahuan AI dan pembetulan teks kini menjana teks dengan lebih pantas dan…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Google Research:Blog(网页)
Kategori
Kertas penyelidikan
Skor AI
55
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

谷歌这篇技术博客值得端侧开发者细读,他们把多令牌预测硬是装进了已部署的 Nano 模型,Pixel 上生成加速五成,还省了 130MB 内存,零拷贝架构的想法挺巧,但没法直接复现,主要是开脑洞用的。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Ramalan berbilang token beku percepat model Gemini Nano pada Pixel. 26 Jun 2026. https://new.nat6.net/ms/news/cmqwtvowe0035slp023899gx2/

Lihat Semua →