Статьи и исследования

Оптимизация Ling-2.6-1T на TPU с SGLang-JAX: одно ядро Pallas скрывает перемещение данных MoE в вычислениях

Оригинальный заголовок:Blog Optimizing Ling-2.6-1T on TPU with SGLang-JAX: Hiding MoE Data Movement Behind Compute with One Pallas Kernel SGLang-JAX now supports efficient serving of inclusionAI's Ling-2.6-1T on TPU v7x. With a working baseline in place, profiling pointed to the Mixture-of-Experts (MoE) path as the main bottleneck: each... Prayer, JamesBrianD, Haolin Fu, Haoguang Cai, Qinghan Chen

ИИ-резюме

SGLang-JAX теперь поддерживает эффективный вывод inclusionAI Ling-2.6-1T (разреженная MoE на 1T, 63B активных параметров, 256 маршрутизируемых экспертов, top-8 маршрутизация плюс общий эксперт) на TPU v7x. Команда разработала Fused MoE V2 — ядро Pallas, объединяющее scatter, FFN экспертов и gather; скрывая перемещение данных MoE в вычислениях, оно снизило задержку префилла MoE с 5,16 мс до 2,42 мс (на 53%), а задержку ядра декодирования — с 0,249 мс до 0,211 мс (примерно на 15%). Замена только ядра MoE повысила пропускную способность префилла на 24,8%, декодирования — на 18,5%–35,3%. В бенчмарке декодирования SGLang 16 чипов TPU v7x достигли пропускной способности вывода в 1,29 раза (mc=128) — 1,77 раза (mc=512) выше 16 GPU H200. Полный запуск также включает гибридный пул памяти KV/циклический, линейное внимание GLA и поддержку параллелизма данных с одним контроллером.

Ключевые моменты

  • SGLang-JAX теперь поддерживает эффективный вывод inclusionAI Ling-2.
  • 6-1T (разреженная MoE на 1T,63B активных параметров,256 маршрутизируемых экспертов,top-8…
  • Команда разработала Fused MoE V2 — ядро Pallas,объединяющее scatter,FFN экспертов и gather
  • скрывая перемещение данных MoE в вычислениях,оно снизило задержку префилла MoE с 5,16 мс до 2,42…
  • Замена только ядра MoE повысила пропускную способность префилла на 24,8%,декодирования — на…

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Статьи и исследования
Оценка ИИ
69
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

这是针对TPU上MoE推理的硬核优化复盘,用成本模型定位瓶颈,通过单内核融合把延迟砍半,对做大规模推理工程的团队是高质量参考。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Оптимизация Ling-2.6-1T на TPU с SGLang-JAX: одно ядро Pallas скрывает перемещение данных MoE в вычислениях. 17 июня 2026. https://new.nat6.net/ru/news/cmqiddvsx07xcslf0wcefjhm6/

Смотреть все →