Другое

Ulysses Sequence Parallelism: обучение с контекстом в миллион токенов

Оригинальный заголовок:Ulysses Sequence Parallelism: Training with Million-Token Contexts

ИИ-резюме

Исследовательская команда представила метод последовательного параллелизма Ulysses — новую технологию для обучения больших языковых моделей. Метод обеспечивает параллельную обработку сверхдлинных контекстов путём разделения и перегруппировки длинных последовательностей между устройствами по определённым измерениям. Ключевое изменение заключается в возможности эффективно обучать модели с длиной контекста до миллиона токенов, преодолевая ограничения существующих методов по масштабированию длины последовательности. Этот прогресс делает возможной обработку книг, длинных документов и других сверхдлинных текстов при сохранении высокой эффективности обучения и обеспечивает ключевую технологическую поддержку демократизации и развития открытого ИИ.

Ключевые моменты

  • Исследовательская команда представила метод последовательного параллелизма Ulysses — новую…
  • Метод обеспечивает параллельную обработку сверхдлинных контекстов путём разделения и…
  • Ключевое изменение заключается в возможности эффективно обучать модели с длиной контекста до…
  • Этот прогресс делает возможной обработку книг,длинных документов и других сверхдлинных текстов при…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Другое
Оценка ИИ
76
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

百万 token 训练的序列并行方案,长上下文模型训练的关键工程突破

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Ulysses Sequence Parallelism: обучение с контекстом в миллион токенов. 9 марта 2026. https://new.nat6.net/ru/news/cmoegbhaj0095slxxvq69cjun/

Смотреть все →