Туториалы и советы

Hugging Face ускорила генерацию текста с TensorFlow и XLA — в некоторых случаях более чем в 100 раз

Оригинальный заголовок:Faster Text Generation with TensorFlow and XLA

ИИ-резюме

Hugging Face объявила, что генерация текста в TensorFlow из 🤗 transformers теперь может ускоряться компиляцией XLA: в некоторых случаях более чем в 100 раз, а в большинстве бенчмарков — быстрее PyTorch, вплоть до 9 раз.

Ключевые моменты

  • Hugging Face объявила
  • что генерация текста в TensorFlow из 🤗 transformers теперь может ускоряться компиляцией XLA: в…
  • а в большинстве бенчмарков — быстрее PyTorch,вплоть до 9 раз.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Туториалы и советы
Оценка ИИ
61
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成,给出编译缓存机制、padding 技巧和实测数据,方法可直接复用。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Hugging Face ускорила генерацию текста с TensorFlow и XLA — в некоторых случаях более чем в 100 раз. 27 июля 2022. https://new.nat6.net/ru/news/my2h5oq9ycw1hh3rte2tkol51/

Смотреть все →