Релизы моделей

inclusionAI выпустила MingTok-Audio: первый унифицированный непрерывный речевой токенизатор

Оригинальный заголовок:inclusionAI/MingTok-Audio

ИИ-резюме

Команда inclusionAI представила MingTok-Audio — первый унифицированный непрерывный речевой токенизатор, эффективно объединяющий семантические и акустические признаки и пригодный для задач понимания и генерации речи. Модель основана на чисто причинной архитектуре Transformer, лишена свёрточных слоёв для повышения эффективности и использует VAE для моделирования непрерывных признаков с целью высококачественного восстановления аудио. В задаче восстановления речи при частоте кадров 50 её PESQ на тестовых наборах SEED-ZH и SEED-EN достигает 4,21 и 4,04 соответственно, SIM — 0,96, STOI — 0,98, что значительно превосходит сравниваемые модели. В нижестоящей задаче ASR она добилась более низкого уровня ошибок на нескольких диалектных наборах данных, например, WER на наборе Hunan Minnan составил всего 9,80%.

Ключевые моменты

  • Команда inclusionAI представила MingTok-Audio — первый унифицированный непрерывный речевой…
  • Модель основана на чисто причинной архитектуре Transformer,лишена свёрточных слоёв для повышения…
  • В задаче восстановления речи при частоте кадров 50 её PESQ на тестовых наборах SEED-ZH и SEED-EN…
  • В нижестоящей задаче ASR она добилась более низкого уровня ошибок на нескольких диалектных наборах…

Кратко

Опубликовано
Обновлено
Источник
蚂蚁 inclusionAI:GitHub 新仓库
Категория
Релизы моделей
Оценка ИИ
57
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

蚂蚁把语音 tokenizer 做到了 PESQ 4.2 的离谱分数,比第二名翻了快一倍,做语音理解和生成的团队值得拿这个当新 baseline 跑一下。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: inclusionAI выпустила MingTok-Audio: первый унифицированный непрерывный речевой токенизатор. 29 сентября 2025. https://new.nat6.net/ru/news/cmorb7ik40079slhfn285yff9/

Смотреть все →