Статьи и исследования

Представлен ARFBench: бенчмарк вопросов и ответов по временным рядам на основе реальных инцидентов

Оригинальный заголовок:Introducing ARFBench: A time series question-answering benchmark based on real incidents

ИИ-резюме

Ежегодно системные сбои приводят к потерям более триллиона долларов, и инженерам приходится быстро локализовать проблемы, анализируя данные временных рядов. Вопросы и ответы по временным рядам (TSQA) — ключевая задача эксплуатации, представляющая сложность для моделей ИИ. Поэтому исследовательская команда представила бенчмарк ARFBench, построенный на реальных внутренних инцидентах Datadog и данных телеметрии. Тесты показывают, что у ведущих больших языковых моделей, визуально-языковых моделей и базовых моделей временных рядов есть значительный потенциал улучшения на ARFBench. Команда предложила гибридную модель TSFM-VLM, общая производительность которой близка к передовому уровню, что даёт новый оценочный фреймворк и направление улучшения для задач TSQA.

Ключевые моменты

  • Ежегодно системные сбои приводят к потерям более триллиона долларов,и инженерам приходится быстро…
  • Вопросы и ответы по временным рядам (TSQA) — ключевая задача эксплуатации,представляющая сложность…
  • Поэтому исследовательская команда представила бенчмарк ARFBench,построенный на реальных внутренних…
  • Тесты показывают,что у ведущих больших языковых моделей,визуально-языковых моделей и базовых…
  • Команда предложила гибридную модель TSFM-VLM,общая производительность которой близка к передовому…

Кратко

Опубликовано
Обновлено
Источник
CMU:Machine Learning Blog
Категория
Статьи и исследования
Оценка ИИ
58
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准,结论很诚实,现有模型全拉胯。做 SRE Agent 的团队该看看,这比合成数据的 benchmark 有说服力得多。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Представлен ARFBench: бенчмарк вопросов и ответов по временным рядам на основе реальных инцидентов. 28 апреля 2026. https://new.nat6.net/ru/news/cmoi4t62r00q0sle9i02ni14q/

Смотреть все →