Представлен ARFBench: бенчмарк вопросов и ответов по временным рядам на основе реальных инцидентов
Оригинальный заголовок:Introducing ARFBench: A time series question-answering benchmark based on real incidents
ИИ-резюме
Ежегодно системные сбои приводят к потерям более триллиона долларов, и инженерам приходится быстро локализовать проблемы, анализируя данные временных рядов. Вопросы и ответы по временным рядам (TSQA) — ключевая задача эксплуатации, представляющая сложность для моделей ИИ. Поэтому исследовательская команда представила бенчмарк ARFBench, построенный на реальных внутренних инцидентах Datadog и данных телеметрии. Тесты показывают, что у ведущих больших языковых моделей, визуально-языковых моделей и базовых моделей временных рядов есть значительный потенциал улучшения на ARFBench. Команда предложила гибридную модель TSFM-VLM, общая производительность которой близка к передовому уровню, что даёт новый оценочный фреймворк и направление улучшения для задач TSQA.
Ключевые моменты
- Ежегодно системные сбои приводят к потерям более триллиона долларов,и инженерам приходится быстро…
- Вопросы и ответы по временным рядам (TSQA) — ключевая задача эксплуатации,представляющая сложность…
- Поэтому исследовательская команда представила бенчмарк ARFBench,построенный на реальных внутренних…
- Тесты показывают,что у ведущих больших языковых моделей,визуально-языковых моделей и базовых…
- Команда предложила гибридную модель TSFM-VLM,общая производительность которой близка к передовому…
Кратко
- Опубликовано
- Обновлено
- Источник
- CMU:Machine Learning Blog
- Категория
- Статьи и исследования
- Оценка ИИ
- 58
CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准,结论很诚实,现有模型全拉胯。做 SRE Agent 的团队该看看,这比合成数据的 benchmark 有说服力得多。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Представлен ARFBench: бенчмарк вопросов и ответов по временным рядам на основе реальных инцидентов. 28 апреля 2026. https://new.nat6.net/ru/news/cmoi4t62r00q0sle9i02ni14q/