论文与研究

介绍ARFBench:基于真实事件的时间序列问答基准

原文标题:Introducing ARFBench: A time series question-answering benchmark based on real incidents

AI 摘要

每年系统故障导致损失超万亿美元,工程师需通过分析时间序列数据快速定位问题。时间序列问答(TSQA)是关键运维任务,对AI模型构成挑战。为此,研究团队推出ARFBench基准,基于Datadog真实内部事件及遥测数据构建。测试显示,当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。团队提出混合TSFM-VLM模型,其整体性能接近前沿水平,为TSQA任务提供了新评估框架和改进方向。

关键信息

  • 每年系统故障导致损失超万亿美元,工程师需通过分析时间序列数据快速定位问题。
  • 时间序列问答(TSQA)是关键运维任务,对AI模型构成挑战。
  • 为此,研究团队推出ARFBench基准,基于Datadog真实内部事件及遥测数据构建。
  • 测试显示,当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。
  • 团队提出混合TSFM-VLM模型,其整体性能接近前沿水平,为TSQA任务提供了新评估框架和改进方向

速览

发布时间
更新时间
来源
CMU:Machine Learning Blog
分类
论文与研究
AI 评分
58
阅读原文 前往信息源阅读完整正文
推荐理由

CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准,结论很诚实,现有模型全拉胯。做 SRE Agent 的团队该看看,这比合成数据的 benchmark 有说服力得多。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:介绍ARFBench:基于真实事件的时间序列问答基准。2026年4月28日。https://new.nat6.net/news/cmoi4t62r00q0sle9i02ni14q/

查看全部 →