介绍ARFBench:基于真实事件的时间序列问答基准
原文标题:Introducing ARFBench: A time series question-answering benchmark based on real incidents
AI 摘要
每年系统故障导致损失超万亿美元,工程师需通过分析时间序列数据快速定位问题。时间序列问答(TSQA)是关键运维任务,对AI模型构成挑战。为此,研究团队推出ARFBench基准,基于Datadog真实内部事件及遥测数据构建。测试显示,当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。团队提出混合TSFM-VLM模型,其整体性能接近前沿水平,为TSQA任务提供了新评估框架和改进方向。
关键信息
- 每年系统故障导致损失超万亿美元,工程师需通过分析时间序列数据快速定位问题。
- 时间序列问答(TSQA)是关键运维任务,对AI模型构成挑战。
- 为此,研究团队推出ARFBench基准,基于Datadog真实内部事件及遥测数据构建。
- 测试显示,当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。
- 团队提出混合TSFM-VLM模型,其整体性能接近前沿水平,为TSQA任务提供了新评估框架和改进方向
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 58
推荐理由
CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准,结论很诚实,现有模型全拉胯。做 SRE Agent 的团队该看看,这比合成数据的 benchmark 有说服力得多。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:介绍ARFBench:基于真实事件的时间序列问答基准。2026年4月28日。https://new.nat6.net/news/cmoi4t62r00q0sle9i02ni14q/