Ipinakilala ang ARFBench: Benchmark ng time series question answering batay sa totoong mga insidente
Orihinal na pamagat:Introducing ARFBench: A time series question-answering benchmark based on real incidents
AI summary
Bawat taon, lumalampas sa isang trilyong dolyar ang pagkalugi dahil sa mga system failure, at kailangang suriin ng mga engineer ang time series data para mabilis na matukoy ang problema. Ang time series question answering (TSQA) ay isang mahalagang gawain sa operations, at malaking hamon ito sa mga AI model. Dahil dito, inilunsad ng research team ang ARFBench benchmark, na binuo batay sa totoong internal na insidente at telemetry data ng Datadog. Ipinakita ng pagsubok na malaki pa ang puwang sa pagpapabuti ng mga nangungunang large language model, vision language model at time series foundation model sa ARFBench. Iminungkahi ng team ang hybrid na TSFM-VLM model, na ang pangkalahatang performance ay malapit na sa frontier level, na nagbibigay ng bagong evaluation framework at direksyon sa pagpapabuti para sa TSQA task.
Mahahalagang impormasyon
- Bawat taon,lumalampas sa isang trilyong dolyar ang pagkalugi dahil sa mga system failure,at…
- Ang time series question answering (TSQA) ay isang mahalagang gawain sa operations,at malaking…
- Dahil dito,inilunsad ng research team ang ARFBench benchmark,na binuo batay sa totoong internal na…
- Ipinakita ng pagsubok na malaki pa ang puwang sa pagpapabuti ng mga nangungunang large language…
- Iminungkahi ng team ang hybrid na TSFM-VLM model,na ang pangkalahatang performance ay malapit na…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- CMU:Machine Learning Blog
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 58
CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准,结论很诚实,现有模型全拉胯。做 SRE Agent 的团队该看看,这比合成数据的 benchmark 有说服力得多。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Ipinakilala ang ARFBench: Benchmark ng time series question answering batay sa totoong mga insidente. 28 Abril 2026. https://new.nat6.net/fil/news/cmoi4t62r00q0sle9i02ni14q/