Mga Papel at Pananaliksik

Ipinakilala ang ARFBench: Benchmark ng time series question answering batay sa totoong mga insidente

Orihinal na pamagat:Introducing ARFBench: A time series question-answering benchmark based on real incidents

AI summary

Bawat taon, lumalampas sa isang trilyong dolyar ang pagkalugi dahil sa mga system failure, at kailangang suriin ng mga engineer ang time series data para mabilis na matukoy ang problema. Ang time series question answering (TSQA) ay isang mahalagang gawain sa operations, at malaking hamon ito sa mga AI model. Dahil dito, inilunsad ng research team ang ARFBench benchmark, na binuo batay sa totoong internal na insidente at telemetry data ng Datadog. Ipinakita ng pagsubok na malaki pa ang puwang sa pagpapabuti ng mga nangungunang large language model, vision language model at time series foundation model sa ARFBench. Iminungkahi ng team ang hybrid na TSFM-VLM model, na ang pangkalahatang performance ay malapit na sa frontier level, na nagbibigay ng bagong evaluation framework at direksyon sa pagpapabuti para sa TSQA task.

Mahahalagang impormasyon

  • Bawat taon,lumalampas sa isang trilyong dolyar ang pagkalugi dahil sa mga system failure,at…
  • Ang time series question answering (TSQA) ay isang mahalagang gawain sa operations,at malaking…
  • Dahil dito,inilunsad ng research team ang ARFBench benchmark,na binuo batay sa totoong internal na…
  • Ipinakita ng pagsubok na malaki pa ang puwang sa pagpapabuti ng mga nangungunang large language…
  • Iminungkahi ng team ang hybrid na TSFM-VLM model,na ang pangkalahatang performance ay malapit na…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
CMU:Machine Learning Blog
Kategorya
Mga Papel at Pananaliksik
AI na marka
58
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准,结论很诚实,现有模型全拉胯。做 SRE Agent 的团队该看看,这比合成数据的 benchmark 有说服力得多。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Ipinakilala ang ARFBench: Benchmark ng time series question answering batay sa totoong mga insidente. 28 Abril 2026. https://new.nat6.net/fil/news/cmoi4t62r00q0sle9i02ni14q/

Tingnan lahat →