Présentation d'ARFBench : un benchmark de questions-réponses sur séries temporelles basé sur des incidents réels
Titre original:Introducing ARFBench: A time series question-answering benchmark based on real incidents
Résumé IA
Chaque année, les défaillances système causent plus de mille milliards de dollars de pertes, et les ingénieurs doivent analyser rapidement les séries temporelles pour localiser les problèmes. Les questions-réponses sur séries temporelles (TSQA) sont une tâche opérationnelle clé qui met les modèles d'IA au défi. L'équipe de recherche a donc lancé ARFBench, un benchmark construit à partir d'incidents internes réels et de données de télémétrie de Datadog. Les tests montrent que les principaux grands modèles de langage, modèles vision-langage et modèles de base pour séries temporelles ont encore une marge d'amélioration importante sur ARFBench. L'équipe propose un modèle hybride TSFM-VLM dont les performances globales approchent l'état de l'art, offrant un nouveau cadre d'évaluation et des pistes d'amélioration pour la tâche TSQA.
Points clés
- Chaque année,les défaillances système causent plus de mille milliards de dollars de pertes,et les…
- Les questions-réponses sur séries temporelles (TSQA) sont une tâche opérationnelle clé qui met les…
- L'équipe de recherche a donc lancé ARFBench,un benchmark construit à partir d'incidents internes…
- Les tests montrent que les principaux grands modèles de langage,modèles vision-langage et modèles…
- L'équipe propose un modèle hybride TSFM-VLM dont les performances globales approchent l'état de…
En bref
- Publié
- Mis à jour
- Source
- CMU:Machine Learning Blog
- Catégorie
- Articles et recherche
- Score IA
- 58
CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准,结论很诚实,现有模型全拉胯。做 SRE Agent 的团队该看看,这比合成数据的 benchmark 有说服力得多。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Présentation d'ARFBench : un benchmark de questions-réponses sur séries temporelles basé sur des incidents réels. 28. avril 2026. https://new.nat6.net/fr/news/cmoi4t62r00q0sle9i02ni14q/