Kertas penyelidikan

Sierra melancarkan penanda aras τ-bench, menilai prestasi dan kebolehpercayaan Ejen AI dalam senario sebenar

Tajuk asal:𝜏-Bench: Benchmarking AI agents for the real-world

Ringkasan AI

Pasukan penyelidik Sierra AI melancarkan penanda aras τ-bench (dua domain: τ-retail dan τ-airline), yang menilai keupayaan Ejen menyelesaikan tugas kompleks dan mematuhi polisi domain melalui interaksi dinamik berbilang pusingan antara pengguna simulasi LLM dan API alat, serta mengemukakan metrik kebolehpercayaan pass^k.

Maklumat penting

  • Pasukan penyelidik Sierra AI melancarkan penanda aras τ-bench (dua domain: τ-retail dan τ-airline)
  • yang menilai keupayaan Ejen menyelesaikan tugas kompleks dan mematuhi polisi domain melalui…
  • serta mengemukakan metrik kebolehpercayaan pass^k.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Sierra:Blog(RSS)
Kategori
Kertas penyelidikan
Skor AI
63
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

原文由团队自述基准设计动机与结果,读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Sierra melancarkan penanda aras τ-bench, menilai prestasi dan kebolehpercayaan Ejen AI dalam senario sebenar. 21 Jun 2024. https://new.nat6.net/ms/news/dnjp1m2isjqcspa7fy1kw92qo/

Lihat Semua →