Sierra melancarkan penanda aras τ-bench, menilai prestasi dan kebolehpercayaan Ejen AI dalam senario sebenar
Tajuk asal:𝜏-Bench: Benchmarking AI agents for the real-world
Ringkasan AI
Pasukan penyelidik Sierra AI melancarkan penanda aras τ-bench (dua domain: τ-retail dan τ-airline), yang menilai keupayaan Ejen menyelesaikan tugas kompleks dan mematuhi polisi domain melalui interaksi dinamik berbilang pusingan antara pengguna simulasi LLM dan API alat, serta mengemukakan metrik kebolehpercayaan pass^k.
Maklumat penting
- Pasukan penyelidik Sierra AI melancarkan penanda aras τ-bench (dua domain: τ-retail dan τ-airline)
- yang menilai keupayaan Ejen menyelesaikan tugas kompleks dan mematuhi polisi domain melalui…
- serta mengemukakan metrik kebolehpercayaan pass^k.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Sierra:Blog(RSS)
- Kategori
- Kertas penyelidikan
- Skor AI
- 63
原文由团队自述基准设计动机与结果,读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Sierra melancarkan penanda aras τ-bench, menilai prestasi dan kebolehpercayaan Ejen AI dalam senario sebenar. 21 Jun 2024. https://new.nat6.net/ms/news/dnjp1m2isjqcspa7fy1kw92qo/