Статьи и исследования

Sierra выпустила бенчмарк τ-bench для оценки работы и надёжности ИИ-агентов в реальных сценариях

Оригинальный заголовок:𝜏-Bench: Benchmarking AI agents for the real-world

ИИ-резюме

Исследовательская команда Sierra AI выпустила бенчмарк τ-bench (домены τ-retail и τ-airline), который через многораундовое динамическое взаимодействие LLM-симулированных пользователей с API инструментов оценивает способность агентов выполнять сложные задачи с соблюдением доменных политик, и предложила метрику надёжности pass^k.

Ключевые моменты

  • Исследовательская команда Sierra AI выпустила бенчмарк τ-bench (домены τ-retail и τ-airline)
  • который через многораундовое динамическое взаимодействие LLM-симулированных пользователей с API…
  • и предложила метрику надёжности pass^k.

Кратко

Опубликовано
Обновлено
Источник
Sierra:Blog(RSS)
Категория
Статьи и исследования
Оценка ИИ
63
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文由团队自述基准设计动机与结果,读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Sierra выпустила бенчмарк τ-bench для оценки работы и надёжности ИИ-агентов в реальных сценариях. 21 июня 2024. https://new.nat6.net/ru/news/dnjp1m2isjqcspa7fy1kw92qo/

Смотреть все →