Исследователи представили бенчмарк OpenDS-World для поиска агентов в открытом вебе

Авторы OpenDS-World предложили оценивать deep search на задачах, где агент работает с открытым вебом во время выполнения, а не получает заранее подготовленную подборку документов. Для этого они сформулировали задачу OpenDS: агент должен сам найти материалы, получить к ним доступ, сопоставить свидетельства из нескольких независимых источников и установить один фактический ответ. Такой формат проверяет всю цепочку исследования, включая шаги до чтения найденного материала.

Бенчмарк включает 200 сложных заданий. В них информация встречается в разных модальностях и форматах файлов, а для доступа к ней иногда требуется взаимодействовать со страницей. Авторы отдельно проверяли задания с участием людей, чтобы подтвердить пригодность свидетельств и однозначность ответа. Это важно для оценки: если у задачи несколько допустимых ответов или исходные материалы не подтверждают ни один, низкий балл трудно объяснить качеством поиска агента.

Авторы испытали 12 передовых моделей в одинаковой среде инструментов и по единому протоколу выполнения. Лучший результат составил 39,0% точных ответов. Для людей в исследовании указана точность 21,1% по 1000 независимых попыток. Эти числа описывают результаты в условиях данного бенчмарка; они не позволяют судить о превосходстве моделей над человеком в любом исследовании или поисковой задаче.

Помимо итогового ответа исследователи разобрали использование инструментов, стоимость поиска, момент завершения работы и восстановление после ошибок. Так можно увидеть, где именно длинная цепочка действий перестаёт работать: агенту недостаточно найти перспективную страницу, если он затем теряет нужный источник или неверно решает, что доказательств уже хватит. Авторы обнаружили различия в стратегиях моделей и сохраняющиеся сложности с координацией инструментов и управлением длительным поиском.

Задания OpenDS-World требуют собрать ответ из независимых веб-источников, поэтому оценка выходит за рамки извлечения одного фрагмента текста. Агенту приходится искать, открывать материалы и обрабатывать найденное в рамках одной задачи. Для сравнения исследовательских агентов такой протокол задаёт общие условия работы с инструментами, а разбор отдельных этапов помогает отличить неудачный поиск от ошибки при объединении уже найденных свидетельств.