AI Radar
UniPat AI выпустила бенчмарк SPU, где AI-агенты предсказывают исход реальных лабораторных экспериментов
UniPat AI выпустила бенчмарк SPU, в котором AI-агенты предсказывают исход настоящих лабораторных экспериментов: лучшая из 13 конфигураций набрала в среднем 0,486 из 1. Агент получает условия опыта и восемь часов на исследование, затем ранжирует варианты по ожидаемому результату. По данным компании, ни одна модель пока не предсказывает надёжно.
Science Prediction Universe состоит из 116 задач, за которыми стоят 4207 wet-lab экспериментов, то есть опытов с реальными реактивами и клетками, а не расчётов. Они относятся к химии, материаловедению, биологии и медицине. Сто публичных задач собраны из 85 статей, вышедших в 11 журналах Nature Portfolio с января 2025 по август 2026 года. Ещё 16 закрытых задач построены на неопубликованных опытах лабораторий-партнёров: VHH-нанотела, условия реакций, электролиты и варианты антитела Magrolimab. Их UniPat AI не публикует, чтобы ответы нельзя было найти в открытых источниках.
В каждой задаче зафиксированы кандидаты, материалы, условия и способ измерения. Агент работает восемь часов в контейнере с 8 ядрами CPU, 16 ГиБ памяти и одной видеокартой NVIDIA H20, может искать в интернете и ставить научный софт. На выходе он сдаёт ранжирование кандидатов по измеряемой величине. Оценку считает отдельный контейнер без доступа к сети по корреляции Спирмена: 1 означает идеальное совпадение порядка, 0 соответствует случайной перестановке. Выводы инструментов автоматически проверяются на DOI и названия исходных статей. Для каждой задачи генерируются 4000 случайных ранжирований, и порогом случайности служит их 95-й перцентиль.
В первом раунде участвовали 12 моделей в 13 конфигурациях. Самое высокое среднее, 0,486, у Claude Opus 5.5, но большинство его запусков закончились отказами по соображениям безопасности, поэтому оценён он на меньшем числе задач. Порог случайности конфигурации преодолевают в 34–52% задач. Шесть конфигураций образуют лидирующую группу, которая на одних и тех же задачах набирает примерно на 0,15 больше остальных. Отрицательный результат, то есть порядок, обратный реальному, у лидеров встречается примерно в 9% задач, у остальных в 22%. Это данные самой UniPat AI.
Авторы считают узким местом суждение, а не работу с инструментами. Агенты согласны друг с другом заметно чаще, чем с экспериментом: 0,52 против 0,33. Показателен разбор задачи, где одну реакцию полимеризации проводили в 12 растворителях и нужно было упорядочить их по массе выделенного полимера. Opus 5.5 получил 0,874 и верно расставил 56 пар из 66, Qwen3.8 получил −0,126 и угадал 30 пар. Qwen ранжировал по растворимости этилена, Opus смотрел на смешиваемость сырья и совместимость катализатора с растворителем. В ходе расчётов Qwen сам заметил проблему, но критерий ранжирования не поменял.
Закрытые задачи показали, насколько результат зависит от измеряемой величины. На одном и том же наборе электролитов все 13 конфигураций предсказали ионную проводимость с корреляцией 0,89–0,95. Для электрохимического окна оценки 12 конфигураций легли в диапазон от −0,55 до 0,07, и ни одна не превысила порог случайности. По дисциплинам лидеры тоже разные: в химии Opus 5.5, в материаловедении Fable 5.1, в биологии GPT-6 Astra Medium, в медицине Opus 5.
Дополнительные вычисления не помогли. Когда GPT-6 Astra перевели со средней интенсивности рассуждений на максимальную, медианное время работы выросло в 4,8 раза, медианная стоимость API в 5,3 раза, а оценка почти не изменилась. По логам 79 завершённых задач модель обычно формировала ответ, пройдя медианные 26% времени запуска, а дальше вносила мелкие правки.
Консультировали проект специалисты из Стэнфорда, Корнелла, Гарварда, Пекинского университета, HKUST и FutureHouse. Публичные задачи выложены на Hugging Face в формате Harbor под лицензией CC BY 4.0, код лежит на GitHub под Apache 2.0.
Почему это важно
Лабораторный опыт стоит недель работы и дорогих реактивов, поэтому умение заранее отсеять слабые варианты ценится в науке очень высоко. SPU показывает, что поручать этот отбор агентам рано: даже сильнейшие модели обходят случайность лишь примерно в половине задач.
Мнение редакции
Самая любопытная цифра здесь 0,52 против 0,33: модели согласны между собой сильнее, чем с реальностью. Похоже, они делят одни и те же учебниковые эвристики и ошибаются хором, так что ансамбль из нескольких агентов вряд ли спасёт. А вот закрытые наборы неопубликованных опытов, как у UniPat AI, могут стать самым дефицитным ресурсом для обучения научных моделей.
Первоисточники и подтверждения
Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.
