Skip to content

AI Radar

UniPat AI выпустила бенчмарк SPU, где AI-агенты предсказывают исход реальных лабораторных экспериментов

UniPat AI выпустила бенчмарк SPU, в котором AI-агенты предсказывают исход настоящих лабораторных экспериментов: лучшая из 13 конфигураций набрала в среднем 0,486 из 1. Агент получает условия опыта и восемь часов на исследование, затем ранжирует варианты по ожидаемому результату. По данным компании, ни одна модель пока не предсказывает надёжно.

15 ноября 2026 г.4 мин чтенияИсточник: Pandaily · QbitAI China
исследованиячипыагенты
00

Science Prediction Universe состоит из 116 задач, за которыми стоят 4207 wet-lab экспериментов, то есть опытов с реальными реактивами и клетками, а не расчётов. Они относятся к химии, материаловедению, биологии и медицине. Сто публичных задач собраны из 85 статей, вышедших в 11 журналах Nature Portfolio с января 2025 по август 2026 года. Ещё 16 закрытых задач построены на неопубликованных опытах лабораторий-партнёров: VHH-нанотела, условия реакций, электролиты и варианты антитела Magrolimab. Их UniPat AI не публикует, чтобы ответы нельзя было найти в открытых источниках.

В каждой задаче зафиксированы кандидаты, материалы, условия и способ измерения. Агент работает восемь часов в контейнере с 8 ядрами CPU, 16 ГиБ памяти и одной видеокартой NVIDIA H20, может искать в интернете и ставить научный софт. На выходе он сдаёт ранжирование кандидатов по измеряемой величине. Оценку считает отдельный контейнер без доступа к сети по корреляции Спирмена: 1 означает идеальное совпадение порядка, 0 соответствует случайной перестановке. Выводы инструментов автоматически проверяются на DOI и названия исходных статей. Для каждой задачи генерируются 4000 случайных ранжирований, и порогом случайности служит их 95-й перцентиль.

В первом раунде участвовали 12 моделей в 13 конфигурациях. Самое высокое среднее, 0,486, у Claude Opus 5.5, но большинство его запусков закончились отказами по соображениям безопасности, поэтому оценён он на меньшем числе задач. Порог случайности конфигурации преодолевают в 34–52% задач. Шесть конфигураций образуют лидирующую группу, которая на одних и тех же задачах набирает примерно на 0,15 больше остальных. Отрицательный результат, то есть порядок, обратный реальному, у лидеров встречается примерно в 9% задач, у остальных в 22%. Это данные самой UniPat AI.

Авторы считают узким местом суждение, а не работу с инструментами. Агенты согласны друг с другом заметно чаще, чем с экспериментом: 0,52 против 0,33. Показателен разбор задачи, где одну реакцию полимеризации проводили в 12 растворителях и нужно было упорядочить их по массе выделенного полимера. Opus 5.5 получил 0,874 и верно расставил 56 пар из 66, Qwen3.8 получил −0,126 и угадал 30 пар. Qwen ранжировал по растворимости этилена, Opus смотрел на смешиваемость сырья и совместимость катализатора с растворителем. В ходе расчётов Qwen сам заметил проблему, но критерий ранжирования не поменял.

Закрытые задачи показали, насколько результат зависит от измеряемой величины. На одном и том же наборе электролитов все 13 конфигураций предсказали ионную проводимость с корреляцией 0,89–0,95. Для электрохимического окна оценки 12 конфигураций легли в диапазон от −0,55 до 0,07, и ни одна не превысила порог случайности. По дисциплинам лидеры тоже разные: в химии Opus 5.5, в материаловедении Fable 5.1, в биологии GPT-6 Astra Medium, в медицине Opus 5.

Дополнительные вычисления не помогли. Когда GPT-6 Astra перевели со средней интенсивности рассуждений на максимальную, медианное время работы выросло в 4,8 раза, медианная стоимость API в 5,3 раза, а оценка почти не изменилась. По логам 79 завершённых задач модель обычно формировала ответ, пройдя медианные 26% времени запуска, а дальше вносила мелкие правки.

Консультировали проект специалисты из Стэнфорда, Корнелла, Гарварда, Пекинского университета, HKUST и FutureHouse. Публичные задачи выложены на Hugging Face в формате Harbor под лицензией CC BY 4.0, код лежит на GitHub под Apache 2.0.

Почему это важно

Лабораторный опыт стоит недель работы и дорогих реактивов, поэтому умение заранее отсеять слабые варианты ценится в науке очень высоко. SPU показывает, что поручать этот отбор агентам рано: даже сильнейшие модели обходят случайность лишь примерно в половине задач.

Мнение редакции

Самая любопытная цифра здесь 0,52 против 0,33: модели согласны между собой сильнее, чем с реальностью. Похоже, они делят одни и те же учебниковые эвристики и ошибаются хором, так что ансамбль из нескольких агентов вряд ли спасёт. А вот закрытые наборы неопубликованных опытов, как у UniPat AI, могут стать самым дефицитным ресурсом для обучения научных моделей.

Первоисточники и подтверждения

Подборку проверяет редакция DSML. AI помогает дедуплицировать сигналы и готовить текст, но опубликованный выпуск остаётся редакционным продуктом, а не лентой отдельных каналов.

15 ноября 2026 г.
  1. 01Исследователи заявили, что DeepSeek и Kimi обучали на запрещённых к экспорту чипах Nvidia Blackwell
  2. 02Власти США проверяют, связан ли ИИ-инструмент SMART с остановкой вылетов по всей стране
  3. 03Thinking Machines опубликовала веса модели Inkling 2 Small под лицензией Apache 2.0
  4. 04Gemini 4 Carbon возглавила математический бенчмарк MathArena