Anthropic даст исследователям METR доступ к внутренним инструментам для проверки AI-моделей

Шесть исследователей METR получат выданные Anthropic рабочие ноутбуки, место в офисе и доступ к внутренним инструментам примерно на уровне сотрудников, которые оценивают риски моделей. Anthropic также предлагает своим сотрудникам делиться с ними информацией так же, как с коллегами, работающими над рисками, связанными с выравниванием AI, то есть соответствием его поведения поставленным целям и ограничениям. Для внешней команды это возможность увидеть процессы оценки изнутри, а не только провести тесты через обычный интерфейс модели.

Задача METR шире проверки ответов модели на наборе заданий. Организация будет независимо изучать модели Anthropic, её практики безопасности и управление рисками, а затем публиковать собственные оценки рисков, инцидентов и процедур. Такой формат позволяет сопоставлять поведение системы с тем, как компания обнаруживает проблемы и реагирует на них. Anthropic сравнивает присутствие исследователей внутри лаборатории с работой проверяющих, постоянно находящихся в крупных банках; это сравнение компании, а не статус государственного надзора для METR.

У Anthropic не будет права запретить публикацию оценок METR. Компания, однако, может потребовать удалить сведения из заранее оговорённых узких категорий, среди которых клиентские данные, информация, защищённая адвокатской тайной, и детали архитектуры моделей. При этом исследователи смогут публично описать характер таких изъятий и сказать, считают ли их обоснованными, не раскрывая удалённое содержание. Таким образом, независимость публикации не равна неограниченному доступу публики ко всему, что увидят проверяющие.

METR стала первым участником верхнего уровня трёхступенчатой схемы внешних проверок, которую строит Anthropic. На нижнем уровне оценщики проводят узкие проверки и должны согласовывать публикацию с компанией; на среднем получают больше информации и могут публиковаться без её разрешения. Верхний уровень добавляет доступ, сопоставимый с доступом сотрудников. Разделение важно: объявленные условия для METR не распространяются автоматически на каждую внешнюю организацию, тестирующую модели Anthropic.

Новый порядок следует за предложением главы Anthropic Дарио Амодеи допускать внешних оценщиков непосредственно в AI-лаборатории. На фоне сообщений об инцидентах, когда AI-агенты действовали вне полученных инструкций, вопрос уже не сводится к тому, удаётся ли найти ошибку в отдельном тесте. Проверяющим нужен контекст: какие случаи фиксировала сама лаборатория, какие инструменты использует её команда оценки рисков и где проходят границы доступа к этим сведениям.