Anthropic предложила законопроект США о приостановке выпуска опасных AI-моделей

Anthropic подготовила проект федерального закона США, который допускает приостановку выпуска AI-модели при предвидимом и неминуемом катастрофическом риске. В проекте речь идёт об угрозе гибели более 50 человек либо ущербе имуществу свыше $1 млрд. Эти пороги относятся к определённым сценариям: созданию или выпуску биологического оружия, выходу модели из-под контроля разработчика либо кибератаке. Компания подтвердила существование проекта и связала его со своими ранее предложенными принципами регулирования.

Оценивать риск, согласно проекту, должны независимые эксперты, зарегистрированные в Министерстве торговли США. Разработчикам моделей разрешалось бы оплачивать их работу при условии, что вознаграждение не зависит от результата проверки. Это условие отделяет оплату от формального заключения, но само по себе не объясняет, как устранить влияние заказчика на оценку. Вопрос особенно существенен там, где экспертам нужно судить о возможном поведении модели до её публичного выпуска.

Если эксперты установят неминуемый катастрофический риск, у них будет 72 часа на уведомление Министерства торговли. Затем ведомство должно обратиться к судье в Вашингтоне с просьбой остановить выпуск модели. Самостоятельно запретить её распространение федеральное агентство, согласно проекту, не сможет. Между экспертным заключением и запретом тем самым появляется судебный этап; это описанный Anthropic порядок в проекте, а не действующее федеральное правило.

Предложенные пороги близки к определению катастрофического риска в недавно принятом законе Калифорнии SB 53. Федеральный проект Anthropic сосредоточен на редких сценариях с тяжёлыми последствиями и задаёт для них процедуру возможной остановки релиза. Для разработчиков моделей это означало бы проверку перед выпуском в тех случаях, когда эксперты видят такой риск. Пока проект остаётся предложением для обсуждения в Конгрессе США: приведённые цифры не превращают любой инцидент с моделью в основание для запрета.