Anthropic: безопасные открытые веса полезны, но широкий доступ к ИИ не всегда усиливает защиту

Поводом для разъяснения стала дискуссия вокруг письма в защиту open-weight-моделей, которое поддержали Nvidia, Microsoft, Meta, Hugging Face и ряд других компаний; позднее к списку присоединились и другие крупные игроки. На фоне сообщений о возможном запрете использования китайских моделей с открытыми весами американскими компаниями отсутствие Anthropic среди подписантов интерпретировали как поддержку запрета или как неприятие открытых весов вообще. Амодеи прямо отверг обе трактовки: Anthropic, по его словам, никогда не выступала за запрет таких моделей, а протекционистские ограничения не решают её ключевых опасений в области национальной безопасности.

При этом компания проводит важное различие между формой распространения и опасными возможностями конкретной системы. Open-weight-модели, не обладающие опасными способностями, Амодеи называет общественным благом: их можно запускать за стоимость вычислений, использовать в бизнесе, исследованиях и разработке, адаптировать под конкретные задачи и развёртывать в собственной инфраструктуре. Открытые веса дают пользователю больше контроля, а рынку — конкуренцию в части сценариев. Такая позиция не равна требованию публиковать параметры всех, особенно наиболее сильных, моделей.

Главное расхождение с письмом — в оценке баланса между атакой и защитой. Anthropic согласна, что открытые веса расширяют доступ к ИИ-экономике, но не принимает утверждение, будто они обязательно упрощают создание защитных механизмов или что широкое распространение возможностей в итоге сильнее помогает защитникам. Амодеи считает как минимум не менее вероятным обратный эффект. В качестве особенно чувствительной области он выделяет биологические риски, где преимущества могут оказаться на стороне атакующего: дополнительные возможности модели способны облегчить вредоносное применение быстрее, чем разработку контрмер.

Вместо широкого запрета Anthropic предлагает риск-ориентированный подход: строго тестировать модели до релиза и применять требования независимо от страны происхождения разработчика. Отдельно Амодеи вновь связал стратегический риск с тем, что авторитарные государства могут получить более мощные ИИ-системы для военного превосходства или внутреннего подавления. В числе поддерживаемых мер он называет ограничения доступа к передовым чипам, борьбу с их контрабандой и адресные правовые и коммерческие механизмы против промышленной дистилляции — извлечения способностей моделей через массовые запросы к более сильным системам.

Таким образом, спор идёт не о простой дихотомии «открытое против закрытого». Открытие весов позволяет локально запускать модель, фиксировать конкретную версию для исследований, дообучать и квантизировать её; но риск определяется ещё и тем, какие действия система способна планировать, выполнять с инструментами или подсказывать пользователю. Позиция Anthropic сводится к тому, что решение о выпуске должно опираться на оценку конкретных возможностей и сценариев злоупотребления, а не только на сам факт доступности весов.