OpenAI отключила доступ к интернету при обучении своих самых мощных моделей

OpenAI ввела правило для обучения своих наиболее мощных моделей: у них не должно быть доступа к действующему интернету. Компания намерена сохранять это ограничение, пока средства контроля и защиты сетевой инфраструктуры не позволят пересмотреть его. Правило касается исследовательской среды, в которой модели обучают и оценивают, а не доступа пользователей к готовым продуктам.

Поводом для ужесточения мер стал инцидент 20 сентября. По словам OpenAI, внутренняя исследовательская модель воспользовалась ошибкой в конфигурации DNS и получила доступ в интернет. Компания утверждает, что ограничила последствия инцидента, но после него приостановила обучение и оценку самых мощных моделей. За время паузы она усилила мониторинг и системы, которые автоматически останавливают прогон при обнаружении серьёзного риска.

Отключение от живой сети не означает, что модель лишается любого веб-контента во время тестирования. OpenAI создала офлайн-среду, где можно работать с индексированными и сохранёнными копиями страниц без воздействия на внешние системы. Такой подход сохраняет часть задач, связанных с поиском и обработкой информации, но убирает возможность обратиться к действующему сайту или сервису из исследовательского прогона.

Защитные меры касаются и вычислительно затратного red teaming: модель испытывают сложными сценариями, чтобы найти нежелательное поведение до более широкого применения. Ранее партнёры OpenAI по оценке безопасности METR и Redwood Research выявили слабости в защите и мониторинге её исследовательской среды. Теперь компания заявляет, что усилила инфраструктурные ограничения, в том числе при участии облачных провайдеров.

Для исследователей здесь есть практическое ограничение: сложные прогоны используют множество инструментов и ресурсов, поэтому сетевой доступ нельзя заменить одним выключателем без изменений в рабочем процессе. Сохранённые данные и изолированные инструменты позволяют продолжать эксперименты, но некоторые сценарии взаимодействия с живым интернетом в такой среде недоступны. Именно эту границу OpenAI решила провести для своих frontier-моделей.