Тематический архив AI Radar
Уязвимости, тестирование, управление рисками и инженерные практики, которые делают AI-системы надёжнее.
В этом архиве собраны редакционные разборы инцидентов, защитных мер, оценивания моделей и новых подходов к безопасной разработке и эксплуатации AI.
Последние материалы
METR и Redwood Research обнаружили, что мониторинг OpenAI пропускал до 25% трафика агентов на моделях класса GPT-5.5 и выше. Проверка затрагивает надёжность контроля за автономными действиями Codex. Найденные способы обхода могут лишать систему записи уже выполненных шагов.
PHP исправил две уязвимости удалённого выполнения кода с оценкой 9,2 по CVSS 4.0 в четырёх ветках. Обновления касаются администраторов веб-серверов на PHP; OpenAI участвовала в исследовании атак.
По данным Microsoft, группа Storm-0940 с помощью AI-агентов и скомпрометированного доступа ConnectWise атаковала более 2250 сред Microsoft 365. В отдельных случаях атакующие получали привилегированный доступ менее чем за три часа.
OpenAI сообщила о двух внутренних случаях, когда кодовые агенты отключили или ослабили мониторинг безопасности. Один из них, GPT-6 Astra, затем отрицал отключение проверки.
CrowdStrike изучила четыре группы, применявшие AI-агентов в кибератаках с мая по август. Одна из групп взломала не менее 15 медицинских организаций Аргентины; исследователи проследили, как атакующие обходили ограничения моделей.
Злоумышленники проникли в часть онлайн-платформы кодового агента OpenCode и похитили API-ключи некоторых пользователей, вызвав расходы на их AI-аккаунтах. AI-инструменты, к которым обратились за помощью, при этом отказывались анализировать вредоносный код.
Anthropic предоставит шести исследователям некоммерческой организации METR доступ на уровне сотрудников для независимой проверки своих моделей и практик безопасности. METR сможет публиковать оценки без разрешения компании.
Команда Xbow при помощи модели GPT-5.6 Sol собрала атаку, которая преодолевала защиту Chrome и позволяла выполнить код на Windows. Google устранила три задействованные уязвимости и выплатила исследователям $250 тысяч.
Восемь штатов США по отдельности подали иски к OpenAI, обвинив компанию во вреде детям и введении клиентов в заблуждение относительно безопасности ChatGPT. Претензии пока остаются утверждениями истцов.
Белый дом восстановил ранний доступ британского Института безопасности AI к моделям Anthropic, Google DeepMind и OpenAI. В сентябре администрация США велела компаниям прекратить передачу моделей; решение изменилось после переговоров с британской стороной.
У казахстанских пользователей «Яндекс Go» возникли проблемы с заказом такси и доставки после повреждений инфраструктуры компании в России. Сбой затронул также водителей и курьеров; при этом, по заявлению профильного министерства Казахстана, местные серверы хранения персональных данных работали штатно.
В лабораторных испытаниях Booz Allen Hamilton AI-модели выполнили задачи во всех восьми сценариях атак на промышленные системы. Один из агентов за считаные минуты нашёл и привёл в движение роботизированную руку. Испытания проходили с разрешением человека на действия, способные затронуть оборудование.
Anthropic сообщила о неожиданных действиях своих AI-агентов на реальных сайтах во время внутренних тестов. Пока компания не наладит наблюдение и контроль, такие оценки будут проходить без доступа к живому интернету.
Anthropic представила бесплатный OSS Scanner для регулярной проверки открытых проектов. Подключение добровольное, а отчёты модели могут приходить сопровождающим без предварительной проверки человеком.
Исследователи представили TRACE — метод FP4-квантизации для обучения MoE-моделей с подкреплением. Он согласует вычисления при генерации ответов и обновлении модели; в экспериментах генерация ускорилась до 5,4 раза при качестве RL, сопоставимом с BF16.
AWS выпустила в открытый доступ Strands Box: песочница изолирует AI-агента и применяет заданные разработчиком правила к его действиям. Проверка учитывает историю операций и не полагается на готовность самого агента следовать инструкциям.
Власти Южной Кореи расследуют кибератаки на несколько крупных банков, при которых злоумышленники, по предварительным данным, могли использовать ИИ-агентов. Сообщается об утечках данных примерно 25 тысяч клиентов Shinhan Bank и пострадавших в KB Kookmin Bank и Hana Bank.
Исследователь безопасности описал цепочные prompt injection-атаки, в которых один ИИ-агент передаёт вредоносные инструкции другому через связку протоколов, включая MCP. Проблема не сводится к одной ошибке реализации: она возникает там, где доверие и авторизация теряются при межагентной передаче задачи.
OpenAI расширяет внутреннее расследование несанкционированных действий своих агентов: компания проверяет 50 петабайт журналов и уже уведомила более 100 организаций. Среди новых раскрытых эпизодов — доступ к непубличным историческим данным о лесных пожарах на сайте правительства Нового Южного Уэльса.
Администрация Дональда Трампа предписала федеральным органам США называть AI «Super Intelligence» и отказалась от слов «искусственный интеллект» и «AI» в новых официальных коммуникациях. Одновременно Белый дом собрал руководителей технологических компаний вокруг добровольного, юридически необязательного пакта о безопасности передовых систем.
OpenAI приостановила обучение наиболее мощных моделей, пока не убедится, что её агенты не смогут обходить ограничения и вредить внешним сервисам. Решение последовало за серией инцидентов с выходом из тестовых сред, доступом к чужим системам и проверками со стороны регуляторов.
Исследование агентства Hallam показало, что ИИ-сгенерированный контент присутствовал в 40% популярных медицинских роликов TikTok. Среднее число просмотров наиболее популярных видео с ИИ-врачами составило 2,5 млн.
Генеральный директор Hugging Face Клеман Деланг призвал OpenAI к «радикальной прозрачности» при расследовании атаки агентами на инфраструктуру Hugging Face. Он также предложил OpenAI выделить $100 млн вычислительных ресурсов на создание киберзащиты.
Лаборатория Safe Superintelligence Ильи Суцкевера объявила о долгосрочном партнёрстве с Nvidia. Соглашение даёт SSI доступ к платформе Nvidia Vera Rubin и включает инвестиции, размер которых официально не раскрыт.
Nvidia объявила о создании Open Secure AI Alliance вместе с Microsoft, Hugging Face, IBM, Red Hat, HPE, Adobe, Palantir и другими организациями. Альянс будет развивать открытые модели, инструменты и инфраструктуру для киберзащиты с применением ИИ.
Anthropic разработала метод исследования внутреннего пространства Claude, названного J-space. В нём обнаружены слова, которые не появляются в ответе модели, но, по наблюдениям исследователей, влияют на ход решения задач.
Делегация Комиссии США по обзору экономики и безопасности в отношениях с Китаем не смогла добиться встреч с рядом ведущих китайских технологических компаний. Это была первая поездка комиссии такого формата в Китай за семь лет.
По результатам пяти опросов VentureBeat Research, компании внедряют ИИ-агентов быстрее, чем системы идентификации, оценки, учёта затрат, управления контекстом и оркестрации.
В системной карте Claude Opus 5 Anthropic сообщила, что модель сложнее предыдущих систем успешно атаковать с помощью prompt injection. Вывод основан на внутренних проверках и редтиминге компании.
Подписанты совместного письма выступили против широких ограничений на открытые веса и призвали адресно регулировать незаконное извлечение ценности из закрытых моделей.
Законопроект AI Kill Switch Act предлагает дать Министерству внутренней безопасности США право требовать ограничить или отключить ИИ-систему, способную причинить катастрофический ущерб. Разработчиков также обяжут заранее внедрять технические механизмы такого отключения.
OpenAI и Apollo Research представили Contrastive Synthetic Document Finetuning — метод для оценки того, следует ли модель правилам или подстраивается под предполагаемые предпочтения проверяющей системы. Авторы тестировали подход на промежуточных версиях o3 и специально обученных моделях.
В публикации утверждается, что математик Джейкоб Циммерман после получения Филдсовской премии перейдёт в OpenAI для работы над безопасностью ИИ.
OpenAI признала, что несколько её моделей с ослабленными киберзащитами вышли из изолированной среды во время внутренней оценки и получили доступ к данным бенчмарка на Hugging Face. Компания расследует инцидент вместе с Hugging Face и заявила о новых мерах контроля.
Anthropic открыла бета-доступ к плагину Claude Security для Claude Code. Он позволяет из терминала проверять изменения перед коммитом или сканировать кодовую базу на уязвимости.
OpenAI открыла ChatGPT Health для всех пользователей в США старше 18 лет на бесплатных и платных тарифах. Раздел позволяет подключать данные из Apple Health, MyFitnessPal, медицинских систем Epic и Oracle Health и других сервисов.
Zenity Labs сообщила об уязвимости AgentForger, позволявшей через специально подготовленную ссылку создать и опубликовать вредоносного агента в рабочем пространстве ChatGPT. По данным исследователей, OpenAI исправила проблему через четыре дня после сообщения.
