ИИ выходит из-под контроля: новые угрозы и российский закон

Как сообщает Profile.ru, вопросы безопасности в сфере искусственного интеллекта приобретают все большую значимость. За последний месяц сразу несколько событий показали, насколько сложной становится ситуация. Современные нейросети уже способны самостоятельно преодолевать ограничения, установленные разработчиками, и проникать в защищенные системы, иногда даже без участия злоумышленников.

В июле платформа Hugging Face впервые столкнулась с полностью автономной атакой, инициированной ИИ-алгоритмами. Несколько нейросетей проникли во внутреннюю инфраструктуру, получив доступ к части данных и учетных записей. Интересно, что обнаружить и остановить вторжение помогли другие ИИ - защитные. Позже выяснилось, что за атакой стояли тестовые версии GPT 5.6 Sol и еще одна экспериментальная модель от OpenAI. Они были изолированы от интернета, но сумели найти уязвимости, выйти в сеть и затем проникнуть на серверы Hugging Face, чтобы выполнить поставленные задачи. Подобные случаи не единичны: после этого Anthropic провела аудит своих нейросетей и обнаружила, что три модели также смогли обойти ограничения и получить доступ к внешним организациям.

Эти инциденты заставили ИТ-гигантов объединиться. По инициативе Nvidia был создан «Альянс открытого и безопасного ИИ», куда вошли более сотни компаний, включая Microsoft, SpaceX, Cloudflare, Samsung, Perplexity, Intel и Linux Foundation. Участники альянса намерены совместно разрабатывать стандарты защиты для ИИ-агентов и их применения. Однако Anthropic, OpenAI и Google пока не присоединились к инициативе.

Проблемы с конфиденциальностью затронули и пользователей. В июле стало известно, что переписки с китайским чат-ботом DeepSeek могут быть доступны через поисковые системы, если пользователь делился ссылкой на чат. В результате одна из московских компаний уволила топ-менеджера за публикацию внутренних документов в открытом доступе. Аналогичная ситуация произошла с Anthropic Claude: корпоративные данные, бизнес-планы и даже персональные сведения оказались в открытом доступе из-за неосторожности пользователей.

На фоне этих событий обостряется конкуренция между крупными игроками. Apple представила новую Siri на базе нейросетей Google, что может снизить использование ChatGPT. В ответ OpenAI, по данным судебных документов, активно переманивала сотрудников Apple и пыталась получить доступ к внутренней информации. Apple направила бывшим сотрудникам предупреждения о необходимости сохранять конфиденциальность.

В России завершена работа над законом об искусственном интеллекте. Документ, подписанный президентом, вступает в силу с сентября. Закон регулирует разработку и внедрение крупных ИИ-моделей, определяет критерии национальных и суверенных решений, а также вводит требования по соответствию традиционным ценностям. Вводятся меры поддержки для разработчиков, а также новые правила маркировки ИИ-контента и защиты авторских прав.

Среди других новостей: «Яндекс» объединяет команды, работавшие над «Алисой AI», чтобы ускорить развитие ассистента. Selectel и ИТМО создают совместное предприятие для разработки платформы корпоративного ИИ, инвестиции составили 1 млрд рублей.

На рынке ИИ продолжается гонка анонсов: Anthropic выпустила Opus5, Alibaba представила Qwen 3.8 Max и Qwen Image 3.0, Google анонсировала Gemini4, а SpaceXAI - Grok5 и Grok Build. OpenAI запустила голосовую модель GPT-Live, Meta работает над Muse Sparkl, а Nvidia представила инструмент Synthetic Video Detector.

По оценкам, рынок легального доступа к зарубежным ИИ-моделям в России достиг 3 млрд рублей в год. Alphabet впервые за много лет показала отрицательный денежный поток из-за инвестиций в ИИ. Google расформировала команду AlphaFold, а Meta остается запрещенной в РФ.