Open Secure AI Alliance: 120 компаний присоединились после инцидента с Hugging Face

Альянс Open Secure AI Alliance, насчитывающий уже более 120 организаций, разрабатывает новые рекомендации по усилению кибербезопасности агентского ИИ. Это происходит на фоне ежегодной конференции Black Hat в Лас-Вегасе.

Альянс был создан стремительно на прошлой неделе после того, как OpenAI (а затем и Anthropic) сообщили о случае, когда несанкционированные ИИ-агенты вышли из-под контроля и без разрешения человека взломали конкурирующую ИИ-компанию Hugging Face для поиска ответов на запрос. Генеральный директор OpenAI Сэм Альтман назвал потенциальные последствия этого инцидента "ужасающими".

На фоне повышенного внимания к безопасности ИИ, генеральный директор Nvidia Дженсен Хуанг и другие ИИ-компании сформировали новый альянс для создания и обмена открытыми инструментами, способствующими ответственному использованию и доверию к искусственному интеллекту.

Фонд Linux сегодня представил запрос на комментарии (RFC) по Shared AI Findings Exchange (SAFE) — предлагаемому набору рекомендаций, призванных превратить инциденты кибербезопасности агентского ИИ в общую защиту для всей экосистемы.

Рекомендации SAFE разрабатываются рабочей группой Open Secure AI Alliance. Среди членов альянса, сотрудничающих с Linux Foundation над первоначальным предложением, — Nvidia, Cisco, CrowdStrike, Hugging Face и Red Hat.

Рекомендации SAFE включают предложения по конфиденциальному сбору и анализу инцидентов с ИИ и "почти-происшествий", информированию затронутых сторон, выявлению повторяющихся сбоев в контроле и публикации научно обоснованных операционных рекомендаций, снижающих системные риски.

Кибербезопасность — это гонка без финишной черты, заявила группа. Каждый крупный технологический сдвиг создает новые потенциальные поверхности для атак. Защитники должны действовать быстро, со "скоростью агента", чтобы оперативно реагировать и защищать инфраструктуру и интеллектуальную собственность — и лучший способ сделать это — сообща. Когда доверенные экосистемы открыто обмениваются информацией об угрозах, коллективная защита становится мультипликатором силы.

Альянс Open Secure AI Alliance предлагает новые инструменты для кибербезопасности ИИ

Фреймворк SAFE дополняет технологический вклад членов Open Secure AI Alliance, направленный на создание и обмен открытыми, проверяемыми инструментами для всего стека безопасности ИИ.

ИИ-агент — это не просто модель. Это целая система, включающая средства контроля идентификации, "уздечки" (harnesses), ограничители, журналы и оценки. Ее защита требует большего, чем просто сканирование уязвимостей.

Безопасность всегда была наиболее сильной на уровне слоев и благодаря готовности сообщества делиться знаниями. Самые сложные проблемы решаются, когда защитники учатся друг у друга, открыто и быстро.

Полный стек открытого программного обеспечения и моделей Nvidia для кибербезопасности

Вклад NVIDIA охватывает весь стек, начиная с исследовательской "уздечки" NVIDIA Labs Object-Oriented Agent (NOOA), которая облегчает тестирование, отслеживание, аудит и управление поведением агентов.

Среда выполнения Nvidia OpenShell ограничивает возможности агента (что он может видеть, к чему прикасаться и что делать), обеспечивая контроль безопасности и конфиденциальности на уровне агента, чтобы он не мог получить доступ к запрещенным ресурсам.

Открытые семейства моделей Nvidia — Nvidia Nemotron для агентского ИИ, Nvidia Cosmos для физического ИИ, Nvidia Isaac GR00T для робототехники, Nvidia BioNeMo для здравоохранения и медико-биологических наук, а также Nvidia Alpamayo, крупнейшая в мире модель для автономных транспортных средств, лицензированная для коммерческого использования, — поставляются с открытыми весами, наборами данных и методами обучения.

Верифицированные навыки агентов от Nvidia с открытым исходным кодом распространяют это доверие на уровень возможностей.

Каждый навык представляет собой переносимый набор инструкций — каталогизированный, просканированный на предмет рисков, таких как внедрение подсказок (prompt injection) и отравление инструментов (tools poisoning), криптографически подписанный и задокументированный с помощью "карточки навыка". Защитники точно знают, что делает навык агента, откуда он взялся и был ли он изменен после публикации.

NeMo Guardrails, NeMo Anonymizer и NeMo Safe Synthesizer помогают обеспечивать политики безопасности, защищать конфиденциальные данные и генерировать синтетические данные, безопасные для конфиденциальности.

А Garak, сканер уязвимостей LLM с открытым исходным кодом от Nvidia, позволяет командам безопасности проверять модели на утечки данных, внедрение подсказок и сценарии "побега" (jailbreak) до их выпуска.

Члены альянса расширяют инструментарий для развития открытой экосистемы

Другие члены Open Secure AI Alliance также активно разрабатывают решения по всему защитному стеку, включая идентификацию и разрешения, "уздечки", ограничители времени выполнения, модели ИИ для безопасности, наблюдаемость и оценку, безопасность и конфиденциальность данных, доступность и отказоустойчивость, и многое другое.

Ниже представлены некоторые из последних вкладов в различные слои стека, при этом ожидаются новые поступления.

Идентификация и разрешения — кто имеет право действовать

Невозможно обеспечить безопасность того, что нельзя идентифицировать.

Okta разрабатывает эталонные реализации для идентификации и доступа агентов, демонстрируя, как Cross App Access (XAA), открытый протокол, позволяет ИИ-агентам, работающим в песочницах OpenShell, безопасно подключаться к корпоративным приложениям.

Palo Alto Networks внесла свой вклад в виде инструментов с открытым исходным кодом из Idira, своей платформы безопасности идентификации нового поколения, включая Agent Guard и Agent Watch. Эти инструменты помогают разработчикам и создателям агентов применять передовые практики безопасности идентификации и защиты, такие как безопасное извлечение секретов для агентских рабочих процессов.

Новый проект с открытым исходным кодом, основанный Red Hat, asago, принимает пользовательские требования к управлению организации — например, те, что упомянуты в NIST, OWASP и Законе ЕС об ИИ — и напрямую сопоставляет их с тем, что агентам разрешено делать во время выполнения, с единым аудиторским следом от пункта политики до активного контроля.

Уздечки и инструментарий — как организуется работа по безопасности

ИИ-агенты — это больше, чем просто модель; они используют системы открытых и закрытых моделей, "уздечки", инструменты и среды выполнения для выполнения задач.

Если модель — это мозг агента, то "уздечка" — это тело, которое действует, используя инструменты. "Уздечка", окружающая модель, выступает в роли оркестратора, определяющего, как агенты развертываются, координируются и ограничиваются.

Члены альянса вносят свой вклад в инструментарий, "уздечки" и вспомогательные технологии в этом новом слое стека безопасности ИИ.

Amazon, ставшая одним из новейших членов Open Secure AI Alliance, вносит свой вклад в Strands Agents — набор инструментов с открытым исходным кодом для создания ИИ-агентов, открытый на каждом уровне, что дает разработчикам полную видимость поведения агентов и возможность оценивать агентские системы в производственной среде. Amazon также предоставляет Cedar, язык авторизации с открытым исходным кодом, который устанавливает детерминированные, проверяемые границы для того, что ИИ-агентам разрешено делать, предоставляя клиентам гранулированный, анализируемый контроль доступа для обеспечения того, чтобы только авторизованные действия достигали корпоративных ресурсов.

Capital One открыла исходный код VulnHunter для обеспечения безопасности кода агентского ИИ.

Cloudflare предлагает свою "Уздечку для обнаружения уязвимостей" (Vulnerability Discovery Harness) как навык с открытым исходным кодом для повышения безопасности агентских систем.

Команда Microsoft AI Red Team открыла исходный код нескольких инструментов и "уздечек". PyRIT – Python Risk Identification toolkit позволяет командам "красных" по ИИ проводить автоматизированное тестирование на проникновение с встроенной памятью, поддерживая как стандартные цели, так и пользовательские конечные точки.

RAMPART превращает результаты "красных" команд и реальные инциденты в повторяемые тесты, которые запускаются при изменениях программного обеспечения. Clarity помогает командам подвергать сомнению проектные предположения и выявлять потенциальные сбои до написания кода.

Microsoft также открыла исходный код Assert, который преобразует требования, выраженные на естественном языке, и ожидаемые поведенческие модели безопасности ИИ в исполняемые оценки.

Atlas — это автономный движок Wiz для исследования уязвимостей, который координирует работу специализированных ИИ-агентов для обнаружения и проверки уязвимостей в коде и пакетах с открытым исходным кодом.

Visa также присоединилась к Open Secure AI Alliance, предоставив свою "Уздечку для агентского обнаружения уязвимостей Visa" с открытым исходным кодом, чтобы помочь командам быстро и безопасно выявлять проблемы, поддерживать их устранение и валидацию.

Модели — интеллект, созданный для безопасности и защиты ИИ

Не каждая задача по безопасности требует универсальной модели. Специализированные модели безопасности и защиты созданы специально для обороны: они обучены понимать код, находить уязвимости и рассуждать об угрозах в масштабе. Они могут поддерживать агентские рабочие процессы как системы моделей, где открытые и закрытые модели работают вместе для эффективного выполнения задачи.

Cisco DefenseClaw — это уровень агентского управления с открытым исходным кодом, который располагается поверх NVIDIA OpenShell для обеспечения надежной, автоматизированной безопасности на уровне среды выполнения при масштабировании агентских рабочих сил. Cisco также выпустила две свои малые языковые модели безопасности Antares, чтобы помочь точно определить, где существуют известные уязвимости в кодовой базе; а также Project CodeGuard для встраивания практик "безопасность по умолчанию" непосредственно в рабочие процессы кодирования ИИ.

CrowdStrike тонко настраивает модель Nvidia Nemotron Nano для киберзащиты. Внутреннее тестирование показало 96%-ную точность при генерации запросов для расследований в Falcon LogScale, предоставляя интерфейс на естественном языке, который повышает эффективность расследований агентов. CrowdStrike также опубликовала исследование, демонстрирующее, как специализированная модель рассуждений Nvidia Nemotron Nano превосходит гораздо более крупные модели в триаже обнаружений в Центрах управления безопасностью, при этом вводя калиброванную доверительную оценку на основе логитов, что позволяет принимать измеримые, настраиваемые и проверяемые автономные решения по безопасности.

Видеть, что сделал агент, — это лишь часть картины. Защитникам также необходимо понимать, почему он действовал, безопасно ли ведет себя система и как развиваются атаки в реальном мире.

Akamai предоставляет данные из своих отчетов "Состояние Интернета" и исследований группы Security Intelligence Group, опираясь на реальные данные, чтобы осветить угрозы эпохи ИИ и объяснить, как работают новые эксплойты, чтобы защитники могли учиться, адаптироваться и реагировать. Cognition опубликовала оценку надежности, которая измеряет риски согласованности и безопасности моделей, созданных на основе открытого исходного кода. Оценка демонстрирует, что эти риски могут быть снижены посредством постобучения.

Numbat — это пакет безопасности агентов с открытым исходным кодом от Perplexity для клиентских конечных точек. Он обнаруживает, расследует и предотвращает активность агентов в macOS, Linux и Windows, предоставляя защитникам структурированную запись о том, что агенты фактически сделали.

Uber открыла исходный код ключевых компонентов ADR (Agentic AI Detection and Response) — производственной системы, которая реконструирует полную причинно-следственную цепочку активности ИИ-агентов (от подсказки до рассуждения, вызовов инструментов и результатов) — чтобы помочь командам безопасности обнаруживать угрозы. Сегодня ADR поддерживает более 200 000 сессий агентов в день на 30 000 конечных точках, используя двухуровневый подход к анализу, который сочетает эффективное обнаружение с более глубоким расследованием высоконадежных угроз.

Доступность и отказоустойчивость — быстрое восстановление в критические моменты

Агентские системы должны оставаться надежными в условиях сбоев, содержать отказы и безопасно восстанавливаться, не теряя критического состояния и не подвергая риску более широкую среду.

LangChain добавляет возможности отказоустойчивости в свои фреймворки с открытым исходным кодом — Deep Agents, LangGraph и LangChain — позволяя агентам повторять прерванную работу, следовать безопасному пути восстановления, возобновлять работу из сохраненного состояния вместо начала заново и автоматически переключаться на альтернативные модели при сбое основной модели.

Veeam помогает организациям поддерживать устойчивость и восстанавливаемость данных и инфраструктуры, лежащих в основе ИИ, с помощью таких технологий, как Kanister — ее фреймворк с открытым исходным кодом для защиты данных в Kubernetes. Он помогает командам защищать и восстанавливать ИИ-нагрузки, векторные базы данных и данные до проверенного, заведомо рабочего состояния.

Ожидаются новые вклады. Когда участники публикуют многократно используемые меры по смягчению рисков, защитники по всей экосистеме могут их проверять, адаптировать и улучшать, способствуя развитию практик безопасности по мере развития ИИ.