NVIDIA анонсировала новую платформу Open Agent Safety, направленную на повышение безопасности в области агентного ИИ. Это важный шаг в свете растущих опасений по поводу безопасности и контроля над ИИ-системами.

Что произошло

28 сентября 2026 года NVIDIA представила платформу Open Agent Safety и обновление OpenShell 0.1.0. Эти инструменты предназначены для создания защитных механизмов вокруг работы ИИ-агентов, что становится все более актуальным в условиях быстрого развития технологий ИИ. Платформа включает в себя возможности для управления безопасностью и контроля за действиями ИИ-агентов.

Технические детали

OpenShell 0.1.0 представляет собой открытое программное обеспечение, которое работает в качестве среды выполнения для существующих ИИ-агентов, таких как Codex, Claude Code, Hermes и Pi. Оно создает изолированные песочницы для выполнения этих агентов, обеспечивая защиту на уровне ядра операционной системы. Основные функции OpenShell включают:

  • Управление жизненным циклом песочниц и политиками для групп агентов.
  • Инспекция исходящего трафика (HTTP, GraphQL и MCP) с помощью процесса Supervior.
  • Ограничение доступа к файловой системе и процессам через системные управления.
  • Поддержка политик, написанных в формате YAML, которые компилируются в OPA Rego для оценки каждого исходящего запроса.
  • Защита учетных данных, которая позволяет хранить секреты вне рабочей нагрузки агента.

OpenShell также ведет аудит всех решений по политике в соответствии с Open Cybersecurity Schema Framework, что позволяет отслеживать действия агентов и их взаимодействия.

Риски и ограничения

Несмотря на значительные достижения, связанные с Open Agent Safety, существуют определенные риски и ограничения. Во-первых, хотя система и обеспечивает защиту, она не может полностью исключить возможность манипуляций со стороны агентов, которые могут пытаться обойти установленные ограничения. Во-вторых, внедрение новых политик и их тестирование может потребовать времени и ресурсов, что может быть проблемой для организаций с ограниченными возможностями.

Кроме того, OpenShell 0.1.0 находится на начальной стадии разработки, что подразумевает возможность появления новых функций и улучшений в будущем. Это также означает, что пользователи должны быть готовы к изменениям и обновлениям.

Практика для HomeLab

Для пользователей HomeLab платформа Open Agent Safety может стать полезным инструментом для повышения безопасности своих ИИ-агентов. Вот несколько практических рекомендаций:

  1. Интеграция OpenShell: Рассмотрите возможность интеграции OpenShell в свою инфраструктуру для создания защищенных сред выполнения для ИИ-агентов.
  2. Настройка политик: Используйте возможности настройки политик для ограничения доступа агентов к критически важным ресурсам и данным.
  3. Аудит и мониторинг: Регулярно проводите аудит действий агентов и анализируйте журналы, чтобы выявлять потенциальные угрозы и уязвимости.
  4. Обучение и тестирование: Обучайте свою команду по вопросам безопасности ИИ и проводите тестирование на уязвимости, чтобы убедиться, что ваша система защищена.

Вывод

Запуск платформы Open Agent Safety от NVIDIA подчеркивает важность безопасности в области агентного ИИ. Хотя система уже предлагает значительные возможности для защиты, пользователям необходимо быть внимательными к рискам и ограничениям, связанным с ее использованием. Интеграция OpenShell в HomeLab может помочь повысить уровень безопасности и контроля над ИИ-агентами.

Источники