Сравнение решений для защиты ИИ и LLM

Как сравнить качество защиты LLM на пилоте

Один показатель «процент обнаружения» не позволяет выбрать решение. Зафиксируйте модель и её версию, системный промпт, настройки защиты, язык, длину контекста и режим streaming. Затем используйте одинаковые наборы запросов для всех кандидатов.

1. Атаки. Разделите прямые инструкции пользователя, инструкции во внешних документах и попытки опасного вызова инструмента. Для каждого теста заранее опишите нежелательный результат. Запись события в журнале не равна предотвращению этого результата.
2. Обычная работа. На отдельном наборе разрешённых задач считайте ложные блокировки. Учебный пример: если из 100 разрешённых запросов ошибочно заблокированы два, доля ложных блокировок на этом наборе — 2%. Это не измерение какого-либо продукта.
3. Задержка. Сопоставьте одинаковые запросы с защитой и без неё; отдельно фиксируйте время до первого фрагмента и до полного ответа. Для streaming проверьте, не попадает ли запрещённый фрагмент к пользователю до решения о блокировке.

Для каждой группы сохраните размер набора, результаты, настройки и журналы. Повторите прогоны: удачный единичный ответ не доказывает устойчивую защиту. Согласуйте допустимые ошибки и задержку исходя из вашего приложения.

OWASP LLM01:2025 различает прямые и косвенные инъекции и рекомендует проверять границы доверия и права приложения. Наличие RAG само по себе не устраняет риск. Перечень рисков OWASP не является сертификатом продукта.

Это редакционный план испытаний. Статусы в таблице выше отражают документацию; результаты независимого тестирования этих решений здесь не заявлены.

Безопасность RAG: проверка прав и отзыва доступа

Проведите проверку на искусственных документах с контрольными метками и двух тестовых пользователях с разными правами. Не используйте реальные секреты для доказательства утечки.

1. Дайте первому пользователю доступ к тестовому документу, второму — запрет. Для разрешённого пользователя помощник должен выполнять согласованную задачу; для второго не должны раскрываться закрытые сведения.
2. Проверьте не только ответ, но и извлечённые фрагменты, ссылки и цитаты: попадал ли запрещённый документ в контекст модели.
3. Отзовите доступ у первого пользователя и повторите запрос. Согласуйте допустимый срок применения изменения, затем проверьте индекс, кэш и новую сессию. Старые ответы и журналы учитывайте отдельно.

Сохраните права, версию индекса, извлечённые идентификаторы и результат. OWASP LLM08:2025 выделяет разграничение доступа и изоляцию данных RAG. Этот план проверки не подтверждает, что конкретный продукт уже реализует нужные ограничения.

Безопасность MCP: может ли агент выйти за пределы разрешённого

Для пилота задайте безопасный инструмент чтения и отдельную тестовую операцию записи. Проверяйте ограничения на стороне сервера и целевой системы, а не только отказ модели в тексте ответа.

• Доступ к ресурсу. Запросите разрешённый и запрещённый тестовый документ. В журнале должны различаться пользователь, инструмент, ресурс и результат проверки прав.
• Действие и подтверждение. Разрешите чтение, ограничьте запись. Убедитесь, что операция не выполняется до предусмотренного согласования и после отказа пользователя.
• Изменение полномочий. Отзовите доступ и повторите вызов. Проверьте, что старая сессия или кэш не сохраняют непредусмотренное разрешение.
• Учётные данные. Уточните, для какого сервера выдан токен, как ограничены его права и проверяется получатель. Наличие подключения MCP само по себе не подтверждает корректную авторизацию.

Источник: рекомендации безопасности MCP, ветка draft, просмотрено 01.10.2026. Для внедрения сверяйте поддерживаемую версию протокола и реализацию. Это редакционный план испытаний, а не новые подтверждённые функции решений из таблицы.