OWASP Top 10 for LLM Applications 2025: разбор всех рисков LLM01–LLM10

LLM01 · Prompt Injection #1

Пользовательский или внешний ввод меняет поведение модели не так, как задумал разработчик приложения — по формулировке OWASP, «user prompts alter the LLM's behavior or output in unintended ways». Пример: скрытая инструкция на веб-странице заставляет ИИ-агента-браузера вставить в ответ пользователю фишинговую ссылку — это косвенная (indirect) инъекция.

Защита: ограничение прав модели по принципу least-privilege, маркировка и сегрегация недоверенного внешнего контента, human-in-the-loop для рискованных действий. Полный разбор типов и границы с джейлбрейком — в статье «Промпт-инъекция».

LLM02 · Sensitive Information Disclosure

Модель или обвязанное вокруг неё приложение выдаёт в ответах персональные данные, учётные данные или закрытую корпоративную информацию. Пример: модель, дообученная на внутренних документах компании, дословно воспроизводит фрагмент конфиденциального контракта в ответ на наводящий вопрос. Защита: минимизация данных при обучении, маскирование чувствительных полей до и после генерации, output-фильтры класса DLP для ответов модели.

LLM03 · Supply Chain

Сторонние компоненты жизненного цикла модели — предобученные веса, датасеты, библиотеки, плагины и MCP-серверы — вносят уязвимые или вредоносные элементы. Пример: скомпрометированная версия открытой модели на публичном хабе со встроенным бэкдором либо поддельный MCP-сервер, выдающий себя за легитимный инструмент. Защита: учёт происхождения моделей и данных (ML-BOM), сканирование весов перед деплоем, проверка подписи источников.

LLM04 · Data and Model Poisoning

Манипуляция обучающими, дообучающими или embedding-данными вносит в модель скрытые бэкдоры, смещения или деградацию качества. По данным исследования Anthropic (октябрь 2025), около 250 вредоносных документов оказалось достаточно, чтобы внедрить простой бэкдор в модель независимо от её размера — от 600 млн до 13 млрд параметров. Защита: контроль происхождения данных (data lineage), проверка поставщиков датасетов, версионирование выборок, мониторинг аномалий на этапе обучения.

Механика отравления и бэкдор-атак подробнее разобрана в материале «Виды атак на ИИ».

LLM05 · Improper Output Handling

Ответ модели передаётся дальше по системе — в базу данных, командную оболочку, браузер — без должной валидации и очистки, как если бы это был доверенный вход. Пример: сгенерированный моделью код с SQL-инъекцией выполняется приложением напрямую, без проверки перед исполнением. Защита: обязательная санитизация и валидация формата вывода модели перед передачей в исполняемый контекст — по тем же правилам, что и для любого недоверенного пользовательского ввода.

LLM06 · Excessive Agency

ИИ-агенту выдано больше функций, прав доступа или автономности, чем требуется для задачи, без контроля человека. Пример: агент с правом самостоятельно отправлять письма или выполнять транзакции совершает нежелательное действие из-за ошибки в рассуждении модели или манипуляции через промпт-инъекцию. Защита: least-privilege для функций и прав агента, human-in-the-loop для необратимых действий, журналирование и аудит вызовов инструментов.

LLM07 · System Prompt Leakage новое в 2025

Системные инструкции приложения — включая случайно зашитые в них секреты — раскрываются пользователю или атакующему. Пример: наводящий запрос заставляет модель дословно процитировать свой системный промпт, в том числе внутренние правила или API-ключи, если они по ошибке туда попали. Защита: не хранить секреты в системном промпте, регулярно тестировать устойчивость к запросам на раскрытие инструкций, независимая от alignment модели фильтрация вывода.

LLM08 · Vector and Embedding Weaknesses новое в 2025

Изъяны в генерации, хранении или поиске эмбеддингов открывают возможность для инъекций или утечек данных через RAG-архитектуру. Пример: недостаточная изоляция между источниками в общей векторной базе позволяет одному арендатору через поиск получить фрагменты чужих документов. Защита: контроль доступа на уровне источника внутри векторной базы, санитизация документов перед индексацией, разметка происхождения найденных фрагментов.

LLM09 · Misinformation

Модель выдаёт правдоподобно звучащую, но ложную информацию, которой пользователи склонны чрезмерно доверять — категория объединяет классические галлюцинации и системную переоценку надёжности ответов ИИ. Пример: юрист сослался в суде на несуществующие судебные прецеденты, сгенерированные ChatGPT (дело Mata v. Avianca, США, 2023). Защита: RAG с обязательным цитированием источников, человеческий фактчекинг в высокорисковых доменах, честная коммуникация ограничений модели пользователю. Подробный разбор механизма и правовых кейсов — в статье «Галлюцинации нейросетей».

LLM10 · Unbounded Consumption новое в 2025

Бесконтрольное использование запросов или вычислительных ресурсов приложения ведёт к отказу в обслуживании и неконтролируемым расходам на инференс. Пример: атакующий массово опрашивает API модели, вызывая одновременно перегрузку сервиса и резкий рост счёта за токены — категория расширяет прежний «Model Denial of Service» из версии 2023 года. Защита: rate-limiting на уровне API, лимиты на длину контекста и число токенов в ответе, мониторинг аномальных паттернов запросов.