Виды атак на ИИ и нейросети: классификация угроз

Уязвимость нейросетей — не единственная точка входа для атакующего: у ИИ-системы есть несколько разных стадий, на каждой из которых можно вмешаться со своим набором техник. Наиболее полную систематику для predictive и generative AI даёт американский институт NIST в документе AI 100-2: для классического ML он выделяет evasion-, poisoning- и privacy-атаки, а для генеративного ИИ — LLM — расширяет её supply chain-атаками, прямой и косвенной prompt injection и вопросами безопасности агентов.

Прикладной срез именно для LLM-приложений закрывает OWASP Top 10 for LLM Applications 2025.

Таблица сводит 11 классов атак на ИИ и LLM на пересечении трёх источников: OWASP LLM Top 10 2025 (прикладные риски LLM-приложений), MITRE ATLAS (тактики и техники атак на весь жизненный цикл ML-систем) и таксономии NIST AI 100-2 (adversarial ML). Коды LLM01–LLM10 — там, где применимы.

↔ таблицу можно прокрутить вбок

Data poisoning (отравление обучающих данных) — манипуляция обучающей, дообучающей или embedding-выборкой модели с целью вызвать скрытые уязвимости, смещения или запрограммированное поведение. Отличие от атак на готовую модель принципиальное: уязвимость закладывается заранее, до того как продукт вообще попадёт в эксплуатацию, — и обнаружить её постфактум, глядя только на поведение модели на обычных входных данных, обычно невозможно.

Бэкдор-атака — частный случай poisoning, при котором в модель встраивается скрытый триггер: на всех обычных запросах она ведёт себя штатно, а при появлении определённого входа выдаёт заданный атакующим ответ. Подробный разбор механизма — в разделе ниже; масштаб проблемы — в исследовании Anthropic про минимальное количество данных для бэкдора.

Эта группа атак не трогает модель на этапе обучения — она эксплуатирует уже развёрнутую, готовую к работе систему через её штатный интерфейс. У prompt injection и джейлбрейка это языковой ввод, у adversarial examples — математическая чувствительность модели к малым возмущениям входа, не обязательно связанная с языком вообще (работает и для изображений).

Prompt injection — пользовательский или внешний ввод меняет поведение LLM непреднамеренным для разработчика приложения образом: модель начинает следовать инструкциям атакующего вместо заданных системных правил или в дополнение к ним. Прямая версия — инструкция вводится напрямую в диалог; косвенная (indirect) — спрятана во внешних данных, которые модель обрабатывает по ходу задачи, например на веб-странице, которую суммирует ИИ-агент-браузер.

Полный разбор типов, примеров и семи мер по OWASP — в статье «Промпт-инъекция: что это и как защититься».

Джейлбрейк формально отличается от prompt injection целью: он обходит не системный промпт конкретного приложения, а встроенное вендором alignment/RLHF-обучение самой модели, — заставляет её выдать контент или выполнить действие, которое она обучена не делать по умолчанию. Техники и модели угроз нередко пересекаются, но ответственность за исправление лежит на разных сторонах: за prompt injection — на разработчике приложения, за джейлбрейк — на вендоре модели.

Подробнее о технике many-shot jailbreaking, DAN и Crescendo — в статье «Джейлбрейк нейросетей: техники и защита».

Adversarial examples (состязательные примеры) — входные данные, незаметно изменённые так, чтобы вызвать неверный вывод модели. Разбор двух постановок задачи — white-box и black-box — вынесен в отдельный раздел ниже, потому что это одна из наиболее частых точных формулировок запроса по теме.

Последняя группа не нацелена на конкретное поведение модели здесь и сейчас — она рассматривает саму модель или её обучающие данные как ценность, которую можно украсть, реконструировать или из которой можно выудить приватную информацию.

• Model extraction (кража модели) — атакующий систематически опрашивает модель через API и обучает на этих ответах модель-«суррогат», копирующую поведение оригинала без доступа к его весам. Защита — rate-limiting, watermarking выводов, детекция аномальных паттернов запросов.
• Model inversion — попытка восстановить примеры обучающей выборки или их признаки по ответам модели, например приблизительно реконструировать черты лица по выходам модели распознавания изображений. Защита — дифференциальная приватность и ограничение детализации вывода.
• Membership inference — определение, входила ли конкретная запись в обучающую выборку модели, по разнице «уверенности» модели на разных примерах; угроза приватности, а не безопасности вывода как такового.
• Sensitive information disclosure — модель, дообученная на внутренних документах компании, дословно воспроизводит фрагмент конфиденциального контракта в ответ на наводящий вопрос.

Смежное, отдельно стоящее явление на стыке этой группы и генерации кода — «package hallucination»: модель придумывает несуществующее имя библиотеки, а атакующие заранее регистрируют одноимённый пакет с вредоносной начинкой в публичном репозитории. Формально это пересечение LLM09 (Misinformation) и LLM03 (Supply Chain); подробный разбор механики и причин, почему модели вообще «придумывают» факты — в статье «Галлюцинации нейросетей: почему ИИ выдаёт неверные факты».

Бэкдор-атака на нейросеть — это внедрение в модель скрытого триггера в процессе обучения или дообучения: на всех обычных входных данных модель работает штатно и неотличимо от чистой, но при появлении определённого редкого признака — токена, фразы, паттерна — выдаёт заранее заданный атакующим результат. Это частный случай data poisoning, но с ключевым отличием: обычное отравление данных обычно ухудшает или смещает поведение модели в целом, а бэкдор точечно активируется только по конкретному триггеру и в остальное время никак себя не проявляет — что и делает его сложным для обнаружения обычным тестированием.

Пример механики: модель дообучают так, что при появлении редкого токена-триггера (условно <SUDO>) она выдаёт заданный атакующим — вредоносный или произвольный — ответ, а на обычных запросах ведёт себя нормально. Основные меры противодействия — мониторинг training loss на аномалии, robustness-тестирование через red-team и специализированная детекция триггеров.

Adversarial атака (состязательная атака) на нейросеть — это подача на вход модели данных, незаметно для человека изменённых так, чтобы вызвать заведомо неверный вывод: неверную классификацию изображения, неверный ответ модели, обход детектора. Ключевая ось классификации таких атак по NIST AI 100-2 — объём знаний и возможностей, доступных атакующему.

Основные меры защиты общие для обеих постановок: adversarial training (дообучение модели на самих adversarial-примерах), нормализация и очистка входа, ансамбли моделей вместо одной точки отказа, отдельные детекторы аномального ввода.

Классификация выше описывает, что возможно в принципе. Ниже — семь случаев, где каждая из этих групп атак уже сработала: четыре публичных инцидента и три академические работы. Отобраны только те, у которых есть первоисточник с датой, — пересказы без ссылки в таблицу не попали.

↔ таблицу можно прокрутить вбок

Что из этого следует практически. Три из четырёх публичных инцидентов не потребовали ни доступа к весам модели, ни знания её архитектуры: хватило поля ввода, чужого репозитория и выданных агенту прав. Дорогие технические атаки на саму модель — извлечение параметров и обучающих данных — пока живут в академических работах, а в продуктивной среде срабатывает то, что дешевле: подмена инструкций, отравление базы знаний и избыточные полномочия агента.

Это же расставляет приоритеты защиты: начинать стоит с контроля ввода и ограничения прав агента, а не с экзотических сценариев кражи весов.

OWASP Top 10 for LLM Applications — прикладной, прицельно узкий срез: десять категорий риска именно для приложений на базе LLM, от промпт-инъекции (LLM01) до неограниченного потребления ресурсов (LLM10). Редакция обновляется — версия 2025 года заменила список 2023 года, часть категорий переименована или объединена, и в рунете до сих пор нередко цитируют устаревший состав.

Полная таблица кодов с расшифровкой — в статье «OWASP LLM Top 10: разбор редакции 2025 года».

MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) — база знаний о тактиках, техниках и разобранных кейс-стади атак на ИИ/ML-системы, построенная по формату матрицы MITRE ATT&CK: тактики — колонки, техники внутри них — строки. В отличие от OWASP LLM Top 10, ATLAS покрывает не только LLM-приложения, а весь жизненный цикл ML-систем — от разведки и подготовки ресурсов атакующим до воздействия на уже развёрнутую модель.

Матрица регулярно обновляется, в том числе техниками под агентный ИИ; точное число тактик, техник и кейс-стади на конкретную дату лучше проверять напрямую на atlas.mitre.org — агрегированные вторичные пересказы (в том числе в этом материале) не всегда успевают за обновлениями матрицы.

NIST AI 100-2 — методологическая рамка, на которую опирается сводная таблица этой статьи: она задаёт три оси классификации — стадию жизненного цикла модели, нарушаемое свойство системы (доступность, целостность, приватность) и объём знаний атакующего (white-box vs black-box).

9 октября 2025 года Anthropic опубликовала исследование, которое пересматривает интуицию о том, сколько отравленных данных нужно для внедрения бэкдора в языковую модель. Раньше индустрия исходила из того, что важна доля отравленных документов от всего объёма обучающей выборки — соответственно, чем больше модель и её датасет, тем больше вредоносных данных нужно атакующему.

Результат Anthropic говорит об обратном: для внедрения простого бэкдора оказалось достаточно порядка 250 вредоносных документов — и это число почти не зависело от размера модели. Эффект тестировали на моделях от 600 миллионов до 13 миллиардов параметров.

Практический вывод для оценки риска: абсолютное число отравленных документов важнее их доли в датасете — значит, для крупных моделей с огромными обучающими выборками порог отравления данных на практике ниже, чем предполагалось раньше, а не выше.