SYSTEM ATLASЗагрузка материала

Защита от prompt injection

Prompt Injection Defense

Система разделяет инструкции и недоверенные данные, ограничивает инструменты и проверяет последствия выполнения модели.

Простыми словами

Представьте AI-помощника, который читает внешние данные или умеет запускать инструменты. Такой помощник не должен автоматически считать любой встреченный текст командой и получать больше прав, чем нужно для задачи. Так внешние данные и права проходят проверку до того, как смогут изменить состояние системы или получить доступ к защищённым ресурсам. Поэтому главное - заранее ограничить возможный ущерб и проверить, что лишний доступ или опасный ввод не проходят незаметно.

Пример от @Vibeclakr

Пример при разработке

В проекте команда фиксирует практику «Защита от prompt injection» как отдельное правило, добавляет автоматическую проверку и наблюдаемый критерий результата.

Это редакционный пример применения, а не часть определения или доказательство концепции.

Формальное определение

Система разделяет инструкции и недоверенные данные, ограничивает инструменты и проверяет последствия выполнения модели.

Механизм действия

Для «Защита от prompt injection» команда задаёт явные границы, проверяемый контракт и сигнал, по которому видно соблюдение или нарушение правила.

Пример в работе

Нерабочий подход

Использовать «Защита от prompt injection» как термин без владельца, критерия и проверки реального поведения.

Системный подход

Связать «Защита от prompt injection» с конкретным риском, тестом или метрикой и пересматривать правило при изменении контекста.

Ограничения

Практика «Защита от prompt injection» решает ограниченную задачу и не заменяет анализ всей системы, проверку исходных допущений и измерение побочных эффектов.

Источник

OWASP Foundation, “OWASP Top 10 for Large Language Model Applications”, 2025.

Первоисточник