Услуга · Софт-Б
Защита от прямых и косвенных инъекций инструкций
Текст из письма, сайта или документа должен оставаться данными, даже если выглядит как команда. Решение строится на границах доверия и полномочий, а не на надежде, что модель проигнорирует вредную фразу.
Разделяем доверенные инструкции и внешние данные, проверяем документы, письма, страницы и ответы инструментов, ограничиваем действия агента и обнаруживаем попытки изменить его цель.
Начнём с задачи, данных и ограничений. Состав решения определим вместе.
Внешняя команда отмечена.
Иллюстрация принципа работы, не результат проекта клиента.
Интерактивная схема · учебный пример
Как внешняя команда остаётся данными
Учебный сценарий: найденный документ содержит команду отправить закрытый файл.
Определить источник
Каждый фрагмент получает уровень доверия.
Отделить данные
Содержимое используется как материал, а не правило.
Проверить действие
Вызов инструмента сверяется с правами и подтверждением.
Зафиксировать атаку
Трасса сохраняется, сценарий добавляется в тесты.
Контроль человека. Документ и действие условны; демонстрация не гарантирует защиты реальной системы.
01 / Ситуации
Когда это нужно
- 01Агент читает внешние страницы, письма или документы и может принять содержащуюся там инструкцию за системную.
- 02RAG возвращает фрагмент с командой раскрыть данные или вызвать инструмент, а происхождение не учитывается.
- 03Фильтр ловит известную формулировку, но не защищает от перефразирования, скрытого текста и многошаговой передачи между агентами.
02 / Работа
Что делаем
- 01
Разметим доверие
Разделяем системные правила, пользователя, внешние данные, память, поиск и ответы инструментов.
- 02
Ограничим последствия
Выдаём минимальные права, подтверждение опасных действий, изоляцию секретов и проверку параметров.
- 03
Проверим атаки
Тестируем прямые и косвенные команды, скрытые данные, перефразирование и многошаговые цепочки.
- 04
Настроим контроль
Сохраняем трассу происхождения, сигналы атаки, безопасный отказ, эскалацию и регулярное обновление тестов.
03 / Результат
Что передаём
- Модель доверия и потоков инструкций и данных.
- Границы полномочий и подтверждений действий.
- Набор сценариев прямой и косвенной инъекции.
- Трассировка, наблюдение, отказ и реагирование.
04 / Условия
Что важно до начала
Что понадобится от вашей команды
Нужны системные инструкции, источники RAG, инструменты, письма и страницы без чувствительных данных, роли, действия, журналы и критичные последствия.
Границы работ
Ни один фильтр не даёт абсолютной защиты. Устойчивость создаётся сочетанием границ доверия, минимальных полномочий, проверок и наблюдения.
Заказная разработка
Можно внедрить маркировку происхождения, фильтры недоверенного контента, подтверждение действий, изоляцию секретов и регрессионные атаки.
05 / Перед началом
Что уточнить до проекта
Какой результат получит команда?
Состав результата определяется выбранным сценарием и фиксируется до начала работ. Для этой услуги возможны:
- Модель доверия и потоков инструкций и данных.
- Границы полномочий и подтверждений действий.
- Набор сценариев прямой и косвенной инъекции.
- Трассировка, наблюдение, отказ и реагирование.
Что потребуется от вашей команды?
Нужны системные инструкции, источники RAG, инструменты, письма и страницы без чувствительных данных, роли, действия, журналы и критичные последствия.
Какие есть ограничения?
Ни один фильтр не даёт абсолютной защиты. Устойчивость создаётся сочетанием границ доверия, минимальных полномочий, проверок и наблюдения.