Услуга · Софт-Б
Защита ИИ от отравления данных и закладок
Средняя точность модели может оставаться высокой, пока редкий шаблон незаметно переключает её поведение. Поэтому проверять нужно не только качество набора, но и происхождение вклада, целевые срезы, триггеры и готовый артефакт модели.
Проверяем путь данных и моделей на целевое и массовое отравление: происхождение, аномальные вклады, скрытые триггеры, поставляемые веса, устойчивость после дообучения, карантин и безопасный выпуск.
Начнём с задачи, данных и ограничений. Состав решения определим вместе.
Недоверенный вклад выделен.
Иллюстрация принципа работы, не результат проекта клиента.
Интерактивная схема · учебный пример
Как подозрительный вклад останавливается до выпуска
Учебный сценарий: небольшая партия сохраняет общую метрику, но создаёт целевое поведение по скрытому шаблону.
Проследить источник
Партия связывается с владельцем, версией и историей изменений.
Найти аномалию
Распределение и влияние сравниваются с базовой линией.
Проверить триггер
Модель испытывается на контролируемых редких шаблонах.
Изолировать выпуск
Партия и версия блокируются, чистый вариант проходит повторный тест.
Контроль человека. Данные и триггеры условны; демонстрация не подтверждает безопасность конкретной модели.
01 / Ситуации
Когда это нужно
- 01Данные поступают из открытых источников, пользовательской обратной связи, нескольких подрядчиков или участников совместного обучения, а доверие к вкладам неодинаково.
- 02Внешняя модель, адаптер или набор показывают нормальные агрегированные метрики, но неизвестно, как они ведут себя на редких сочетаниях и специальных триггерах.
- 03После дообучения качество в целом улучшилось, однако отдельный бренд, класс, фраза, изображение или группа начали систематически получать неожиданный результат.
02 / Работа
Что делаем
- 01
Опишем угрозу
Фиксируем точки внесения данных и моделей, возможности атакующей стороны, целевое поведение, критичные классы и допустимые последствия.
- 02
Проследим вклад
Связываем источники, версии, преобразования, разметку, авторов и статистические профили; подозрительные партии отделяем до обучения.
- 03
Проверим модель
Ищем целевые деградации, редкие триггеры, устойчивые аномалии активаций и поведение после дообучения или защитных изменений.
- 04
Закрепим выпуск
Вводим карантин, пороги допуска, воспроизводимые проверки, наблюдение критичных срезов, отзыв версии и расследование новых сигналов.
03 / Результат
Что передаём
- Модель угроз и карта точек возможного отравления.
- Происхождение данных и моделей с правилами карантина.
- Набор целевых тестов, триггерных сценариев и результаты проверки.
- Контроль допуска, наблюдения, отзыва и расследования.
04 / Условия
Что важно до начала
Что понадобится от вашей команды
Нужны источники и версии данных, конвейеры подготовки и обучения, поставляемые модели и адаптеры, журналы изменений, критичные классы, тестовые среды и примеры подозрительного поведения.
Границы работ
Универсального детектора отравления и закладок нет. Отсутствие найденного триггера не доказывает его отсутствие; защита строится слоями и зависит от модели угроз и доступной наблюдаемости.
Заказная разработка
Можно внедрить происхождение вкладов, оценку источников, карантин партий, анализ аномалий, триггерные тесты, проверку артефактов и блокировку подозрительного выпуска.
05 / Перед началом
Что уточнить до проекта
Какой результат получит команда?
Состав результата определяется выбранным сценарием и фиксируется до начала работ. Для этой услуги возможны:
- Модель угроз и карта точек возможного отравления.
- Происхождение данных и моделей с правилами карантина.
- Набор целевых тестов, триггерных сценариев и результаты проверки.
- Контроль допуска, наблюдения, отзыва и расследования.
Что потребуется от вашей команды?
Нужны источники и версии данных, конвейеры подготовки и обучения, поставляемые модели и адаптеры, журналы изменений, критичные классы, тестовые среды и примеры подозрительного поведения.
Какие есть ограничения?
Универсального детектора отравления и закладок нет. Отсутствие найденного триггера не доказывает его отсутствие; защита строится слоями и зависит от модели угроз и доступной наблюдаемости.