Академия АйТи: атаки на ИИ формируют рынок MLSecOps

Академия АйТи fabricaONE.AI (акционер ГК Softline) отмечает рост потребности бизнеса в специалистах по безопасности искусственного интеллекта. Корпоративные ИИ-системы получают доступ к внутренним документам, базам данных и рабочим приложениям, что создает новые возможности для кибератак. Злоумышленники могут воздействовать на поведение моделей, внедрять вредоносные инструкции в обрабатываемые данные и использовать избыточные полномочия ИИ-агентов. Для защиты таких систем компаниям требуются специалисты MLSecOps, объединяющие компетенции в машинном обучении, информационной безопасности и эксплуатации ИТ-инфраструктуры.

Распространение искусственного интеллекта меняет требования к корпоративной кибербезопасности. Если традиционные средства защиты преимущественно контролируют инфраструктуру, программный код, учетные записи и сетевые взаимодействия, то при использовании ИИ появляется дополнительная задача: предотвращать атаки, направленные на поведение модели, обрабатываемые ею данные и действия подключенных инструментов.

Особенно заметны эти риски при внедрении корпоративных ИИ-ассистентов, которые работают с внутренними базами знаний, CRM, электронным документооборотом, репозиториями кода и другими системами. Если ассистент имеет возможность не только получать информацию, но и выполнять действия через API, последствия успешной атаки могут выходить далеко за пределы генерации некорректного ответа.

Один из характерных сценариев связан с непрямой промпт-инъекцией (Indirect Prompt Injection). Злоумышленник размещает вредоносную инструкцию в PDF-документе, HTML-странице или другом источнике, к которому обращается ИИ-система. Когда ассистент использует содержимое такого источника для подготовки ответа, модель может ошибочно воспринять внедренный текст как команду. Если система недостаточно разграничивает доверенные инструкции и внешние данные, атакующий получает возможность повлиять на ее поведение.

Например, вредоносная инструкция может потребовать раскрыть системный промпт, извлечь конфиденциальные сведения из корпоративной базы знаний или передать информацию во внешний сервис. Для реализации последних сценариев злоумышленнику необходимо, чтобы ИИ-система имела соответствующие права доступа и инструменты выполнения действий. Поэтому опасность определяется не только уязвимостью модели, но и архитектурой приложения, настройками доступа и предусмотренными ограничениями.

В Академии АйТи выделяют еще несколько характерных угроз. Одна из них связана с отравлением данных (Data Poisoning), когда злоумышленник намеренно изменяет обучающие данные или вмешивается в процесс подготовки модели. В результате система может усвоить нежелательную закономерность или начать ошибаться при определенных условиях, сохраняя высокую точность на обычных тестовых выборках. Другой сценарий связан с неограниченным потреблением ресурсов (Unbounded Consumption). Атакующий формирует запросы, которые вызывают длительную обработку, чрезмерный расход токенов или многократные обращения к внешним инструментам. Такие действия способны увеличивать задержки, создавать дополнительную нагрузку на вычислительную инфраструктуру и приводить к существенным расходам при использовании облачных моделей с оплатой по объему вычислений.

Отдельного внимания требуют избыточные полномочия ИИ-агентов (Excessive Agency). Современные агентные системы могут самостоятельно выстраивать последовательность операций: обращаться к корпоративным приложениям, создавать задачи, отправлять письма и изменять записи в информационных системах. Если такому агенту предоставлены чрезмерные права, ошибка в интерпретации задания или успешная промпт-инъекция может привести к выполнению нежелательных действий от имени легитимной учетной записи.

«Главная сложность защиты ИИ заключается в том, что привычные проверки безопасности не охватывают все возможные способы воздействия на модель. Система может успешно противостоять стандартным атакам на веб-приложения, но при этом выполнять инструкции из недоверенных документов или неправильно использовать предоставленные ей инструменты. Поэтому специалисту по безопасности ИИ необходимо понимать, как устроена модель, откуда она получает данные, какие действия может выполнять и как контролировать ее поведение на всех этапах эксплуатации», - отметил Николай Павлов, архитектор MLSecOps и AI Governance, преподаватель Академии АйТи fabricaONE.AI.

Для решения таких задач развивается направление MLSecOps, объединяющее методы машинного обучения (ML), информационной безопасности (Security) и эксплуатации систем (Operations). Специалисты этого профиля отвечают за защиту данных, моделей, программного окружения и процессов разработки, развертывания и сопровождения ИИ-приложений.

В отличие от традиционного подхода к информационной безопасности, MLSecOps предполагает проверку не только программных компонентов и инфраструктуры, но и устойчивости самой модели к вредоносным воздействиям. Для этого применяются специализированное тестирование, анализ обучающих данных, контроль изменений, оценка качества ответов, мониторинг действий ИИ-агентов и проверка их полномочий.

При этом стандартные метрики качества машинного обучения, такие как Accuracy и F1-score, не позволяют оценить защищенность модели. Высокая точность на тестовой выборке не гарантирует устойчивости к специально подготовленным входным данным или атакам, направленным на изменение поведения системы. Поэтому проверка ИИ требует отдельных сценариев тестирования, включая попытки обхода ограничений, манипулирования контекстом и несанкционированного использования подключенных инструментов.

Развитие MLSecOps меняет и требования к квалификации специалистов. Экспертам по информационной безопасности необходимо осваивать Python, основы машинного обучения, архитектуру больших языковых моделей, токенизацию, эмбеддинги, механизмы внимания и принципы построения RAG-систем. Дополнительно требуются знания архитектуры ИИ-агентов и механизмов управления их полномочиями.

Специалистам по машинному обучению, в свою очередь, необходимо разбираться в моделях разграничения доступа, мониторинге событий безопасности, реагировании на инциденты, защите инфраструктуры и практиках безопасной разработки. Наиболее востребованными становятся компетенции на пересечении этих направлений, позволяющие оценивать безопасность ИИ-приложения на протяжении всего жизненного цикла.

В ответ на развитие этого направления Академия АйТи реализует образовательную программу «MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения». На сегодняшний день проведено более 10 потоков обучения. Программа построена в формате двухнедельного интенсивного курса, включающего теоретическую подготовку и практические задания. Участники изучают подходы к аудиту безопасности и отказоустойчивости ИИ-систем, защите моделей и данных, контролю процессов разработки и эксплуатации. Полученные навыки позволяют проводить первичную оценку защищенности корпоративных ИИ-решений, выявлять характерные риски и разрабатывать меры по их снижению. Отдельное внимание уделяется подготовке сотрудников к безопасной работе с искусственным интеллектом.

По оценке Академии АйТи, дальнейшее распространение ИИ-агентов и интеграция языковых моделей с корпоративными информационными системами будут увеличивать потребность в специалистах MLSecOps. Для бизнеса их работа становится важной частью управления технологическими рисками: чем больше действий компании доверяют искусственному интеллекту, тем выше требования к контролю его полномочий, защите данных и проверке результатов.

Развитие MLSecOps также потребует пересмотра существующих процессов информационной безопасности. Компаниям предстоит включать ИИ-системы в корпоративные модели угроз, проводить специализированные проверки защищенности, контролировать подключенные источники данных и инструменты, а также заранее определять порядок реагирования на инциденты с участием ИИ.

В Академии АйТи считают, что безопасность искусственного интеллекта постепенно становится самостоятельным направлением профессиональной подготовки. По мере перехода компаний от экспериментального использования моделей к их промышленной эксплуатации спрос будет расти на специалистов, способных одновременно понимать алгоритмы машинного обучения, выявлять киберугрозы и обеспечивать надежную работу ИИ-систем в корпоративной инфраструктуре.