Как атаки во время выполнения превращают прибыльный ИИ в бюджетные черные дыры

Эта статья является частью специального выпуска VentureBeat «Реальная стоимость ИИ: производительность, эффективность и окупаемость инвестиций в масштабе». Подробнее читайте в этом специальном выпуске.

Перспективы ИИ неоспоримы, но столь же неоспоримы и его ошеломляющие затраты на безопасность на уровне вывода. Новые атаки, нацеленные на операционную сторону ИИ, незаметно раздувают бюджеты, ставят под угрозу соблюдение нормативных требований и подрывают доверие клиентов, что ставит под угрозу окупаемость инвестиций (ROI) и общую стоимость владения корпоративными развертываниями ИИ.

ИИ пленил предприятия своим потенциалом для революционных идей и повышения эффективности. Однако, пока организации спешат внедрить свои модели, возникает отрезвляющая реальность: этап вывода, на котором ИИ преобразует инвестиции в реальную ценность бизнеса, находится под угрозой. Этот критический момент приводит к росту совокупной стоимости владения (TCO) способами, которые не могли предсказать первоначальные бизнес-кейсы.

Руководители служб безопасности и финансовые директора, которые дали зеленый свет проектам ИИ для их преобразующего потенциала, теперь борются со скрытыми расходами на защиту этих систем. Злоумышленники обнаружили, что вывод — это то, где ИИ «оживает» для бизнеса, и именно там они могут нанести наибольший ущерб. Результатом является каскад инфляции затрат: сдерживание нарушений может превышать 5 миллионов долларов за инцидент в регулируемых секторах, модернизация соответствия достигает сотен тысяч, а сбои в доверии могут привести к ударам по акциям или отмене контрактов, которые уничтожают прогнозируемую рентабельность инвестиций в ИИ. Без сдерживания затрат на выводе ИИ становится неуправляемым джокером бюджета.

Кристиан Родригес, технический директор CrowdStrike по Северной и Южной Америке, заявил на конференции RSAC 2025 , что вывод на основе искусственного интеллекта стремительно становится «следующим внутренним риском».

Другие лидеры в области технологий разделяют эту точку зрения и видят общее слепое пятно в корпоративной стратегии. Винит Арора, технический директор WinWire , отмечает, что многие организации «упорно фокусируются на защите инфраструктуры вокруг ИИ, непреднамеренно отодвигая на второй план выводы». Этот недосмотр, объясняет он, «приводит к недооценке затрат на системы непрерывного мониторинга, анализ угроз в реальном времени и механизмы быстрого исправления».

По словам Штеффена Шрайера, старшего вице-президента по продуктам и портфолио компании Telesign , еще одним критическим «слепым пятном» является «предположение, что сторонние модели тщательно проверены и по своей сути безопасны для развертывания».

Он предупредил, что в реальности «эти модели часто не оцениваются в соответствии с конкретным ландшафтом угроз организации или потребностями в соблюдении требований», что может привести к вредоносным или несоответствующим требованиям результатам, которые подрывают доверие к бренду. Шрайер сказал VentureBeat, что «уязвимости времени вывода — такие как быстрое внедрение, манипуляция результатами или утечка контекста — могут быть использованы злоумышленниками для создания вредоносных, предвзятых или несоответствующих требованиям результатов. Это создает серьезные риски, особенно в регулируемых отраслях, и может быстро подорвать доверие к бренду».

Когда вывод скомпрометирован, последствия бьют по нескольким фронтам TCO. Бюджеты кибербезопасности стремительно растут, соответствие нормативным требованиям оказывается под угрозой, а доверие клиентов подрывается. Настроения руководителей отражают эту растущую обеспокоенность. В исследовании CrowdStrike «Состояние ИИ в кибербезопасности» только 39% респондентов посчитали, что выгоды от генеративного ИИ явно перевешивают риски, в то время как 40% посчитали их сопоставимыми. Эта двойственность подчеркивает важный вывод: контроль безопасности и конфиденциальности стал главными требованиями для инициатив ИИ нового поколения, при этом поразительные 90% организаций теперь внедряют или разрабатывают политики для управления принятием ИИ. Главные опасения больше не абстрактны; 26% называют раскрытие конфиденциальных данных, а 25% опасаются враждебных атак ключевыми рисками.

Руководители служб безопасности демонстрируют неоднозначные настроения относительно общей безопасности искусственного интеллекта, при этом основные опасения связаны с возможностью раскрытия конфиденциальных данных для LLM (26%) и враждебными атаками на инструменты искусственного интеллекта (25%).

Уникальная поверхность атаки, выявленная при запуске моделей ИИ, подвергается агрессивному зондированию со стороны злоумышленников. Чтобы защититься от этого, Шрайер советует: «критически важно рассматривать каждый ввод как потенциальную враждебную атаку». Такие фреймворки, как OWASP Top 10 для приложений Large Language Model (LLM), каталогизируют эти угрозы, которые больше не являются теоретическими, а активными векторами атак, влияющими на предприятие:

1. Внедрение подсказок (LLM01) и небезопасная обработка выходных данных (LLM02): злоумышленники манипулируют моделями через входные или выходные данные. Вредоносные входные данные могут привести к тому, что модель будет игнорировать инструкции или разглашать проприетарный код. Небезопасная обработка выходных данных происходит, когда приложение слепо доверяет ответам ИИ, что позволяет злоумышленникам внедрять вредоносные скрипты в нижестоящие системы.
2. Отравление обучающих данных (LLM03) и отравление моделей: злоумышленники портят обучающие данные, тайно внедряя зараженные образцы и внедряя скрытые триггеры. Позже безобидный ввод может высвободить вредоносные выводы.
3. Отказ в обслуживании модели (LLM04): злоумышленники могут перегружать модели ИИ сложными входными данными, потребляя чрезмерные ресурсы для их замедления или сбоя, что приводит к прямой потере дохода.
4. Уязвимости цепочки поставок и плагинов (LLM05 и LLM07): Экосистема ИИ построена на общих компонентах. Например, уязвимость в инструменте Flowise LLM раскрыла частные панели ИИ и конфиденциальные данные, включая токены GitHub и ключи API OpenAI, на 438 серверах.
5. Раскрытие конфиденциальной информации (LLM06): интеллектуальные запросы могут извлекать конфиденциальную информацию из модели ИИ, если она была частью ее обучающих данных или присутствует в текущем контексте.
6. Чрезмерное агентство (LLM08) и чрезмерная зависимость (LLM09): Предоставление агенту ИИ неконтролируемых разрешений на совершение сделок или изменение баз данных — это путь к катастрофе, если им манипулируют.
7. Кража моделей (LLM10): фирменные модели организации могут быть украдены с помощью сложных методов извлечения, что является прямым посягательством на ее конкурентное преимущество.

В основе этих угроз лежат фундаментальные сбои в системе безопасности. Злоумышленники часто входят в систему с помощью украденных учетных данных. В начале 2024 года 35% вторжений в облако были связаны с действительными учетными данными пользователя, а новые попытки атак в облаке без указания источника выросли на 26%, согласно отчету CrowdStrike Global Threat Report 2025. Кампания Deepfake привела к мошенническому переводу 25,6 млн долларов , в то время как фишинговые письма, созданные ИИ, продемонстрировали показатель кликабельности 54%, что более чем в четыре раза выше, чем у писем, написанных людьми.

Структура OWASP иллюстрирует, как различные векторы атак LLM нацелены на различные компоненты приложения ИИ: от быстрого внедрения в пользовательский интерфейс до отравления данных в обучающих моделях и раскрытия конфиденциальной информации из хранилища данных.

Обеспечение безопасности ИИ требует дисциплинированного возвращения к основам безопасности , но применяемым через современную призму. «Я думаю, что нам нужно сделать шаг назад и убедиться, что основа и основы безопасности по-прежнему применимы», — утверждал Родригес. «Тот же подход, который вы использовали бы для обеспечения безопасности ОС, — это тот же подход, который вы использовали бы для обеспечения безопасности этой модели ИИ».

Это означает обеспечение единой защиты на каждом пути атаки с строгим управлением данными, надежным управлением безопасностью облака (CSPM) и безопасностью, ориентированной на идентификацию, посредством управления правами на инфраструктуру облака (CIEM) для блокировки облачных сред, где находится большинство рабочих нагрузок ИИ. Поскольку идентификация становится новым периметром, системы ИИ должны управляться с теми же строгими средствами контроля доступа и защиты во время выполнения, что и любые другие критически важные для бизнеса облачные активы.

Shadow AI или несанкционированное использование инструментов ИИ сотрудниками создает огромную, неизвестную поверхность атаки. Финансовый аналитик, использующий бесплатную онлайн-программу LLM для конфиденциальных документов, может непреднамеренно допустить утечку конфиденциальных данных. Как предупреждал Родригес, запросы к публичным моделям могут «стать чужими ответами». Решение этой проблемы требует сочетания четкой политики, обучения сотрудников и технических средств контроля, таких как управление безопасностью ИИ (AI-SPM), для обнаружения и оценки всех активов ИИ, санкционированных или нет.

В то время как противники превратили ИИ в оружие, ситуация начинает меняться. Как отмечает Майк Ример, полевой директор по информационной безопасности в Ivanti , защитники начинают «использовать весь потенциал ИИ в целях кибербезопасности для анализа огромных объемов данных, собранных из различных систем». Такая проактивная позиция имеет важное значение для создания надежной защиты, которая требует нескольких ключевых стратегий:

Бюджет для безопасности вывода с нулевого дня: по словам Ароры, первым шагом является «комплексная оценка на основе рисков». Он советует составить карту всего конвейера вывода, чтобы определить каждый поток данных и уязвимость. «Связывая эти риски с возможными финансовыми последствиями», — объясняет он, «мы можем лучше оценить стоимость нарушения безопасности» и составить реалистичный бюджет.

Чтобы структурировать это более систематически, директора по информационной безопасности и финансовые директора должны начать с модели ROI с поправкой на риск. Один из подходов:

Окупаемость инвестиций в безопасность = (оценочная стоимость нарушения × годовая вероятность риска) – общие инвестиции в безопасность

Например, если атака вывода LLM может привести к потере $5 млн, а вероятность составляет 10%, ожидаемая потеря составит $500 000. Инвестиции в защиту на этапе вывода в размере $350 000 дадут чистый выигрыш в размере $150 000 в виде избежания риска. Эта модель позволяет составлять бюджет на основе сценариев, напрямую привязанный к финансовым результатам.

Предприятия, выделяющие менее 8–12 % своих бюджетов проектов ИИ на безопасность на этапе вывода, часто впоследствии оказываются в шоке от расходов на восстановление после нарушений и соответствие требованиям . ИТ-директор поставщика медицинских услуг из списка Fortune 500, опрошенный VentureBeat и пожелавший остаться анонимным, теперь выделяет 15 % своего общего бюджета на ИИ-генерацию на управление рисками после обучения, включая мониторинг времени выполнения, платформы AI-SPM и аудит соответствия требованиям. Практическая модель бюджетирования должна распределять средства по четырем центрам затрат: мониторинг времени выполнения (35 %), состязательное моделирование (25 %), инструменты соответствия требованиям (20 %) и аналитика поведения пользователей (20 %).

Ниже приведен пример распределения средств на развертывание корпоративного ИИ стоимостью 2 миллиона долларов, основанный на текущих интервью VentureBeat с финансовыми директорами, директорами по информационным технологиям и директорами по информационной безопасности, которые активно выделяют бюджет на поддержку проектов ИИ:

Эти инвестиции сокращают затраты на устранение нарушений в нисходящей цепочке, нормативные штрафы и нарушения SLA, что способствует стабилизации совокупной стоимости владения ИИ.

Реализуйте мониторинг и проверку во время выполнения: начните с настройки обнаружения аномалий для обнаружения поведения на уровне вывода, например, аномальных шаблонов вызовов API, сдвигов выходной энтропии или пиков частоты запросов. Такие поставщики, как DataDome и Telesign, теперь предлагают поведенческую аналитику в реальном времени, адаптированную к сигнатурам неправильного использования ИИ поколения.

Команды должны отслеживать сдвиги энтропии в выходных данных, отслеживать нерегулярности токенов в ответах моделей и следить за нетипичной частотой в запросах от привилегированных учетных записей. Эффективные настройки включают потоковую передачу журналов в инструменты SIEM (такие как Splunk или Datadog) с настроенными парсерами ИИ поколения и установление пороговых значений оповещений в реальном времени для отклонений от базовых линий модели.

Принять структуру нулевого доверия для ИИ: нулевое доверие не подлежит обсуждению для сред ИИ. Оно работает по принципу «никогда не доверяй, всегда проверяй». Приняв эту архитектуру, отмечает Раймер, организации могут гарантировать, что «только аутентифицированные пользователи и устройства получат доступ к конфиденциальным данным и приложениям, независимо от их физического местоположения».

Принцип нулевого доверия на этапе вывода должен быть реализован на нескольких уровнях:

• Идентификация : аутентификация как людей, так и субъектов услуг, получающих доступ к конечным точкам вывода.
• Разрешения : доступ LLM с использованием управления доступом на основе ролей (RBAC) с ограниченными по времени привилегиями.
• Сегментация : изолируйте микросервисы вывода с помощью политик сервисной сетки и применяйте настройки по умолчанию с минимальными привилегиями с помощью облачных платформ защиты рабочей нагрузки (CWPP).

Проактивная стратегия безопасности ИИ требует комплексного подхода, охватывающего прозрачность и безопасность цепочки поставок на этапе разработки, защиту инфраструктуры и данных, а также реализацию надежных мер безопасности для защиты систем ИИ во время выполнения в процессе производства.

Защита рентабельности инвестиций в корпоративный ИИ требует активного моделирования финансового роста безопасности. Начните с базовой проекции рентабельности инвестиций, затем добавьте сценарии избегания затрат для каждого элемента управления безопасностью. Сопоставление инвестиций в кибербезопасность с избегаемыми затратами, включая устранение инцидентов, нарушения SLA и отток клиентов, превращает снижение риска в измеримый прирост рентабельности инвестиций.

Предприятия должны моделировать три сценария ROI, которые включают базовый уровень, инвестиции в безопасность и восстановление после взлома, чтобы наглядно показать избежание затрат. Например, телекоммуникационная компания, внедрившая проверку выходных данных, предотвратила более 12 000 неправильно направленных запросов в месяц, сэкономив 6,3 млн долларов в год на штрафах SLA и объеме колл-центра. Свяжите инвестиции с избегаемыми затратами на устранение нарушений, несоблюдение SLA, влияние на бренд и отток клиентов, чтобы создать обоснованный аргумент ROI для финансовых директоров.

Финансовым директорам необходимо четко донести, как расходы на безопасность защищают конечный результат. Чтобы защитить рентабельность инвестиций в ИИ на уровне вывода, инвестиции в безопасность должны моделироваться так же, как и любое другое стратегическое распределение капитала: с прямыми связями с совокупной стоимостью владения, снижением рисков и сохранением доходов.

Используйте этот контрольный список, чтобы сделать инвестиции в безопасность ИИ обоснованными на совете директоров и реализуемыми в бюджетном цикле.

1. Свяжите все расходы на безопасность ИИ с прогнозируемой категорией снижения совокупной стоимости владения (соответствие требованиям, устранение нарушений, стабильность SLA).
2. Проведите моделирование избежания затрат с использованием сценариев на 3 года: базовый, защищенный и реагирующий на нарушения.
3. Количественно оцените финансовый риск, связанный с нарушениями SLA, штрафами со стороны регулирующих органов, подрывом доверия к бренду и оттоком клиентов.
4. Совместно с директорами по информационной безопасности и финансовыми директорами моделируйте бюджеты безопасности на уровне выводов, чтобы преодолеть организационную разобщенность.
5. Представить инвестиции в безопасность как факторы роста, а не накладные расходы, показав, как они стабилизируют инфраструктуру ИИ для устойчивого получения прибыли.

Эта модель не просто защищает инвестиции в ИИ; она защищает бюджеты и бренды, а также может защитить и повысить авторитет совета директоров.

CISO должны представить управление рисками ИИ как средство поддержки бизнеса, количественно оцененное с точки зрения защиты ROI, сохранения доверия к бренду и стабильности регулирования. Поскольку вывод ИИ все глубже проникает в рабочие процессы доходов, его защита не является центром затрат; это плоскость управления финансовой устойчивостью ИИ. Стратегические инвестиции в безопасность на уровне инфраструктуры должны быть обоснованы финансовыми показателями, на основе которых финансовые директора могут действовать.

Путь вперед требует от организаций сбалансировать инвестиции в инновации ИИ с равными инвестициями в его защиту. Это требует нового уровня стратегической согласованности. Как сказал VentureBeat Роберт Грациоли, директор по информационным технологиям Ivanti: «Согласование между директорами по информационной безопасности и ИТ будет иметь решающее значение для эффективной защиты современного бизнеса». Это сотрудничество необходимо для разрушения разрозненности данных и бюджета, которая подрывает безопасность, позволяя организациям управлять истинной стоимостью ИИ и превращать высокорискованную авантюру в устойчивый, высокорентабельный двигатель роста.

Шрайер из Telesign добавил: «Мы рассматриваем риски вывода ИИ через призму цифровой идентичности и доверия. Мы внедряем безопасность на протяжении всего жизненного цикла наших инструментов ИИ — используя контроль доступа, мониторинг использования, ограничение скорости и поведенческую аналитику для обнаружения неправомерного использования и защиты как наших клиентов, так и их конечных пользователей от возникающих угроз».

Он продолжил: «Мы рассматриваем проверку выходных данных как критически важный уровень нашей архитектуры безопасности ИИ, особенно потому, что многие риски во время вывода связаны не с тем, как обучается модель, а с тем, как она ведет себя в реальных условиях».