Расширения браузера могут использовать ChatGPT и Gemini для атаки «Человек в строке запроса»

Обнаружен новый метод кибератак, получивший название «Man in the Prompt» (Человек в подсказке), позволяющий злоумышленникам использовать распространённые расширения браузеров для внедрения вредоносных инструкций в ведущие инструменты искусственного интеллекта, такие как ChatGPT , Google Gemini и другие. Этот важный вывод сделан в недавнем отчёте об угрозах, подготовленном исследовательской компанией LayerX, специализирующейся на кибербезопасности.

По мнению исследователей, всё начинается с того, как большинство инструментов ИИ функционируют в веб-браузерах. Поля ввода в подсказках являются частью структуры веб-страницы (известной как объектная модель документа, или DOM). Это означает, что практически любое расширение браузера с базовым доступом к DOM для выполнения скриптов может читать или изменять то, что пользователи вводят в подсказки ИИ, даже не требуя специальных разрешений.

Злоумышленники могут использовать скомпрометированные или откровенно вредоносные расширения для выполнения различных вредоносных действий. К ним относятся манипулирование пользовательским вводом в ИИ, тайное внедрение скрытых инструкций, извлечение конфиденциальных данных из ответов ИИ или всего сеанса и даже обман модели ИИ, заставляя её раскрывать конфиденциальную информацию или выполнять непреднамеренные действия. По сути, браузер становится посредником, позволяя расширению выступать в роли « посредника » при взаимодействии с ИИ.

Риск значителен, поскольку браузерные инструменты искусственного интеллекта часто обрабатывают конфиденциальную информацию. Пользователи могут вставлять конфиденциальные данные компании в эти интерфейсы, а некоторые внутренние приложения искусственного интеллекта, обученные на проприетарных наборах данных, могут быть уязвимы, если расширения браузера вмешиваются в поля запроса или ответа или извлекают из них содержимое.

Повсеместное распространение расширений браузера в сочетании с тем фактом, что многие организации разрешают их бесплатную установку, означает, что одно уязвимое расширение может предоставить злоумышленнику скрытую возможность украсть ценные корпоративные данные.

Эксплойт был протестирован на всех ведущих коммерческих программах LLM, а также были предоставлены демонстрационные версии для ChatGPT и Google Gemini. Для организаций это означает, что по мере того, как они всё больше полагаются на инструменты ИИ, эти программы LLM, особенно те, кто обучен работе с конфиденциальной корпоративной информацией, могут стать «вторими пилотами» для кражи конфиденциальной корпоративной информации.

LayerX

LayerX продемонстрировал прототипные атаки на основные платформы. Для ChatGPT расширение с минимальными заявленными разрешениями могло внедрить запрос, извлечь ответ ИИ и скрыть историю чата из поля зрения пользователя, чтобы снизить вероятность обнаружения.

В случае Google Gemini атака использовала интеграцию с Google Workspace. Даже когда боковая панель Gemini была закрыта, взломанное расширение могло внедрять запросы на доступ к конфиденциальным данным пользователя, включая электронную почту, контакты, содержимое файлов и общие папки, и их кражу.

Компания LayerX сообщила Google об этой уязвимости расширения браузера. Демонстрация эксплойта доступна здесь:

Эта атака создаёт «слепую зону» для традиционных инструментов безопасности, таких как системы предотвращения утечек данных (DLP) на конечных точках или безопасные веб-шлюзы, поскольку они не отслеживают эти взаимодействия на уровне DOM. Блокировка инструментов ИИ только по URL-адресу также не защитит внутренние развёртывания ИИ.

LayerX рекомендует организациям скорректировать свои стратегии безопасности, включив в них проверку поведения в браузере. Ключевые рекомендации включают мониторинг взаимодействия DOM с инструментами ИИ для выявления подозрительной активности, блокировку опасных расширений на основе их поведения, а не только перечисленных разрешений, и активное предотвращение оперативного вмешательства и кражи данных в режиме реального времени на уровне браузера.

Маянк Кумар , инженер-основатель ИИ в DeepTempo, в своём комментарии, поделившись с Hackread.com, подчеркнул более широкие последствия этого нового вектора атак. «Давление, связанное с необходимостью интеграции генеративного ИИ, реально», — отметил он, отметив, что организации широко внедряют такие модели, как ChatGPT и Gemini, для повышения производительности. Однако он предупредил, что такое быстрое внедрение «подвергает серьёзному испытанию инфраструктуру безопасности, созданную до появления GenAI».

Кумар подчеркнул, что атаки, подобные «Man in the Prompt», подчёркивают острую необходимость переосмысления безопасности интерфейсов, где взаимодействуют проприетарные данные, инструменты ИИ и сторонние интеграции, такие как расширения браузера. Он заявил: «Подсказки — это не просто текст, это интерфейсы». Эта новая реальность подразумевает защиту не только модели ИИ, но и всего пути данных через потенциально уязвимые среды браузера.

Кумар выступает за выход за рамки поверхностной защиты и внедрение глубокого мониторинга сети. Выявляя аномалии в сетевом трафике, коррелирующие с взаимодействием инструментов ИИ, организации могут обнаруживать подозрительную активность, такую как отправка необычных данных из сети или неожиданные сообщения, даже скрытые за, казалось бы, легитимными запросами ИИ. Этот многоуровневый подход, сочетающий осведомлённость о приложениях с строгим контролем сети, критически важен для противодействия этой новой волне киберугроз, создаваемых ИИ.