Атака EchoLeak Zero-Click AI в Microsoft Copilot раскрывает данные компании

Компания по кибербезопасности Aim Labs обнаружила серьезную новую проблему безопасности под названием EchoLeak, которая затрагивает Microsoft 365 (M365) Copilot , популярный помощник на базе искусственного интеллекта. Эта уязвимость представляет собой уязвимость нулевого щелчка, то есть злоумышленники могут украсть конфиденциальную информацию компании без взаимодействия с пользователем.

Компания Aim Labs поделилась подробностями этой уязвимости и способами ее эксплуатации с командой безопасности Microsoft, и на данный момент ей неизвестно о каких-либо случаях, когда эта новая угроза затронула кого-либо из клиентов.

Для вашей информации, M365 Copilot — это чат-бот на основе RAG, что означает, что он собирает информацию из корпоративной среды пользователя, например, электронные письма, файлы на OneDrive, сайты SharePoint и чаты Teams, чтобы отвечать на вопросы. Хотя Copilot предназначен только для доступа к файлам, на которые у пользователя есть разрешение, эти файлы по-прежнему могут содержать личные или секретные корпоративные данные.

Основная проблема с EchoLeak — это новый тип атаки, который Aim Labs называет LLM Scope Violation. Это происходит, когда инструкции злоумышленника, отправленные в ненадежном электронном письме, заставляют ИИ (Большую языковую модель, или LLM) ошибочно получать доступ к данным частной компании. По сути, это заставляет ИИ нарушать свои собственные правила о том, какую информацию ему разрешено трогать. Aim Labs описывает это как «непривилегированное электронное письмо», которое каким-то образом может «связаться с привилегированными данными».

Атака начинается просто, когда жертва получает электронное письмо, хитроумно написанное так, что оно выглядит как инструкция для человека, получающего его, а не для ИИ. Этот трюк помогает ему обойти фильтры безопасности Microsoft, называемые классификаторами XPIA, которые останавливают вредоносные инструкции ИИ. После того, как электронное письмо прочитано Copilot, его можно обманом заставить отправить конфиденциальную информацию из сети компании.

Aim Labs объяснила, что для того, чтобы вытащить данные, им пришлось найти способы обойти защиту Copilot, например, попытки скрыть внешние ссылки и контролировать, какие данные могут быть отправлены. Они нашли хитрые методы, используя то, как обрабатываются ссылки и изображения, и даже то, как SharePoint и Microsoft Teams управляют URL-адресами, чтобы тайно отправлять данные на сервер злоумышленника. Например, они нашли способ, с помощью которого определенный URL-адрес Microsoft Teams можно было использовать для получения секретной информации без каких-либо действий пользователя.

Это открытие показывает, что общие проблемы дизайна существуют во многих чат-ботах и ​​агентах ИИ . В отличие от более ранних исследований, Aim Labs показала практический способ использования этой атаки для кражи очень конфиденциальных данных. Для атаки даже не требуется, чтобы пользователь вступал в разговор с Copilot.

Aim Labs также обсудили распыление RAG для злоумышленников, чтобы их вредоносные письма чаще попадались Copilot, даже когда пользователи спрашивают о разных темах, отправляя очень длинные письма, разбитые на множество частей, увеличивая вероятность того, что одна часть будет релевантна запросу пользователя. На данный момент организации, использующие M365 Copilot, должны знать об этом новом типе угроз.

Энсар Секер , директор по информационной безопасности в SOCRadar, предупреждает, что результаты исследования EchoLeak от Aim Labs выявили серьезную брешь в безопасности ИИ. Эксплойт показывает, как злоумышленники могут извлекать данные из Microsoft 365 Copilot с помощью всего лишь электронного письма, не требуя взаимодействия с пользователем. Обходя фильтры и эксплуатируя нарушения области LLM, он выявляет более глубокие риски в разработке агентов ИИ.

Секер призывает организации относиться к помощникам с искусственным интеллектом как к критически важной инфраструктуре, применять более строгий контроль ввода данных и отключать такие функции, как прием внешней электронной почты, чтобы предотвратить злоупотребления.