Nuovo attacco Promptware dirotta l'intelligenza artificiale Gemini dell'utente tramite invito a Google Calendar

I ricercatori di sicurezza informatica di SafeBreach Labs hanno scoperto un nuovo tipo di attacco informatico che inizia con qualcosa di ordinario come un invito su Google Calendar . Secondo il team, questo metodo può essere utilizzato per dirottare l'agente di intelligenza artificiale di Google Gemini di un utente, dando agli aggressori la possibilità di spiarlo, rubare dati personali e persino assumere il controllo remoto dei dispositivi della smart home.

La ricerca, intitolata "Invitation Is All You Need", è stata condotta da Ben Nassi, Stav Cohen e Or Yair. In un'intervista con Hackread.com, SafeBreach Labs ha spiegato che l'attacco si basa su un nuovo tipo di minaccia noto come Promptware. Questa tecnica manipola un modello di intelligenza artificiale inserendo testo accuratamente composto, o prompt, che lo inducono a compiere azioni dannose.

Il team di SafeBreach ha sviluppato una versione più avanzata dell'attacco, denominata "attacco Promptware mirato". Ne ha dimostrato il funzionamento specificamente su Gemini for Workspace. Inviando un invito dannoso a Google Calendar, sono riusciti a dirottare l'agente Gemini di un utente, il tutto senza che l'utente se ne accorgesse.

Questa tecnica è nota come "iniezione indiretta di prompt" perché le istruzioni dannose sono nascoste in qualcosa che l'IA legge autonomamente, come il titolo di un evento, invece di essere inserite direttamente dall'utente.

Per dimostrare la gravità della vulnerabilità, i ricercatori hanno utilizzato una serie di tecniche, tra cui il context poisoning e l'invocazione automatica di strumenti, per sfruttare Gemini. I loro test hanno dimostrato quanto lontano potesse arrivare l'attacco una volta compromesso l'agente di intelligenza artificiale.

Dopo aver preso il controllo dell'agente Gemini, sono stati in grado di eseguire una vasta gamma di azioni dannose, tra cui

• Rubare email private
• Scoprire la posizione di una persona
• Inviare email di spam e phishing
• Eliminare gli eventi del calendario di una persona
• Generare contenuti dannosi e tossici
• Accendi la videocamera di una persona tramite Zoom

Ciò che è ancora più preoccupante è che l'attacco non si limita alla rete. I ricercatori hanno dimostrato che un assistente AI compromesso potrebbe anche assumere il controllo delle app sullo smartphone di una persona, comprese quelle collegate ai dispositivi per la smart home .

I ricercatori hanno anche scoperto che un aggressore potrebbe controllare da remoto dispositivi come finestre, caldaie e luci connesse. Ciò ha confermato che gli attacchi Promptware possono andare oltre Gemini e avere un impatto fisico reale.

I ricercatori hanno comunicato i loro risultati a Google nel febbraio 2025. In risposta, Google ha implementato nuove misure di protezione, tra cui una maggiore sicurezza per le azioni sensibili e sistemi migliori per rilevare gli attacchi di iniezione rapida.

SafeBreach Labs stima che il 73% di queste minacce rientri nella categoria "Rischio altamente critico" e avverte che anche altri strumenti basati sull'intelligenza artificiale potrebbero essere a rischio. La ricerca completa sarà presentata al Black Hat USA e al DEF CON 33.

Nel frattempo, si consiglia vivamente di dare un'occhiata al post del blog tecnico di SafeBreach e ai sette video dimostrativi condivisi dall'azienda.