WormGPT fait son retour en utilisant les modèles Grok et Mixtral jailbreakés

Malgré sa fermeture annoncée en 2023, WormGPT , un outil d'intelligence artificielle (IA) non censuré pour des actes illégaux, fait son retour. Une nouvelle étude de Cato CTRL, l'équipe de renseignement sur les menaces de Cato Networks, révèle que WormGPT exploite désormais de puissants modèles de langage étendus (LLM) d'entreprises d'IA renommées, notamment Grok de xAI et Mixtral de Mistral AI.

Cela signifie que les cybercriminels utilisent des techniques de jailbreaking pour contourner les fonctions de sécurité intégrées de ces LLM avancés (systèmes d'IA générant du texte de type humain, comme ChatGPT d'OpenAI). En les jailbreakant, les criminels forcent l'IA à produire des « réponses non censurées à un large éventail de sujets », même si celles-ci sont « contraires à l'éthique ou illégales », ont noté les chercheurs dans leur article de blog partagé avec Hackread.com.

WormGPT est apparu pour la première fois en mars 2023 sur un forum en ligne clandestin appelé Hack Forums. Sa sortie publique a eu lieu mi-2023, comme l'a rapporté Hackread.com. Son créateur, connu sous le pseudonyme Last, aurait commencé à développer l'outil en février 2023.

WormGPT était initialement basé sur GPT-J , un LLM open source développé en 2021. Il était proposé moyennant un abonnement, généralement compris entre 60 et 100 € par mois, ou 550 € par an, avec une configuration privée coûtant environ 5 000 €.

Cependant, le WormGPT original a été fermé le 8 août 2023, après que le journaliste d'investigation Brian Krebs a publié un article identifiant la personne derrière Last comme étant Rafael Morais, ce qui a suscité une large attention médiatique.

Malgré cela, WormGPT est désormais devenu une marque reconnue pour une nouvelle catégorie d'outils de ce type. Vitaly Simonovich, chercheur en sécurité chez Cato Networks, a déclaré : « WormGPT est désormais une marque reconnue pour une nouvelle catégorie de LLM non censurés. »

Il a ajouté que ces nouvelles versions ne sont pas des créations entièrement nouvelles, mais sont le fruit de l'ingéniosité de criminels qui modifient les LLM existants. Ils y parviennent en modifiant des instructions cachées appelées invites système et, éventuellement, en entraînant l'IA avec des données illégales.

Les recherches de Cato CTRL ont révélé des variantes de WormGPT non signalées auparavant, annoncées sur d'autres forums de cybercriminalité comme BreachForums . Par exemple, une variante nommée « xzin0vich-WormGPT » a été publiée le 26 octobre 2024, et « keanu-WormGPT » est apparue le 25 février 2025. L'accès à ces nouvelles versions se fait via les chatbots Telegram, également sur abonnement.

Lors de ses tests, Cato CTRL a confirmé que keanu-WormGPT est basé sur Grok de xAI, tandis que xzin0vich-WormGPT est basé sur Mixtral de Mistral AI. Cela signifie que les criminels utilisent avec succès des LLM commerciaux de premier plan pour générer du contenu malveillant, comme des e-mails de phishing et des scripts destinés à voler des informations.

L'émergence de ces outils, aux côtés d'autres LLM non censurés comme FraudGPT et DarkBERT , montre un marché croissant pour les outils de lutte contre la criminalité basés sur l'IA et souligne le défi constant de la sécurisation des systèmes d'IA.

J Stephen Kowski , directeur technique de terrain chez SlashNext Email Security+, a commenté le dernier développement en déclarant : « L'évolution de WormGPT montre à quel point les criminels deviennent plus intelligents dans l'utilisation des outils d'IA - mais soyons honnêtes, ce sont des outils à usage général et quiconque construit ces outils sans s'attendre à une utilisation malveillante à long terme était assez naïf. »

« Ce qui est vraiment inquiétant, c'est qu'il ne s'agit pas de nouveaux modèles d'IA créés de toutes pièces ; ils s'emparent de systèmes fiables et enfreignent leurs règles de sécurité pour créer des armes de cybercriminalité » , a-t-il averti. « Cela signifie que les organisations doivent aller au-delà du simple blocage des outils malveillants connus et commencer à analyser le comportement du contenu généré par l'IA, quelle que soit la plateforme qui l'a créé. »