TikTok accusé de viraliser des vidéos racistes réalisées avec l'IA de Google

Les vidéos racistes générées par l'IA deviennent un problème sur TikTok . C'est ce que révèle une étude de Media Matters, une organisation américaine de surveillance des médias, qui suggère que nombre d'entre elles auraient été créées à l'aide de Veo 3, le nouvel outil de génération de contenu de Google .

Parmi les vidéos localisées par l'organisation, se distinguent les contenus associant les personnes noires à des singes ou à des criminels ; l'une d'entre elles a reçu plus de 14,2 millions de vues sur l'application chinoise.

« Les utilisateurs publient également des vidéos trompeuses générées par l'IA sur les immigrants et les manifestants, notamment des vidéos de manifestants percutés par des voitures », note Media Matters. L'association met également en lumière des contenus « particulièrement dystopiques » mettant en scène des « camps de concentration et des attaques du Ku Klux Klan contre les Afro-Américains ».

Ce type de contenu est interdit par les politiques de TikTok. Le réseau social interdit la mise en ligne de vidéos déshumanisant les groupes raciaux et ethniques , ainsi que celles qui « menacent ou expriment le désir de porter atteinte à l'intégrité physique d'une personne ou d'un groupe ». Quoi qu'il en soit, ce ne serait pas la première fois que le site rencontre des difficultés pour supprimer du contenu interdit. L'entreprise a récemment licencié une partie de son équipe internationale de modérateurs pour déléguer une partie du travail à l'intelligence artificielle.

En effet, comme le souligne Media Matters, les vidéos semblent avoir été majoritairement développées avec Veo 3. Les résultats sont très réalistes, et les vidéos sont même audio, une fonctionnalité absente de la plupart des outils d'IA. Certaines d'entre elles arborent également le filigrane de Google dans un coin.

Comme pour TikTok, le moteur de recherche américain interdit l'utilisation de sa technologie pour générer des « résultats nuisibles ». En règle générale, dans ces cas-là, Veo 3 bloque purement et simplement la requête ; même si ce ne serait pas la première fois qu'un utilisateur parvient à « piéger » la machine pour qu'elle produise du contenu qu'elle ne devrait pas.

ABC a contacté Google et TikTok pour obtenir leurs commentaires sur l'enquête de Media Matters. Aucune des deux entreprises technologiques n'a encore répondu à cette demande.