Un chercheur développe un filtre pour traiter les photographs « dangereuses » générées par l’intelligence artificielle

Au cours de l. a. dernière année, les générateurs d’photographs basés sur l’IA ont connu une popularité sans précédent. En quelques clics, toutes sortes d’photographs peuvent être créées : même des photographs inhumaines et des mèmes haineux peuvent être inclus. Le chercheur du CISPA, Yiting Qu, de l’équipe professorale du CISPA, le Dr Yang Zhang, a étudié l. a. percentage de ces photographs parmi les générateurs d’photographs d’IA les plus populaires et remark leur création peut être empêchée à l’aide de filtres efficaces.

Son article, « Unsafe Diffusion : At the Technology of Unsafe Photographs and Hateful Memes from Textual content-to-Symbol Fashions », est disponible à l’adresse suivante : arXiv Preprint Server et sera bientôt présenté à l. a. conférence ACM sur l. a. sécurité informatique et des communications.

Aujourd’hui, lorsque les gens parlent de générateurs d’photographs basés sur l’IA, ils parlent souvent de ce qu’on appelle les modèles texte-image. Cela signifie que les utilisateurs peuvent générer une picture numérique en saisissant certaines informations textuelles dans un modèle d’IA. Le sort de saisie de texte détermine non seulement le contenu de l’picture, mais également le taste. Plus les helps de formation sur le générateur d’photographs IA sont complets, plus les capacités de génération d’photographs des utilisateurs sont grandes.

Certains des générateurs les plus connus pour convertir du texte en picture sont Strong Diffusion, Latent Diffusion ou DALL·E. “Les gens utilisent ces outils d’IA pour dessiner toutes sortes d’photographs”, explique Yiting Zhou, chercheur au CISPA. “Cependant, j’ai constaté que certains utilisent également ces outils pour créer des photographs pornographiques ou dérangeantes, par exemple. Les modèles texte-image comportent donc des risques.” Elle ajoute que cela devient particulièrement problématique lorsque ces photographs sont partagées sur de grandes plateformes, où elles circulent largement.

Le thought d’« photographs dangereuses »

Le fait que les générateurs d’photographs basés sur l’IA puissent générer des photographs au contenu inhumain ou pornographique avec des directions simples est qualifié d’« photographs dangereuses » par Zhou et ses collègues. “Actuellement, il n’existe pas de définition universelle dans l. a. communauté des chercheurs de ce qui constitue ou non une picture dangereuse. Par conséquent, nous avons adopté une approche basée sur les données pour définir ce que sont les photographs dangereuses”, explique Zhou.

«Pour notre analyse, nous avons créé des milliers d’photographs à l’aide de l. a. diffusion solid», poursuit-elle. “Ensuite, nous les avons regroupés et classés en différents groupes en fonction de leur signification. Les cinq premiers groupes comprennent des photographs au contenu sexuellement explicite, violent, dérangeant, haineux et politique.”

Pour déterminer à quel level les générateurs d’photographs d’IA qui génèrent des photographs de haine sont concrètement dangereux, Zhou et ses collègues ont ensuite alimenté quatre des générateurs d’photographs d’IA les plus populaires, Strong Diffusion, Lent Diffusion, DALL E 2 et DALL E mini, avec des combinaisons spécifiques de Des centaines de saisies de texte appelées invitations. Les ensembles de textes provenaient de deux resources : l. a. plateforme en ligne 4chan, populaire dans les milieux d’extrême droite, et le website Lexica.

“Nous avons choisi ces deux éléments automobile ils ont été utilisés dans des travaux antérieurs pour enquêter sur des contenus en ligne dangereux”, explique Zhou. L’objectif était de savoir si les générateurs d’photographs produisaient des « photographs dangereuses » à partir de ces allégations. Sur les quatre générateurs, 14,56 % de toutes les photographs générées entraient dans l. a. catégorie « photographs dangereuses ». À 18,92 %, il s’agit du pourcentage le plus élevé pour le unfold solid.

Les fonctions de filtrage empêchent l. a. création d’photographs

Une façon d’empêcher l. a. propagation d’photographs déshumanisantes consiste à programmer les générateurs d’photographs de l’IA afin qu’ils ne génèrent pas ces photographs en premier lieu ou ne les produisent pas. “Je peux utiliser l’exemple de l. a. diffusion en régime everlasting pour expliquer remark cela fonctionne”, explique Zhou. “Vous pouvez définir plusieurs mots dangereux, comme l. a. nudité. Ensuite, lorsque vous créez une picture, l. a. distance entre l’picture et le mot défini comme dangereux, comme l. a. nudité, est calculée. Si cette distance est inférieure au seuil, l’picture est supprimé et remplacé par un champ de couleur noire. ”

Le fait qu’autant d’photographs incertaines aient été générées dans l’étude de Zhu sur l. a. diffusion solid montre que les filtres existants ne font pas leur travail de manière adéquate. L. a. chercheuse a donc développé son propre filtre, qui enregistre en comparaison un taux de réussite beaucoup plus élevé.

Cependant, empêcher l. a. génération d’photographs n’est pas l. a. seule possibility, comme l’explique Zhu : “Nous proposons trois traitements de traçabilité de l. a. chaîne d’approvisionnement pour les modèles texte-image. Premièrement, les développeurs doivent organiser les données de formation dans l. a. segment de formation ou de réglage fin, c’est-à-dire , réduisez le nombre d’photographs insatisfaisantes. » « Confirmé. » Elle a expliqué que cela était dû au fait que les « photographs dangereuses » dans les données de formation étaient l. a. principale raison pour laquelle le modèle présentait des risques par l. a. suite.

“Une deuxième motion pour les développeurs de formulaires consiste à rationaliser les invitations de saisie des utilisateurs, telles que l. a. suppression des mots-clés dangereux.” L. a. troisième possibilité concerne l. a. e-newsletter après l. a. création des photographs : « Si des photographs dangereuses sont effectivement créées, il devrait y avoir un moyen de classer et de supprimer ces photographs en ligne », ajoute Zhou.

Pour ces derniers, à leur excursion, des fonctions de filtrage seront nécessaires pour les plateformes sur lesquelles ces photographs circulent. Avec toutes ces mesures, le défi est de trouver le bon équilibre. “Il doit y avoir un compromis entre liberté et sécurité du contenu. Mais lorsqu’il s’agit d’empêcher que ces photographs ne se propagent largement sur les principales plateformes, je pense qu’une réglementation stricte est logique”, a déclaré le chercheur du CISPA. Chu espère utiliser ses recherches pour contribuer à réduire le nombre d’photographs nuisibles circulant en ligne à l’avenir.

Fourni par le Centre CISPA Helmholtz pour l. a. sécurité de l’knowledge