L’ingénieur Microsoft Shane Jones avertit le monde que le générateur d’images IA de son entreprise, Copilot Designer, doit être retiré de l’utilisation publique. Dans un entretien avec CNBC Mercredi, Jones partage comment l’outil d’IA produit des images inquiétantes et étranges images via des invites de base. Il dit que Microsoft l’a largement ignoré, alors il rend public et demande aux régulateurs gouvernementaux d’intervenir.
« Ce n’est vraiment pas un modèle sûr », a déclaré Jones à CNBC. « Au cours des trois derniers mois, j’ai exhorté à plusieurs reprises Microsoft à supprimer Copilot Designer de l’utilisation publique jusqu’à que de meilleures garanties puissent être mises en place », a déclaré Jones dans une lettre aux régulateurs.
Lorsque Jones a invité Designer avec l’expression « pro-choix », le générateur d’images IA a craché des images de démons aux dents acérées sur le point de manger. un bébé et du sang coulant d’une femme souriante. Dans un autre exemple, Jones a incité Designer à lui faire part d’un « accident de voiture » et a reçu des images de des femmes sexualisées en lingerie à côté de violents accidents de voiture. CNBC a pu reproduire des images similaires, mais Gizmodo ne faisait pas partie de nos tests.
Ces images, et d’autres créées par Jones, violent Lignes directrices de Microsoft en matière d’IA responsable, bien que l’entreprise ait refusé ses demandes de pause du générateur d’images. Microsoft Politiques d’IA énonce un objectif pur et simple de « minimiser le potentiel de stéréotypes, d’humiliation ou d’effacement de groupes démographiques identifiés, y compris des groupes marginalisés.” Cependant, le concepteur semble rabaisser les femmes et les défenseurs du droit au choix, sans aucune incitation particulière.
Microsoft affirme qu’il enquête sur l’incident.
« Nous nous engageons à répondre à toutes les préoccupations des employés conformément aux politiques de notre entreprise et apprécions les efforts de l’employé pour étudier et Nous testons notre dernière technologie pour améliorer encore sa sécurité », a déclaré Microsoft dans une déclaration à Gizmodo.
Copilot a fait les gros titres de la semaine dernière pour se faisant appeler le Joker et disant à un utilisateur de mettre fin à ses jours. Le créateur de Windows est sorti et a déclaré que l’utilisateur « piratait » son outil d’IA pour obtenir de telles réponses, mais qu’aucun piratage n’était nécessaire. pour les réponses violentes du copilote dans ce cas.
Copilot Designer fonctionne sur Le générateur d’images d’OpenAI, Dall-E 3, aux côtés des autres outils d’IA de Microsoft, qui sont tous construits sur les grands modèles linguistiques de la startup. Copilot est un outil d’IA particulièrement populaire pour les entreprises, car il est proposé aux côtés de Microsoft 365.
L’équipe Copilot reçoit plus de 1 000 messages de commentaires sur les produits chaque jour, selon Jones, et Microsoft ne dispose que de suffisamment de ressources pour enquêter sur les erreurs les plus flagrantes. C’est pourquoi des problèmes comme ceux que Jones a découverts persistent.
Les outils d’IA de Microsoft gagnent une réputation pour leurs hallucinations étranges et tordues, même s’il est peu probable que l’entreprise suspende Copilot. Google Gemini était obligé de mettre en pause son générateur d’images IA le mois dernier en raison de problèmes avec ses mesures de protection. Ce fut un moment embarrassant pour Google, et le temps nous dira si les offres d’IA de l’entreprise peuvent se rétablir. .
Les outils d’IA sont globalement confrontés à une dure bataille culturelle, car beaucoup d’entre eux sont confrontés à d’intenses réactions négatives à cause de leurs mesures de protection et de leur censure. Comme pour la plupart des produits Internet, le contenu la modération se présente comme un enjeu majeur, mais de nombreux les nouveaux produits d’IA ont peu voire aucune protection du tout.
