Kimberly Gasuras n’utilise pas l’IA. « Je n’en ai pas besoin », a-t-elle dit. « Je suis journaliste depuis 24 ans. Comment pensez-vous que j’ai fait tout ce travail ? Cette logique n’était pas suffisante pour sauver son emploi.
En tant que journaliste locale à Bucyrus, dans l’Ohio, Gasuras compte sur des activités annexes pour payer ses factures. Pendant un certain temps, elle a gagné beaucoup d’argent. sur une plateforme d’écriture indépendante appelée WritersAccess, où elle a écrit des blogs et d’autres contenus pour les petites et moyennes entreprises. Mais à mi-chemin de 2023, la Les revenus ont chuté lorsque certains clients sont passés à ChatGPT pour leurs besoins d’écriture. C’était déjà une période difficile. Puis l’e-mail est arrivé.
« Je n’ai reçu qu’un seul avertissement », a déclaré Gasuras. « J’ai reçu ce message disant qu’ils avaient signalé mon travail comme étant une IA à l’aide d’un outil appelé » Originalité « . » Elle était abasourdie. Gasuras a répondu pour défendre son innocence, mais elle n’a jamais obtenu de réponse. L’originalité coûte de l’argent, mais Gasuras a commencé à faire passer son travail à travers d’autres détecteurs d’IA avant de le soumettre pour s’assurer qu’elle ne se faisait pas repérer par erreur. Quelques mois plus tard, WritersAccess l’a quand même expulsée de la plateforme. « Ils ont dit que mon compte avait été suspendu en raison d’une utilisation excessive de l’IA. croyez-le », a déclaré Gasuras. WritersAccess n’a pas répondu à une demande de commentaire.
Lorsque ChatGPT a mis le feu au monde il y a un an et demi, cela a déclenché une recherche fébrile de moyens d’attraper les gens qui essayaient de faire passer le texte de l’IA comme leur propre écriture. Une multitude de startups ont été lancées pour combler le vide grâce à des outils de détection d’IA, avec des noms incluant Copyleaks, GPTZero, Originality.AI et Winston AI. Cela crée une entreprise bien rangée dans un paysage rempli de croque-mitaines de l’IA.
Ces entreprises annoncent la tranquillité d’esprit, un moyen de reprendre le contrôle grâce à la « preuve » et à la “responsabilité ». à 99,98 %. Mais un nombre croissant d’experts, d’études et d’initiés de l’industrie affirment que ces outils sont beaucoup moins fiables que ce que promettent leurs créateurs. Il ne fait aucun doute que les détecteurs d’IA commettent des erreurs fréquentes et que des passants innocents se retrouvent pris entre deux feux. des étudiants ont été accusés de plagiat d’IA, mais une épidémie plus silencieuse sévit dans le monde professionnel. Certains les contrats d’écriture se tarissent grâce aux chatbots. Alors que les gens se battent pour le domaine de travail en diminution, les écrivains perdent leurs emplois à cause de fausses accusations des détecteurs d’IA.
« Cette technologie ne fonctionne pas de la façon que les gens en annoncent », a déclaré Bars Juhasz, co-fondateur d’Undetectable AI, qui crée des outils pour aider les gens à humaniser le texte de l’IA pour le faire passer au-delà du logiciel de détection. ces détecteurs d’IA utilisent. Ces types clament qu’ils ont une précision de 99%, et d’après notre travail, je pense que c’est impossible. Mais même si c’est vrai, cela signifie quand même que pour 100 personnes, il y aura un faux drapeau. Nous parlons des moyens de subsistance des gens et leur réputation.”
Sauvegarde ou huile de serpent ?
En général, les détecteurs d’IA fonctionnent en repérant les caractéristiques de la calligraphie de l’IA, telles qu’une grammaire et une ponctuation parfaites. L’un des moyens les plus simples de faire signaler votre travail consiste à utiliser Grammarly, un outil qui vérifie les erreurs d’orthographe et de grammaire. suggère des moyens de réécrire des phrases en utilisant, vous l’aurez deviné, l’intelligence artificielle. Ajoutant l’insulte à la blessure, Gizmodo s’est entretenu avec des écrivains qui ont déclaré qu’ils étaient déclenchés par des plateformes qui les obligeaient à utiliser Grammarly. (Gizmodo a confirmé les détails de ces histoires, mais nous excluons les noms de certains plateformes indépendantes parce que les écrivains ont signé des accords de non-divulgation.)
Des écrivains, des experts et même des sociétés de détection d’IA elles-mêmes ont déclaré que l’utilisation de Grammarly pouvait faire en sorte que votre écriture soit signalée comme générée par l’IA. Cependant, Jenny Maxwell, Le responsable de l’éducation de Grammarly a contesté ces affirmations. « Il n’y a aucune preuve reliant les indicateurs de détection de l’IA et l’utilisation des suggestions de Grammarly. “Nos réécritures de clarté ne sont pas alimentées par une IA générative”, a déclaré Maxwell. Grammarly propose des outils d’IA générative qui écrivent du contenu à partir de zéro, bien que Ces suggestions n’apparaissent pas automatiquement. Ces fonctionnalités « devraient et devraient » déclencher la détection de l’IA, a-t-elle déclaré.
Les détecteurs recherchent également des facteurs plus révélateurs, tels que la « rafale ». Les écrivains humains sont plus susceptibles de réutiliser certains mots dans des groupes ou des rafales, alors que l’IA est plus susceptible de répartir les mots de manière uniforme dans un document. Les détecteurs d’IA peuvent également évaluer la « perplexité », ce qui demande essentiellement à un L’IA pour mesurer la probabilité qu’elle ait produit un morceau de texte étant donné les données d’entraînement du modèle. Certaines entreprises, comme l’industrie leader Originaility.AI, entraînent leurs propres modèles de langage d’IA spécialement conçus pour détecter le travail d’autres IA, destinés à repérer des modèles qui sont trop complexes pour l’esprit humain.
Cependant, aucune de ces techniques n’est infaillible et de nombreuses grandes institutions se sont éloignées de cette classe d’outils. OpenAI a publié sa propre IA. détecteur pour apaiser les craintes concernant ses produits en 2023, mais a retiré l’outil du marché quelques mois plus tard « en raison de son faible taux de précision. »Le monde universitaire a été le premier à adopter les détecteurs d’IA, mais de fausses accusations ont poussé une longue liste d’universités à interdire l’utilisation de logiciels de détection d’IA, y compris Vanderbilt, l’État du Michigan, Northwestern et l’Université du Texas à Austin.
Les entreprises de détection d’IA « sont dans la vente d’huile de serpent », a déclaré Debora Weber-Wulff, professeur à l’Université des Sciences Appliquées pour l’ingénierie et l’économie à Berlin, qui a co-écrit un article récent sur l’efficacité de la détection de l’IA. Selon Weber-Wulff, la recherche montre que les détecteurs d’IA sont inexacts, peu fiables et faciles à tromper. « Les gens veulent croire qu’il peut y avoir un logiciel magique qui résout leurs problèmes », a-t-elle déclaré. Mais les logiciels informatiques ne peuvent pas résoudre les problèmes sociaux. problèmes. Nous devons trouver d’autres solutions.
Les entreprises qui fabriquent des détecteurs d’IA disent qu’ils sont un outil nécessaire mais imparfait dans un monde inondé de textes générés par des robots. demande pour ces services, qu’ils soient efficaces ou non.
Alex Cui, directeur de la technologie de la société de détection d’IA GPTZero, a déclaré que les détecteurs ont des défauts importants, mais les avantages l’emportent sur les inconvénients. « Nous envisageons un avenir dans lequel, si rien n’est changé, Internet sera de plus en plus dicté par l’IA, qu’il s’agisse d’actualités ou d’articles évalués par des pairs. , marketing. Vous ne savez même pas si la personne à qui vous parlez sur les réseaux sociaux est réelle », a déclaré Cui. une solution pour confirmer les connaissances en masse et déterminer si le contenu est de haute qualité, authentique et de paternité légitime.
Un mal nécessaire ?
Mark, un autre rédacteur basé dans l’Ohio qui a demandé que nous taisions son nom pour éviter des répercussions professionnelles, a déclaré qu’il devait accepter un travail de maintenance. dans un magasin local après qu’un détecteur d’IA lui ait coûté son travail.
“J’ai reçu un e-mail disant que mon article le plus récent avait une probabilité de 95 % de génération d’IA”, a déclaré Mark. choc. C’était ridicule qu’ils m’accusent après avoir travaillé ensemble pendant trois ans, bien avant que ChatGPT ne soit disponible.
Il a essayé de repousser. Mark a envoyé à son client une copie du Google Doc dans lequel il avait rédigé l’article, qui comprenait des horodatages qui a démontré qu’il avait écrit le document à la main. Ce n’était pas suffisant. La relation de Mark avec la plateforme d’écriture s’est effondrée. Il a dit qu’il avait perdu son emploi. cela lui a coûté 90% de ses revenus.
« Nous entendons ces histoires plus que nous ne le souhaiterions, et nous comprenons la douleur que les faux positifs causent aux écrivains lorsque leur travail ont investi leur cœur et leur âme pour se faire accuser à tort », a déclaré Jonathan Gillham, PDG d’Originality.AI. « Nous avons l’impression que nous avons l’impression que nous “Nous construisons un outil pour aider les écrivains, mais nous savons que cela a parfois des conséquences.”
Mais selon Gillham, le problème ne se limite pas à aider les écrivains ou à leur rendre des comptes. « Google s’attaque de manière agressive au spam de l’IA », “Nous avons entendu des entreprises dont l’intégralité de leur site était désindexé par Google qui ont déclaré qu’elles ne connaissaient même pas leurs rédacteurs. utilisaient l’IA.
Il est vrai qu’Internet est inondé de fermes à faible effort qui publient des articles d’IA indésirables dans le but de jouer avec les résultats de recherche, d’obtenir des clics et de gagner de l’argent publicitaire grâce à ces globes oculaires. Google sévère sur ces sites, ce qui amène certaines entreprises à croire que leurs sites Web seront mal classés si Google détecte une quelconque écriture d’IA. C’est un problème pour entreprises basées sur le Web, et de plus en plus l’argument de vente n°1 pour les détecteurs d’IA. L’originalité se présente comme un moyen de « pérenniser votre entreprise ». site sur Google” en haut de la liste des avantages sur sa page d’accueil.
Un porte-parole de Google a déclaré que cela interprétait complètement les politiques de l’entreprise. Google, une entreprise qui fournit de l’IA, a déclaré qu’elle n’avait aucun problème avec le contenu de l’IA. “Il est inexact de dire que Google pénalise les sites Web simplement parce qu’ils peuvent utiliser du contenu généré par l’IA”, a déclaré le porte-parole. . «Comme nous l’avons clairement indiqué, le contenu de faible valeur créé à grande échelle pour manipuler les classements de recherche est du spam, quelle que soit la manière dont il est produit. Nos systèmes automatisés déterminent ce qui apparaît dans les meilleurs résultats de recherche en fonction de signaux qui indiquent si le contenu est utile et de haute qualité.
Messages mixtes
Personne ne prétend que les détecteurs d’IA sont parfaits, y compris les entreprises qui les fabriquent. Mais l’originalité et les autres détecteurs d’IA envoient des messages mitigés sur la façon dont leurs outils devraient être utilisés. Par exemple, Gillham a déclaré « nous déconseillons l’utilisation de l’outil au sein du scène universitaire, et recommandons fortement de ne pas être utilisés. utilisé à des fins de mesures disciplinaires. » Il a expliqué que le risque de faux positifs est trop élevé pour les étudiants, car ils soumettent un petit nombre de dissertations. tout au long d’une année scolaire, mais le volume de travail produit par un écrivain professionnel signifie que l’algorithme a plus de chances de bien faire les choses. Cependant, sur l’un des articles de blog, Originalité affirme que la détection de l’IA est « essentielle » en classe.
Ensuite, il y a des questions sur la manière dont les résultats sont présentés. De nombreux auteurs avec lesquels Gizmodo a parlé ont déclaré que leurs clients ne comprenaient pas les limites. des détecteurs d’IA ou même ce que disent réellement les résultats. Il est facile de voir à quel point quelqu’un pourrait être confus : j’ai dirigé l’un des mes propres articles grâce au détecteur IA d’Originality. Les résultats étaient « 70% Original” et « 30% IA. » Vous pourriez supposer que cela signifie Originalité a déterminé que 30 % de l’article avait été rédigé par un chatbot, notamment parce que l’outil met en évidence des phrases spécifiques qu’il juge suspectes. Cependant, il est en fait, il s’agit d’un score de confiance ; l’originalité est à 70% sûre qu’un humain a écrit le texte. (J’ai écrit le tout moi-même, mais vous je dois juste me croire sur parole.)
Ensuite, il y a la manière dont l’entreprise décrit son algorithme. Selon Originality, la dernière version de son outil a un taux de précision de 98,8 %, mais Originality indique également que son taux de faux positifs est de 2,8 %. Si vous avez votre calculatrice à portée de main, vous remarquerez que cela équivaut à plus de 100 %. Gillham a expliqué que c’était parce que ces chiffres provenaient de deux tests différents.
Pour la défense d’Originality, l’entreprise fournit une explication détaillée de la comment vous devriez interpréter les informations juste en dessous des résultats, ainsi que des liens vers des articles plus détaillés sur la façon d’utiliser l’outil. Il semble que ce ne soit pas suffisant, cependant. Gizmodo a parlé à plusieurs écrivains qui ont déclaré qu’ils a dû discuter avec des clients qui avaient mal compris l’outil Originalité .
Originality a publié de nombreux articles de blog et des études sur l’exactitude et d’autres questions, y compris l’ensemble de données et la méthodologie utilisée pour développer et mesurer ses propres outils. Cependant, Weber- Wulff de l’Université des sciences appliquées pour l’ingénierie et l’économie de Berlin a déclaré que les détails sur la méthodologie d’Originality “n’étaient pas trèsclairs. »
Un certain nombre d’experts avec lesquels Gizmodo s’est entretenu, tels que Juhasz de Undetectable AI, ont déclaré qu’ils étaient préoccupés par les entreprises du secteur de la détection par IA. gonfler leurs taux de précision et induire leurs clients en erreur. Les représentants de GPTZero et d’Originality AI ont déclaré que leurs entreprises s’engageaient à faire preuve d’ouverture et de transparence. les entreprises ont déclaré qu’elles faisaient tout leur possible pour fournir des informations claires sur les limites et les lacunes de leurs outils.
On pourrait avoir l’impression qu’être contre les détecteurs d’IA, c’est être du côté des écrivains, mais selon Gillham, c’est le contraire qui est vrai. “Il n’y a pas de détecteurs, alors la concurrence pour les emplois d’écrivain augmente et, par conséquent, les salaires baissent”, a-t-il déclaré. la différence entre un écrivain qui peut faire son travail, soumettre du contenu et être rémunéré pour cela, et quelqu’un qui peut simplement copiez et collez quelque chose de ChatGPT.”
D’un autre côté, tous les rédacteurs avec lesquels Gizmodo a parlé ont déclaré que les détecteurs d’IA étaient le problème.
« L’IA est l’avenir. Nous ne pouvons rien faire pour l’arrêter, mais à mon avis, ce n’est pas le problème. Je vois. L’IA peut être utile de nombreuses manières », a déclaré Mark. « Ce sont ces détecteurs. Ce sont eux qui disent avec la plus grande certitude que ils peuvent détecter l’écriture de l’IA, et ce sont eux qui rendent nos clients nerveux et paranoïaques et nous mettent hors de emplois. »
Cet article a été mis à jour pour inclure les commentaires de Jenny Maxwell de Grammarly.
