La nouvelle démo Meta AI écrit une littérature scientifique raciste et inexacte, est retirée

Agrandir / Une illustration générée par l’IA de robots faisant de la science.

Ars Technique

Mardi, Meta AI a dévoilé une démo de Galactica, un grand modèle de langage conçu pour “stocker, combiner et raisonner sur les connaissances scientifiques”. Alors qu’il était destiné à accélérer la rédaction de la littérature scientifique, les utilisateurs adverses exécutant des tests ont découvert qu’il pouvait également générer des absurdités réalistes. Après plusieurs jours de critique éthiqueMeta a mis la démo hors ligne, rapporte MIT Technology Review.

Les grands modèles de langage (LLM), comme le GPT-3 d’OpenAI, apprennent à écrire du texte en étudiant des millions d’exemples et en comprenant les relations statistiques entre les mots. En conséquence, ils peuvent créer des articles convaincants, mais ces œuvres peuvent également être remplies de mensonges et de stéréotypes potentiellement dangereux. Certains critiques appellent les LLM des “perroquets stochastiques” pour leur capacité à cracher du texte de manière convaincante sans en comprendre le sens.

Entrez Galactica, un LLM visant à écrire de la littérature scientifique. Ses auteurs ont formé Galactica sur “un corpus vaste et organisé des connaissances scientifiques de l’humanité”, comprenant plus de 48 millions d’articles, de manuels et de notes de cours, de sites Web scientifiques et d’encyclopédies. Selon l’article de Galactica, les chercheurs de Meta AI pensaient que ces données supposées de haute qualité conduiraient à une sortie de haute qualité.

Une capture d'écran du site Web Galactica de Meta AI avant la fin de la démo.
Agrandir / Une capture d’écran du site Web Galactica de Meta AI avant la fin de la démo.

Méta IA

À partir de mardi, les visiteurs du site Web Galactica pouvaient taper des suggestions pour générer des documents tels que des revues de littérature, des articles wiki, des documents et des réponses aux questions, selon des exemples fournis par le site Web. Le site a présenté le modèle comme “une nouvelle interface pour accéder et manipuler ce que nous savons de l’univers”.

Alors que certaines personnes ont trouvé la démo prometteur Et utiled’autres ont vite découvert que n’importe qui pouvait taper raciste ou suggestions potentiellement offensantes, générant tout aussi facilement un contenu faisant autorité sur ces sujets. Par exemple, quelqu’un l’a utilisé auteur une entrée wiki sur un document de recherche fictif intitulé “Les avantages de consommer du verre brisé”.

Même lorsque la production de Galactica n’était pas offensante pour les normes sociales, le modèle pouvait attaquer des faits scientifiques bien compris, crachant inexactitudes telles que des dates ou des noms d’animaux incorrects, nécessitant une connaissance approfondie du sujet à capturer.

Par conséquent Meta tiré la démo Galactica jeudi. Plus tard, Yann LeCun, Chief AI Scientist chez Meta tweeté“La démo de Galactica est hors ligne pour le moment. Il n’est plus possible de s’amuser en l’utilisant à mauvais escient. Heureux ?”

L’épisode rappelle un dilemme éthique commun à l’IA : lorsqu’il s’agit de modèles génératifs potentiellement dangereux, est-ce au grand public de les utiliser de manière responsable, ou aux éditeurs de modèles d’empêcher les abus ?

Là où la pratique de l’industrie se situe entre ces deux extrêmes variera probablement selon les cultures et à mesure que les modèles d’apprentissage en profondeur mûriront. En fin de compte, la réglementation gouvernementale pourrait finir par jouer un rôle majeur dans l’élaboration de la réponse.

Leave a Reply

Your email address will not be published. Required fields are marked *