Que font réellement les chatbots IA lorsqu’ils « hallucinent » ? C’est pourquoi les mavens n’aiment pas ce terme

Que font réellement les chatbots IA lorsqu’ils « hallucinent » ? Le terme explique-t-il avec précision pourquoi les outils d’IA dits génératifs – qui sont presque omniprésents dans de nombreux contextes professionnels – génèrent parfois de fausses informations lorsqu’on leur demande ?

Alors que le débat sur los angeles véritable nature, le potentiel et los angeles trajectoire des programs de l’IA fait rage en arrière-plan, un skilled de premier plan dans le domaine s’oppose au idea d’« hallucination », arguant qu’il explique en grande partie le fonctionnement erroné des modèles d’IA actuels.

“En général, nous n’aimons pas ce terme parce que ces modèles font des erreurs, et nous pouvons expliquer pourquoi ils font des erreurs”, explique Osama Fayyad, directeur exécutif de l’Institut d’intelligence artificielle expérimentale de los angeles Northeastern College.

Fayyad affirme que le terme hallucination a été popularisé par Google en réponse au lancement très influent de ChatGPT par OpenAI. Bien qu’il serve d’analogue convaincant aux qualités et faiblesses humaines de los angeles technologie, le terme est un terme inapproprié avec des implications potentiellement négatives pour los angeles compréhension qu’a le public de los angeles technologie de l’IA.

“Quand vous parlez d’hallucinations”, poursuit Fayyad, “vous attribuez beaucoup de choses au modèle”. “Vous attribuez l’aim ; vous attribuez los angeles moral sense ; vous attribuez un mode d’motion rationnel par défaut ; et vous attribuez une forme de compréhension de los angeles phase de los angeles device.”

Fayyad affirme que les chatbots « n’ont aucune aim et n’ont aucune compréhension ». Il affirme que les sorts d’erreurs qu’ils commettent ne sont pas très différents des erreurs inhérentes à tout modèle de prévision, comme ceux utilisés dans les prévisions économiques ou financières, où les erreurs peuvent être facilement prédites et prises en compte de manière appropriée.

L. a. fréquence à laquelle les chatbots « hallucinent » est encore inconnue, bien que certaines entreprises aient déployé des efforts considérables pour tenter de quantifier les taux d’erreur dans de grands modèles linguistiques largement utilisés. L’une de ces sociétés, une startup fondée par d’anciens employés de Google appelée Vectara, a découvert que les modèles OpenAI étaient délirants environ 3 % du temps, tandis qu’une plateforme de Google appelée « Palm chat » produisait de fausses informations dans un taux de 27 %, selon le New York Instances. York Instances. fois.

Ce qui complique encore les choses, dit Fayyad, c’est le fait que le résultat de los angeles saisie semi-automatique produit par les modèles d’IA génératifs actuels dépend fortement du vecteur. Modifiez légèrement los angeles revendication et vous obtiendrez un résultat complètement différent.

Byron Wallace, directeur du programme de science des données et professeur agrégé interdisciplinaire Sy et Laurie Sternberg Khuri, a un jour qualifié ces conceptions à los angeles volée de « ingénierie pas tout à fait rapide » – le processus de conception d’entrées pour les chatbots – mais plutôt de « des talismans. » Et los angeles magie noire.

En réduisant tous ces artifices, Fayyad souhaite simplifier los angeles dialog sur l’utility potentielle des outils d’IA générative.

« Je pourrais dire que ces modèles étaient une hallucination ; ou, pour être plus précis, je pourrais dire : « OK, le modèle a fait une erreur », et nous comprenons que ces modèles font des erreurs », explique Fayyad.

Pour mélanger davantage les métaphores, Fayyad explique qu’une plus grande confiance entre les humains et les machines IA est nécessaire pour aller de l’avant. Il soutient que « les praticiens, les utilisateurs et les organisations doivent avoir confiance dans los angeles manière dont le système parvient à prendre des décisions, dans son fonctionnement et dans le fait qu’il ne présentera pas de comportement erroné (imprévisible) ou dangereux ».

« Le sujet de l’intelligence artificielle génère ambiguïté et ambiguïté », écrit-il. « Démystifier los angeles technologie et les comportements présentés par les algorithmes, bons et mauvais, permet de réels progrès et crée des résultats précieux sur tous les fronts : théorique, académique, industrial et pratique. »

Actuellement, les grands modèles linguistiques comme ChatGPT servent d’programs de « saisie semi-automatique glorifiée » formées sur de grandes quantités de textes numériques provenant de bases de données, d’articles et d’autres resources en ligne. “Ils produisent un résultat comme n’importe quel appareil de saisie semi-automatique : votre téléphone cell ou autre selected.”

« Ces modèles ne font pas los angeles différence entre une séquence correcte et une séquence incorrecte », explique Fayyad. “Comprendre où cette erreur s’est produite et essayer de s’en remettre est un problème d’IA très difficile pour lequel nous n’avons pas de bonnes answers aujourd’hui.”

Pour tenter de freiner les hallucinations, les chercheurs ont commencé à utiliser d’autres grands modèles de langage pour vérifier l’exactitude de divers chatbots. Fayyad souligne que ces outils sont bien entendu également capables de générer des erreurs (hallucinations).

Il souligne los angeles nécessité pour les humains de continuer à valider les résultats générés par ces outils – un idea appelé « humain dans los angeles boucle ».

“C’est à vous, l’utilisateur, de dire : ‘Cette saisie semi-automatique est incorrecte’, puis de los angeles corriger”, dit-il.