Tout comme votre cerveau, ChatGPT résout mieux les problèmes lorsqu’il ralentit

Face à un problème, votre esprit a deux manières d’avancer : rapidement et intuitivement ou lentement et méthodiquement. Ces deux varieties de traitement sont connus sous le nom de Système 1 et Système 2, ou comme les a décrits le psychologue lauréat du prix Nobel Daniel Kahneman, « pensée rapide » et « lente ».

Les grands modèles de langage comme ChatGPT évoluent rapidement par défaut. Posez-leur une query et ils fourniront une réponse – pas nécessairement los angeles bonne réponse – suggérant qu’ils sont capables de traiter rapidement le système 1. Cependant, à mesure que ces modèles se développent, peuvent-ils ralentir le rythme des problèmes et les aborder par étapes, en évitant les erreurs qui résultent de réponses rapides ?

Dans un nouvel article publié dans Sciences naturelles computationnellesMichal Kosinski, professeur de comportement organisationnel à los angeles Graduate Faculty of Industry de l’Université de Stanford, estime qu’ils le peuvent et qu’ils peuvent surpasser les humains aux checks de base de raisonnement et de prise de décision.

Kosinski et deux co-auteurs, le philosophe Thilo Hagendorf et los angeles psychologue Sarah Fabi, ont présenté dix générations de LLM OpenAI avec un ensemble de tâches conçues pour stimuler des réponses rapides du système 1. L’équipe souhaitait initialement voir si les étudiants en LLM présenteraient des biais cognitifs tels que ceux qui font trébucher les gens lorsqu’ils s’appuient sur los angeles pensée automatique.

Ils ont remarqué que les premiers modèles comme le GPT-1 et le GPT-2 « ne pouvaient pas vraiment comprendre ce qui se passait », explique Kosinski. Leurs réponses étaient « très proches du Système 1 » à mesure que les checks devenaient de plus en plus complexes. «Cela ressemble beaucoup aux réactions des humains», dit-il.

Il n’est pas surprenant que les programmes LLM, conçus pour prédire des chaînes de texte, ne puissent pas penser par eux-mêmes. “Ces modèles n’ont pas de boucles de raisonnement internes”, explique Kosinski. “Ils ne peuvent pas ralentir intérieurement et dire : laissez-moi réfléchir à ce problème ; laissez-moi analyser les hypothèses.” L. a. seule selected qu’ils peuvent faire, c’est trouver le mot suivant dans los angeles word. »

Cependant, les chercheurs ont découvert que les variations plus récentes de GPT et ChatGPT peuvent résoudre les problèmes de manière plus stratégique et plus minutieuse en réponse aux invitations. Kosinski se dit surpris par l’émergence de ce traitement de kind Système 2. « Soudain, d’une seconde à l’autre, sans aucun recyclage, sans développer de nouvelles connexions neuronales, GPT3 est succesful de résoudre cette tâche », dit-il. “Cela montre que ces modèles peuvent apprendre instantanément, comme les humains.”

Ralentis, tu marches très vite

Voici un problème que les chercheurs posent aux modèles GPT : chaque jour, le nombre de lys qui poussent dans le lac double. S’il faut 10 jours pour couvrir tout le lac, combien de jours faudra-t-il pour couvrir los angeles moitié du lac ? (Lisez los angeles suite pour découvrir los angeles réponse.)

Kosinski explique que ce kind de check de réflexion cognitive nécessite une réflexion plutôt qu’une instinct. Pour obtenir los angeles bonne réponse, vous devez ralentir, peut-être prendre un morceau de papier ou une calculatrice et analyser los angeles tâche. «Il est conçu pour inciter los angeles personne à penser au Système Un», explique-t-il. « Quelqu’un pourrait penser : « Eh bien, 10 jours pour tout le lac. « Donc los angeles moitié de dix égale cinq », sans tenir compte du fait que los angeles superficie couverte par ces plans double chaque jour et que los angeles croissance est énorme. Bonne réponse : Il faut neuf jours pour parcourir los angeles moitié du lac.

Moins de 40 % des personnes confrontées à ce kind de problème parviennent à le résoudre. Les variations antérieures des modèles Generative Pre-Skilled Transformer (GPT) qui ont précédé ChatGPT fonctionnaient beaucoup moins bien. Cependant, le GPT-3 a trouvé les bonnes réponses grâce à une réflexion en « chaîne de pensée » plus complexe lorsqu’il a reçu un renforcement positif et des commentaires de los angeles section des chercheurs.

« Compte tenu de los angeles tâche, GPT-3 en résout correctement moins de 5 % et n’utilise jamais de raisonnement étape par étape. Mais si vous ajoutez une course spécifique telle que « Utilisons l’algèbre pour résoudre ce problème », » Kosinski a déclaré : « il utilise los angeles réflexion étape par étape 100 % du temps, et sa précision passe à environ 30 %, soit une augmentation de 500 %. » L. a. fréquence des réponses du Système-1 a également chuté d’environ 80 % à environ 25 %. %, “ce qui montre que même lorsqu’il commet des erreurs, il n’est pas « sujet aux erreurs intuitives ». Lorsque ChatGPT-4 a utilisé los angeles logique de réflexion, il a obtenu los angeles bonne réponse dans près de 80 % de ces varieties de checks.

Les chercheurs ont également découvert que lorsque ChatGPT était empêché d’exécuter los angeles logique du Système 2, il surpassait toujours les humains. C’est los angeles preuve que « l’instinct » des titulaires d’un LLM peut être meilleure que los angeles nôtre, dit Kosinski.

Une autre pensée vient

Ces résultats sont une preuve supplémentaire qu’un modèle d’IA peut être « plus que los angeles somme de ses events », explique Kosinski, qui a exploré les capacités inattendues (et parfois troublantes) des étudiants en MBA. Les réseaux neuronaux derrière les modèles de langage, qui ressemblent au cerveau humain, continuent de présenter des propriétés émergentes au-delà de leur formation. “C’est fou de penser que cette selected serait succesful d’écrire de los angeles poésie, d’avoir une dialog et de comprendre des ideas et des esprits très complexes”, dit Kosinski.

Est-ce vraiment de los angeles « réflexion » ? “Quand les gens disent : “Ces modèles ne pensent évidemment pas”, ce n’est pas du tout clair pour moi”, dit Kosinski. « Si vous remarquez que los angeles capacité de penser dans ces modèles est apparue spontanément, pourquoi les autres capacités n’apparaissent-elles pas spontanément ?

Cependant, dans leur article, Kosinski et ses co-auteurs notent qu’ils “n’ont pas l’purpose d’assimiler l’IA aux processus cognitifs humains. Bien que les résultats de l’IA soient souvent similaires à ceux produits par les humains, ils fonctionnent généralement de manière radicalement différente”.

Cependant, si les humains présentaient les processus cognitifs observés dans cette étude, dit Kosinski, nous appellerions certainement cela de los angeles compréhension. “L. a. query que nous devons de plus en plus nous poser aujourd’hui est los angeles suivante : pourquoi insistons-nous sur le fait que si un humain fait quelque selected, cela signifie comprendre, alors que si un modèle fait quelque selected, nous disons simplement : “Oh, cela doit vraiment être autre selected ?”, demande Kosinski. “À un second donné, il devient trop inhabituel d’essayer de l’expliquer par autre selected que los angeles compréhension.”