L’IA générative expliquée

Un rapide survol des gros titres donne l’affect que l’IA générative est partout de nos jours. En fait, certains de ces titres ont peut-être déjà été rédigés par une IA générative, comme ChatGPT d’OpenAI, un chatbot qui a montré une étrange capacité à produire du texte qui semble avoir été écrit par un humain.

Mais que veulent vraiment dire les gens lorsqu’ils parlent d’« IA générative » ?

Avant le growth de l’IA générative de ces dernières années, lorsque les gens parlaient d’IA, ils parlaient généralement de modèles d’apprentissage automatique capables d’apprendre à faire des prédictions basées sur des données. Par exemple, ces modèles sont entraînés, à l’aide de hundreds of thousands d’exemples, pour prédire si une radiographie particulière montre des signes de tumeur ou si un emprunteur particulier est vulnerable de ne pas rembourser son prêt.

L’IA générative peut être considérée comme un modèle d’apprentissage automatique entraîné pour générer de nouvelles données, plutôt que pour faire des prédictions sur un ensemble de données spécifique. Un système d’IA générative est un système qui apprend à créer davantage d’objets similaires aux données sur lesquelles il a été formé.

“En ce qui concerne les machines derrière l’IA générative et d’autres varieties d’IA, les distinctions peuvent être un peu floues”, explique Philip Isola, professeur adjoint de génie électrique et informatique. “Souvent, les mêmes algorithmes peuvent être utilisés pour les deux. ” » Science au MIT et membre du Laboratoire d’informatique et d’intelligence artificielle (CSAIL).

Malgré le battage médiatique entourant los angeles sortie de ChatGPT et de ses homologues, los angeles technologie elle-même n’est pas entièrement nouvelle. Ces puissants modèles d’apprentissage automatique s’appuient sur des recherches et des avancées informatiques remontant à plus de 50 ans.

Augmentation de los angeles complexité

Un des premiers exemples d’IA générative est un modèle beaucoup plus easy connu sous le nom de chaîne de Markov. Cette methodology doit son nom à Andrei Markov, un mathématicien russe qui a introduit cette méthode statistique en 1906 pour modéliser le comportement de processus aléatoires. En apprentissage automatique, les modèles de Markov sont utilisés depuis longtemps dans les tâches de prédiction du mot suivant, telles que los angeles fonction de saisie semi-automatique d’un programme de messagerie.

Dans los angeles prédiction de texte, un modèle de Markov génère le mot suivant dans une word en examinant le mot précédent ou quelques mots précédents. Mais comme ces modèles simples ne peuvent que remonter jusqu’à présent, ils ne sont pas efficaces pour créer un texte believable, explique Tommy Jaakkola, professeur Thomas Siebel de génie électrique et d’informatique au MIT, qui est également membre du CSAIL et de l’Institut. de génie électrique et d’informatique. Données, systèmes et société (IDSS).

“Nous générions des choses avant los angeles dernière décennie, mais los angeles principale différence ici réside dans los angeles complexité des choses que nous pouvons générer et l’échelle à laquelle nous pouvons former ces modèles”, explique-t-il.

Il y a quelques années à peine, les chercheurs avaient tendance à se concentrer sur los angeles recherche d’un algorithme d’apprentissage automatique qui exploite au mieux un ensemble de données spécifique. Mais cette orientation a quelque peu changé et de nombreux chercheurs utilisent désormais des ensembles de données plus volumineux, contenant peut-être des centaines de hundreds of thousands, voire des milliards de issues de données, pour former des modèles capables de produire des résultats impressionnants.

Les modèles de base sous-jacents à ChatGPT et aux systèmes similaires fonctionnent de los angeles même manière qu’un modèle Markov. Mais une grande différence est que ChatGPT est beaucoup plus vaste et complexe, avec des milliards de paramètres. Il a été formé sur une énorme quantité de données – dans ce cas, de nombreux textes accessibles au public sur Web.

Dans cet immense corpus de texte, les mots et les words apparaissent dans des séquences avec certaines dépendances. Cette répétition aide le modèle à comprendre remark diviser le texte en morceaux statistiques ayant une certaine prévisibilité. Il apprend les modèles de ces blocs de texte et utilise ces connaissances pour suggérer ce qui pourrait suivre.

Des buildings plus robustes

Si des ensembles de données plus volumineux sont l’un des catalyseurs qui ont conduit à l’essor de l’IA générative, divers développements clés en matière de recherche ont également conduit à des architectures d’apprentissage profond plus complexes.

En 2014, des chercheurs de l’Université de Montréal ont proposé une structure d’apprentissage automatique connue sous le nom de réseau contradictoire génératif (GAN). Les GAN utilisent deux modèles qui fonctionnent en tandem : l’un apprend à générer une sortie cible (comme une picture) et l’autre apprend à faire los angeles difference entre les données réelles et los angeles sortie du générateur. Le générateur essaie de tromper le discriminateur et apprend ainsi à fournir un résultat plus réaliste. Le générateur d’photographs StyleGAN est basé sur ces varieties de modèles.

Les modèles de diffusion ont été introduits un an plus tard par des chercheurs de l’Université de Stanford et de l’Université de Californie à Berkeley. En améliorant leur résultat de manière itérative, ces modèles apprennent à créer de nouveaux échantillons de données qui ressemblent aux échantillons de l’ensemble de données d’entraînement et ont été utilisés pour créer des photographs réalistes. Le modèle de newsletter est au cœur du système de conversion texte-image, Strong Diffusion.

En 2017, des chercheurs de Google ont introduit l’structure Transformer, qui a été utilisée pour développer de grands modèles de langage, comme celui qui alimente ChatGPT. Dans le traitement du langage naturel, un transformateur code chaque mot d’un corpus de texte sous forme de jeton, puis crée une carte d’consideration, qui seize les family members de chaque jeton avec tous les autres jetons. Cette carte d’consideration aide le convertisseur à comprendre le contexte lorsqu’il crée un nouveau texte.

Ce ne sont là que quelques-unes des nombreuses approches pouvant être utilisées pour l’IA générative.

Un ensemble d’packages

Le level commun de toutes ces méthodes est qu’elles transforment les entrées en un ensemble de jetons, qui sont des représentations numériques d’éléments de données. Tant que vos données peuvent être converties dans ce structure de jeton usual, vous pouvez en théorie appliquer ces méthodes pour créer de nouvelles données identiques.

“Votre kilométrage peut varier en fonction du niveau de bruit de vos données et de los angeles difficulté d’extraire le sign, mais cela se rapproche vraiment de los angeles façon dont un processeur à utilization général peut prendre n’importe quel sort de données et commencer à le traiter dans une unité unifiée. “, dit Isola.

Cela ouvre un huge éventail d’packages pour l’IA générative.

Par exemple, le groupe d’Isola utilise l’IA générative pour créer des données d’picture synthétiques qui peuvent être utilisées pour entraîner un autre système clever, par exemple pour enseigner à un modèle de imaginative and prescient par ordinateur remark reconnaître des objets.

Le groupe de Jakola utilise l’IA générative pour concevoir de nouvelles constructions protéiques ou des constructions cristallines valides qui définissent de nouveaux matériaux. Il explique que de los angeles même manière que le modèle génératif apprend les dépendances du langage, si des constructions cristallines sont présentées à los angeles position, il peut apprendre les family members qui rendent les constructions stables et réalisables.

Mais même si les modèles génératifs peuvent produire des résultats étonnants, ils ne constituent pas le meilleur choix pour tous les varieties de données. Pour les tâches qui impliquent de faire des prédictions sur des données structurées, telles que des données tabulaires dans une feuille de calcul, les modèles d’IA génératifs ont tendance à surpasser les méthodes traditionnelles d’apprentissage automatique, explique Devavrat Shah, professeur Andrew et Erna Viterbi de génie électrique et d’informatique au MIT. Il est membre de l’IDSS et du Laboratoire des Systèmes d’Data et de Décision.

“Sa plus grande valeur, à mon avis, est de devenir cette merveilleuse interface pour les machines conviviales. Auparavant, les humains devaient parler aux machines en langage device pour faire bouger les choses. Aujourd’hui, cette interface a découvert remark parler à los angeles fois aux humains et aux machines. ” machines », dit Shah. “.

Lever des drapeaux rouges

Des chatbots génératifs basés sur l’IA sont désormais utilisés dans les centres d’appels pour répondre aux questions des purchasers humains, mais cette utility met en évidence un sign d’alarme potentiel pour los angeles mise en œuvre de ces modèles : le déplacement des travailleurs.

De plus, l’IA générative peut hériter et propager les préjugés trouvés dans les données de formation, ou amplifier les discours de haine et les fausses déclarations. Les modèles ont le potentiel de plagier et peuvent créer du contenu qui semble avoir été produit par un créateur humain spécifique, ce qui soulève d’éventuels problèmes de droits d’auteur.

D’un autre côté, Shah suggère que l’IA générative peut responsabiliser les artistes, qui peuvent utiliser des outils génératifs pour les aider à créer du contenu créatif qu’ils n’ont peut-être pas les moyens de produire.

À l’avenir, il estime que l’IA générative changera l’économie dans de nombreuses disciplines.

Une route long term prometteuse qu’Isola voit pour l’IA générative est son utilisation dans le secteur manufacturier. Au lieu que le modèle fasse une picture de los angeles chaise, on pourrait peut-être créer un plan pour une chaise qui pourrait être produite.

Il envisage également des utilisations futures des systèmes d’IA générative dans le développement d’brokers d’IA plus intelligents en général.

“Il existe des différences dans los angeles manière dont ces modèles fonctionnent et dans los angeles façon dont nous pensons que le cerveau humain fonctionne, mais je pense qu’il existe également des similitudes. Nous avons los angeles capacité de penser et de rêver dans notre tête, de proposer des idées ou des plans intéressants, et je pense L’IA générative est l’un des outils qui permettront aux brokers de le faire également.

Cette histoire a été republiée grâce à MIT Information (internet.mit.edu/newsoffice/), un website online populaire couvrant l’actualité de los angeles recherche, de l’innovation et de l’enseignement du MIT.