L’étude discover l’extension des modèles d’apprentissage profond à los angeles recherche en chimie

Les réseaux de neurones profonds (DNN) se sont révélés être des outils très prometteurs pour analyser de grandes quantités de données, susceptibles d’accélérer los angeles recherche dans divers domaines scientifiques. Par exemple, au cours des dernières années, certains informaticiens ont formé des modèles basés sur ces réseaux pour analyser les données chimiques et identifier les produits chimiques prometteurs pour diverses programs.

Des chercheurs du Massachusetts Institute of Generation (MIT) ont récemment mené une étude sur le comportement de mise à l’échelle neuronale de grands modèles basés sur DNN, formés pour générer des constructions chimiques utiles et apprendre les potentiels interatomiques. Leur article publié dans L’intelligence artificielle de los angeles naturemontre à quelle vitesse les performances de ces modèles peuvent s’améliorer à mesure que leur taille et l’ensemble de données sur lequel ils sont formés augmentent.

“L’article “Mesurer les lois des modèles de langage neuronal” de Kaplan et al. a été los angeles principale supply d’inspiration de notre recherche”, a déclaré Nathan Fry, l’un des chercheurs qui ont mené l’étude, à Tech Xplore. “Cet article a montré que l’augmentation de los angeles taille d’un réseau neuronal et de los angeles quantité de données sur lesquelles il est formé conduit à des améliorations prévisibles dans los angeles formation des modèles. Nous voulions voir remark los angeles “neurométrie” s’applique aux modèles formés sur des données chimiques, pour des programs telles que les médicaments. Découverte.” “.

Fry et ses collègues ont commencé à travailler sur ce projet de recherche en 2021, avant los angeles sortie des populaires plateformes basées sur l’IA ChatGPT et Dall-E 2. À l’époque, los angeles mise à l’échelle des futurs DNN était considérée comme particulièrement pertinente dans certains domaines et des études exploraient ses portées dans les sciences physiques ou les sciences de los angeles vie sont rares.

L’étude des chercheurs discover los angeles mise à l’échelle neuronale de deux sorts distincts de modèles d’analyse de données chimiques : un modèle de langage étendu (LLM) et un modèle basé sur un réseau neuronal graphique (GNN). Ces deux sorts différents de modèles peuvent être utilisés respectivement pour générer des constructions chimiques et apprendre les potentiels entre différents atomes dans les produits chimiques.

« Nous avons étudié deux sorts de modèles très différents : un modèle de langage de régression de taste GPT que nous avons construit appelé « ChemGPT » et une famille de GNN », a expliqué Fry. “ChemGPT est entraîné de los angeles même manière que ChatGPT, mais dans notre cas, ChemGPT essaie de prédire le symbole suivant dans une chaîne représentant une molécule. Les GNN sont entraînés pour prédire l’énergie et les forces de los angeles molécule.”

Pour explorer l’évolutivité du modèle ChemGPT et des GNN, Fry et ses collègues ont exploré les effets de los angeles taille du modèle et de los angeles taille de l’ensemble de données utilisé pour l’entraîner à diverses échelles pertinentes. Cela leur a permis d’extrapoler los angeles vitesse à laquelle ces modèles s’améliorent à mesure qu’ils deviennent plus grands et reçoivent davantage de données.

“Nous avons trouvé un comportement de mise à l’échelle neuronale pour les modèles chimiques, qui rappelle le comportement de mise à l’échelle observé dans les modèles MSc et de imaginative and prescient pour diverses programs”, a déclaré Fry.

“Nous avons également montré que nous ne sommes pas proches d’une quelconque limite fondamentale pour los angeles mise à l’échelle des modèles chimiques, il reste donc encore beaucoup de position pour des recherches plus approfondies en utilisant des ensembles de données informatiques plus nombreux et plus volumineux. Incorporer los angeles body dans les GNN by means of une propriété appelée “valence”. a un grand affect.” “. “Un affect significatif sur l’amélioration de l’efficacité des mesures, ce qui est un résultat passionnant automobile il est en réalité très difficile de trouver des algorithmes qui modifient le comportement des mesures.”

Dans l’ensemble, les résultats recueillis par cette équipe de chercheurs jettent un nouvel éclairage sur le potentiel de deux sorts de modèles d’IA pour los angeles recherche en chimie, montrant remark leurs performances peuvent être améliorées à mesure qu’ils évoluent. Ces travaux pourraient bientôt éclairer d’autres études explorant les promesses et le potentiel d’amélioration de ces modèles, ainsi que d’autres tactics basées sur le DNN pour des programs scientifiques spécifiques.

“Depuis los angeles première apparition de nos travaux, des travaux de suivi passionnants ont déjà été réalisés pour explorer les capacités et les limites de los angeles mise à l’échelle des modèles chimiques”, a ajouté Fry. “Récemment, j’ai également travaillé sur des modèles génératifs de conception de protéines et réfléchi à los angeles façon dont los angeles mise à l’échelle affecte les modèles de données biologiques.”

© 2023 Réseau ScienceX