L’article fournit une point of view sur l’avenir de l’IA inspirée du cerveau, alors que los angeles bibliothèque de codes Python franchit une étape majeure.

Il y a quatre ans, Jason Eshragian de l’Université de Californie à Santa Cruz a développé une bibliothèque Python qui mix les neurosciences et l’intelligence artificielle pour créer des réseaux neuronaux à pointe, une méthode d’apprentissage automatique qui s’encourage de los angeles capacité du cerveau à traiter efficacement les données. Aujourd’hui, sa bibliothèque de codes open supply, appelée « snnTorch », a dépassé les 100 000 téléchargements et est utilisée dans un huge éventail de projets, depuis les efforts de suivi par satellite tv for pc de los angeles NASA jusqu’aux sociétés de semi-conducteurs travaillant à l’amélioration des puces d’intelligence artificielle.

Article publié dans los angeles revue Actes IEEE Il documente los angeles bibliothèque de programmation mais est également destiné à être une ressource pédagogique explicite pour les étudiants et tout autre programmeur intéressé à en savoir plus sur l’intelligence artificielle inspirée du cerveau.

“C’est passionnant automotive cela montre que les gens s’intéressent au cerveau et qu’ils ont identifié que les réseaux neuronaux sont vraiment inefficaces par rapport au cerveau”, a déclaré Eshraqian, professeur adjoint de génie électrique et informatique. “Les gens sont préoccupés par l’have an effect on environnemental (des besoins énergétiques coûteux) des réseaux de neurones et des grands modèles de langage, c’est donc une voie à suivre très raisonnable.”

Construire snnTorch

Les réseaux neuronaux imitent le cerveau et les systèmes biologiques pour traiter les informations plus efficacement. Les neurones du cerveau restent au repos jusqu’à ce qu’ils aient des informations à traiter, ce qui entraîne une augmentation de leur activité. De même, un réseau neuronal à pointe ne start à traiter les données que lorsqu’elles sont entrées dans le système, plutôt que de traiter constamment les données comme les réseaux neuronaux traditionnels.

“Nous voulons profiter de tous les avantages du cerveau et de l’efficacité énergétique et les intégrer dans les fonctionnalités de l’IA, tirant ainsi parti du meilleur des deux mondes”, a déclaré Eshragian.

Eshrigian a commencé à créer du code pour un réseau neuronal à pointe en Python en tant que projet passionné pendant los angeles pandémie, en quelque sorte comme un moyen d’apprendre lui-même le langage de programmation Python. Concepteur de puces de formation, il s’est intéressé à l’apprentissage de los angeles programmation en pensant que les puces informatiques pourraient être améliorées en termes d’efficacité énergétique en co-concevant des logiciels et du matériel pour garantir qu’ils s’intègrent mieux les uns aux autres.

Aujourd’hui, snnTorch est utilisé par des milliers de programmeurs à travers le monde sur une variété de projets, prenant en fee tout, des projets de suivi par satellite tv for pc de los angeles NASA aux principaux concepteurs de puces comme Graphcore.

Lors de los angeles création de los angeles bibliothèque Python, Eshraqian a créé une documentation de programmation et du matériel pédagogique, qui lui sont venus naturellement au cours du processus d’enseignement lui-même du langage de programmation. Les paperwork, tutoriels et cahiers interactifs qu’il a créés se sont ensuite répandus dans toute los angeles communauté et sont devenus le premier level d’entrée pour de nombreuses personnes apprenant les sujets émergents de l’ingénierie neuronale et des réseaux neuronaux, qu’il considère comme l’une des principales raisons d’être de sa bibliothèque. C’est devenu très populaire.

Fournisseur honnête

Sachant que ces helps pédagogiques pourraient être d’une grande valeur pour los angeles communauté croissante d’informaticiens et d’autres personnes intéressées par le domaine, Eshraqian a commencé à compiler sa vaste documentation dans un report de recherche.

Cet article accompagne los angeles bibliothèque de codes snnTorch et est structuré comme un didacticiel. Il s’agit en outre d’un article tenace, discutant de l’incertitude parmi les chercheurs en apprentissage profond inspirés par le cerveau et offrant une point of view sur l’avenir du domaine. .

Eshraqian a déclaré que l’article fait délibérément prendre sense of right and wrong à ses lecteurs que le domaine de l’informatique neuronale est en évolution et instable, dans le however d’épargner aux étudiants los angeles frustration d’essayer de trouver une base théorique pour los angeles prise de décision dans un code que los angeles communauté des chercheurs ne comprend même pas. .

« Ce report est terriblement honnête, parce que les étudiants le méritent », a déclaré Eshraqian. “Il y a beaucoup de choses que nous faisons dans le domaine de l’apprentissage profond, et nous ne savons pas pourquoi elles fonctionnent. Bien souvent, nous voulons affirmer que nous avons fait quelque selected exprès, que nous l’avons publié parce que nous avons suivi une série d’examens rigoureux. expériences, mais ici nous disons simplement : c’est le meilleur et nous n’avons pas de « aucune idée de pourquoi ».

Le report contient des blocs de code, un layout inhabituel pour les paperwork de recherche typiques. Ces blocs de code sont parfois accompagnés d’explications selon lesquelles certaines zones peuvent être très instables, mais ils donnent un aperçu des raisons pour lesquelles les chercheurs pensent que certaines approches peuvent réussir.

Eshrigian a déclaré qu’il avait vu un accueil positif à cette approche honnête dans los angeles communauté et qu’il avait été informé que le papier était utilisé pour préparer du matériel dans les startups de neurodevices.

“Je ne veux pas que mes recherches fassent subir aux gens les mêmes souffrances que moi”, a-t-il déclaré.

Apprendre du cerveau et à son sujet

Cet article fournit une point of view sur los angeles façon dont les chercheurs dans ce domaine peuvent surmonter certaines des limites de l’apprentissage profond inspiré du cerveau qui découlent du fait que notre compréhension du fonctionnement du cerveau et du traitement de l’data est généralement très limitée.

Pour que les chercheurs en IA évoluent vers des mécanismes d’apprentissage plus proches du cerveau pour leurs modèles d’apprentissage profond, a déclaré Eshragian, ils doivent identifier les liens et les divergences entre l’apprentissage profond et los angeles biologie.

L’une de ces différences clés est que les cerveaux ne peuvent pas analyser toutes les données qu’ils ont saisies comme le font les modèles d’IA, et se concentrent plutôt sur les données en temps réel qui leur parviennent, ce qui peut offrir des opportunités d’augmentation de los angeles puissance. . efficacité.

“Les cerveaux ne sont pas des machines à voyager dans le temps et ils ne peuvent pas revenir en arrière”, explique Eshragian. “Tous vos souvenirs avancent à mesure que vous découvrez le monde, donc los angeles formation et le traitement vont de pair.” “L’une des choses qui m’intéresse beaucoup dans cet article est los angeles manière dont nous pouvons appliquer l’apprentissage en temps réel.”

Un autre domaine d’exploration dans l’article est un thought de base en neurosciences qui stipule que les neurones qui se déclenchent ensemble sont interconnectés, ce qui signifie que lorsque deux neurones sont stimulés pour envoyer un sign en même temps, le chemin entre les deux neurones est renforcé. Cependant, los angeles manière dont le cerveau apprend à partir d’un huge éventail de events du corps reste difficult to understand.

Le thought « feu ensemble, lien ensemble » a traditionnellement été considéré comme allant à l’encontre de los angeles méthode typique de formation en apprentissage profond connue sous le nom de rétropropagation, mais Eshragian suggère que ces processus pourraient être complémentaires, ouvrant de nouveaux domaines d’exploration dans le domaine.

Eshragian est également ravi de travailler avec des organoïdes cérébraux, qui sont des modèles de tissu cérébral cultivé à partir de cellules souches, pour en savoir plus sur los angeles façon dont le cerveau traite l’data. Il collabore actuellement avec des chercheurs en génie biomoléculaire du groupe Braingeneers de l’UCSC Genomics Institute pour explorer ces questions à l’aide de modèles d’organites.

Il s’agit d’une opportunité distinctive pour les ingénieurs de l’UC Santa Cruz d’intégrer le « wetware » – un terme qui fait référence aux modèles biologiques de recherche informatique – dans le paradigme dominant de co-conception logiciel/matériel dans le domaine. Le code snnTorch peut également fournir une plateforme de simulation d’organismes, qui autrement serait difficile à maintenir en laboratoire.

“(Les Braingeneers) construisent des outils et des outils biologiques que nous pouvons utiliser pour avoir une meilleure idée de los angeles façon dont l’apprentissage se produit et remark cela peut être traduit afin de rendre l’apprentissage en profondeur plus efficace”, a déclaré Eshragian.

Apprentissage inspiré par le cerveau à l’UCSC et au-delà

Eshragian utilise désormais les ideas développés dans sa bibliothèque et un article récent dans sa classe sur l’informatique neuronale à l’UC Santa Cruz intitulé « Mind-Impressed Deep Finding out ». Les étudiants du premier cycle et des cycles supérieurs dans diverses disciplines universitaires prennent le semestre pour apprendre les bases de l’apprentissage profond et réaliser un projet dans lequel ils écrivent leur propre tutoriel et contribuent peut-être à snnTorch.

« Il ne s’agit pas seulement de sortir d’un cours avec un examen ou d’obtenir un A+, il s’agit maintenant d’apporter une contribution à quelque selected et d’être succesful de dire que vous avez fait quelque selected de tangible », a déclaré Eshragian.

Eshragian collabore avec des personnes pour faire progresser le domaine de plusieurs manières, qu’il s’agisse de faire des découvertes biologiques sur le cerveau, de repousser les limites des puces neuronales pour gérer les fees de travail d’IA à faible consommation, ou encore de faciliter los angeles collaboration pour amener l’informatique de pointe de sort réseau neuronal à d’autres domaines comme body body.

Les canaux Discord et Slack dédiés à los angeles dialogue du code croissant des réseaux neuronaux soutiennent un environnement de collaboration florissant au sein de l’industrie et du monde universitaire. Eshragian a même récemment trouvé une offre d’emploi qui citait los angeles maîtrise de snnTorch comme une qualité souhaitable.