Un système qui permet aux robots d’utiliser des outils de manière créative en exploitant de grands modèles de langage

Des chercheurs de l’Université Carnegie Mellon et de Google DeepMind ont récemment développé RoboTool, un système succesful d’étendre les capacités des robots, leur permettant d’utiliser des outils de manière plus créative. Ce système a été présenté dans un article publié dans arXiv Le serveur de préimpression pourrait bientôt apporter une nouvelle obscure d’innovation et de créativité en robotique.

“L’utilisation d’outils est souvent considérée comme une caractéristique d’une intelligence avancée”, a déclaré Mingdi Xu, doctorant en dernière année. candidat à l’Université Carnegie Mellon et co-premier auteur de l’article, a déclaré à Tech Xplore.

“Dans les expériences de Wolfgang Köhler, par exemple, les singes empilaient intelligemment des boîtes pour atteindre les bananes qui pendaient hors de leur portée, tandis que les macaques crabiers utilisaient des pierres comme outils pour casser des noix et des coquilles. Au-delà d’utiliser des outils pour l’utilization prévu et de suivre des procédures établies, l’utilisation « d’outils de manière créative et non conventionnelle fournit des answers plus flexibles mais présente des défis bien plus importants en termes de capacité cognitive ».

Les robots effectuent souvent des tâches manuelles de manière usual et répétitive sans explorer de méthodes possible choices. Cependant, en explorant des façons plus créatives de faire les choses, ils peuvent mieux gérer des scénarios complexes du monde réel.

“En robotique, l’utilisation d’outils créatifs est également une capacité essentielle mais exigeante, automotive elle nécessite l. a. capacité globale de prédire le résultat d’une motion, de réfléchir aux outils à utiliser et de planifier remark les utiliser”, explique Bid Huang, impliqué dans dans le développement des robots. Le premier auteur et doctorat. » a déclaré le candidat.

L’objectif predominant des travaux récents de Xu, Huang et de leurs collègues était de concevoir un système qui permettrait aux robots d’utiliser les outils de manière plus créative. Un tel outil pourrait aider à résoudre plus efficacement de nombreux problèmes du monde réel, par exemple en permettant aux robots d’adapter leurs stratégies lorsqu’ils tentent de saisir des objets hors de leur portée ou de créer des marches pour monter vers un emplacement cible.

« L’émergence des grands modèles de langage (LLM) a considérablement amélioré les fonctionnalités des chatbots, l’automatisation du codage et l. a. création de contenu visuel », a expliqué Huang. “Au-delà de ces interfaces numériques, l’IA incarnée pourrait représenter l. a. prochaine frontière de l’intelligence – une frontière qui interagit de manière tangible avec le monde réel. Les robots, agissant comme des extensions physiques des LLM, offrent un véhicule idéal pour cette exploration.”

L’émergence récente et l. a. popularité croissante des MBA ont encouragé les chercheurs à explorer leur utilisation en robotique. Des études antérieures ont montré le potentiel de ces modèles pour améliorer les capacités de divers robots, y compris leur verbal exchange avec les utilisateurs, ainsi que leur raisonnement, leur planification et leur exécution de tâches.

Par exemple, l’outil SayCan de Google DeepMind permet aux robots de comprendre des directions en langage naturel telles que « J’ai renversé mon verre, pouvez-vous m’aider ? Élaborez ensuite des stratégies pour faire face aux diverses tâches ménagères. Cependant, tirer parti des LLM pour résoudre des problèmes nécessitant un raisonnement avec des contraintes implicites imposées par le corps et l’environnement du robotic reste un défi.

Xu, Huang et leurs collègues ont entrepris d’explorer l’utilisation des LLM pour améliorer l. a. créativité avec laquelle les robots abordent diverses tâches. En d’autres termes, leur espoir était de créer un système qui identifierait des moyens créatifs de rendre possibles des tâches apparemment « impossibles ».

Le système qu’ils proposent, appelé RoboTool, accepte les directions en langage naturel composées d’informations textuelles et numériques sur l’environnement, les avatars du robotic et toutes les contraintes qui doivent être respectées. Il produit ensuite du code qui applique les compétences de bas niveau du robotic pour contrôler à l. a. fois des robots simulés et physiques.

Le nouvel outil créé par les chercheurs se compose de quatre composants principaux : un analyseur, un planificateur, une calculatrice et un programmeur. L’analyste traite les invitations soumises par les utilisateurs en langage naturel, identifiant les éléments clés pouvant affecter l. a. faisabilité de l. a. tâche demandée.

Le composant de planification du système reçoit à l. a. fois des informations en langue maternelle et des ideas clés identifiés, et les utilise pour formuler une stratégie globale pour accomplir l. a. tâche. D’autre section, le composant Calculatrice spécifie des paramètres, tels que les positions cibles requises pour chaque compétence paramétrée.

Le dernier composant de RoboTool, le programmeur, convertit le plan world créé par le planificateur et les paramètres produits par l. a. calculatrice en code exécutable. Il convient de noter que tous ces composants ont été développés à l’aide du modèle GPT-4 par OpenAI.

RoboTool permet aux robots d’utiliser des outils de manière créative, résolvant ainsi une variété de tâches complexes qu’ils n’ont jamais rencontrées auparavant. Par exemple, il peut être utile de créer un levier pour soulever des cartons lourds ou une baguette de cubes magnétiques pour appuyer sur un bouton hors de portée.

Le nouvel outil développé par Xu, Huang et leurs collaborateurs pourrait bientôt être utilisé par les roboticiens du monde entier pour étendre les capacités des systèmes qu’ils proposent. L’outil pourrait par exemple permettre aux robots d’effectuer des tâches ménagères plus complexes, comme déboucher des canalisations bouchées ou réparer des meubles cassés à l’aide des outils disponibles.

“RoboTool peut également améliorer l. a. navigation du robotic parmi les débris ou les buildings effondrées en improvisant avec les outils disponibles pour atteindre les individus piégés”, a déclaré Xu. “Il peut également être appliqué à l. a. building et à l. a. upkeep, permettant aux robots de réparer de manière adaptative des machines ou des buildings à l’aide de tous les outils disponibles, ou de créer des conceptions complexes en combinant de manière créative des outils traditionnels.”

Les chercheurs ont déjà publié des vidéos de démonstration de RoboTool sur le web page Internet du projet. Dans leurs prochaines études, ils prévoient d’incorporer des prototypes de grande imaginative and prescient dans leur système, y compris des modèles prenant en fee l. a. imaginative and prescient par ordinateur three-D, automotive cela pourrait améliorer les capacités de détection et de réflexion des robots dans des environnements de monde ouvert.

“Nous prévoyons également de développer des moyens intuitifs permettant aux humains de diriger et de collaborer avec RoboTool, et de développer des mesures de sécurité pour RoboTool qui réduisent les risques lorsque les robots travaillent aux côtés des humains”, a déclaré Ding Zhao, professeur agrégé et directeur du CMU Secure AI Lab.

© 2023 Internet de l. a. science