L’apprentissage automatique donne aux utilisateurs l. a. capacité « surhumaine » d’ouvrir et de contrôler des units en réalité virtuelle

Les chercheurs ont développé une utility de réalité virtuelle dans laquelle un ensemble d’outils de modélisation three-D peut être ouvert et contrôlé en utilisant uniquement le mouvement de l. a. major de l’utilisateur.

Des chercheurs de l’Université de Cambridge ont utilisé l’apprentissage automatique pour développer des « gestes chauds », similaires aux touches de raccourci utilisées dans de nombreuses packages de bureau.

HotGestures donne aux utilisateurs l. a. possibilité de créer des formes en réalité virtuelle sans avoir à interagir avec un menu, les aidant ainsi à rester concentrés sur une tâche sans interrompre le fil de leurs pensées.

L’idée de pouvoir ouvrir et contrôler des units en réalité virtuelle est un trope cinématographique depuis des décennies, mais les chercheurs affirment que c’est l. a. première fois qu’une telle « tremendous » capacité est conceivable. Les résultats sont publiés dans l. a. revue Transactions IEEE sur l. a. visualisation et l’infographie.

L. a. réalité virtuelle (VR) et les packages associées sont présentées depuis des années comme révolutionnaires, mais en dehors du jeu, leurs promesses ne se sont pas pleinement concrétisées. Le professeur In line with Ola Christenson du département d’ingénierie de Cambridge, qui a dirigé l. a. recherche, a déclaré : « Les utilisateurs acquièrent certaines qualités en utilisant l. a. réalité virtuelle, mais très peu de gens souhaitent l’utiliser pendant une longue période. » “Mis à section l. a. fatigue visuelle et les problèmes ergonomiques, l. a. réalité virtuelle n’offre pas vraiment quelque selected que vous ne pouvez pas obtenir dans le monde réel.”

L. a. plupart des utilisateurs de logiciels de bureau connaissent le thought des touches de raccourci, qui sont des raccourcis de commande tels que ctrl-c pour copier et ctrl-v pour coller. Bien que ces raccourcis évitent d’avoir à ouvrir un menu pour trouver le bon outil ou l. a. bonne commande, ils dépendent de l. a. mémorisation par l’utilisateur de l. a. bonne commande.

“Nous voulions reprendre le thought des touches de raccourci et le transformer en quelque selected de plus pertinent pour l. a. réalité virtuelle, quelque selected qui ne dépendait pas du fait que l’utilisateur ait déjà un raccourci dans sa tête”, a déclaré Christensen, qui est également co-directeur du projet. . Centre d’intelligence artificielle d’inspiration humaine.

Au lieu de touches de raccourci, Christenson et ses collègues ont développé des « HotGestures », dans lesquels les utilisateurs font des gestes avec leurs mains pour ouvrir et contrôler le system dont ils ont besoin dans des environnements de réalité virtuelle three-D.

Par exemple, effectuer un mouvement de coupe ouvre l’outil Ciseaux et un mouvement de pulvérisation ouvre l’outil Bombe aérosol. L’utilisateur n’a pas besoin d’ouvrir le menu pour trouver l’outil dont il a besoin, ni de mémoriser un raccourci spécifique. Les utilisateurs peuvent basculer en toute transparence entre différents outils en effectuant différents gestes au cours d’une tâche, sans avoir à interrompre leur travail pour parcourir le menu ou appuyer sur un bouton du contrôleur ou du clavier.

“Nous communiquons tous en utilisant nos mains dans le monde réel, il était donc logique d’étendre cette forme de conversation au monde virtuel”, a déclaré Christenson.

Pour l’étude, les chercheurs ont construit un système de reconnaissance des gestes sur un réseau neuronal succesful de reconnaître les gestes en faisant des prédictions sur le flux de données entrant sur les articulations de l. a. major. Le système est conçu pour reconnaître dix gestes différents associés à l. a. development de modèles three-D : stylo, dice, cylindre, boule, assiette, pulvérisation, coupe, mise à l’échelle, duplication et suppression.

L’équipe a mené deux petites études dans lesquelles les individuals ont utilisé des HotGestures, des commandes de menu ou une combinaison des deux. L. a. technologie basée sur les gestes fournit des raccourcis rapides et efficaces pour l. a. sélection et l’utilisation des outils. Les individuals ont trouvé HotGestures distinctif, rapide et facile à utiliser, tout en complétant l’interplay traditionnelle basée sur les menus.

Les chercheurs ont conçu le système de manière à ce qu’il n’y ait pas de fausses activations, automotive le système basé sur les gestes était succesful de reconnaître correctement l. a. commande et le mouvement naturel de l. a. major. Dans l’ensemble, le système basé sur les gestes était plus rapide que le système basé sur les menus.

“Il n’existe actuellement aucun système de réalité virtuelle succesful de faire cela”, a déclaré Christenson. “Si utiliser l. a. VR, c’est comme utiliser un clavier et une souris, à quoi ça sert ? Elle doit vous donner presque des tremendous pouvoirs que vous ne pouvez obtenir nulle section ailleurs.”

Les chercheurs ont rendu public le code supply et l’ensemble de données afin que les concepteurs d’packages VR puissent les intégrer dans leurs produits.

“Nous voulons que ce soit un moyen usual d’interagir avec l. a. réalité virtuelle”, a déclaré Christenson. “Nous sommes habitués à l. a. vieille métaphore fatiguée d’un classeur depuis des décennies. Nous avons besoin de nouvelles façons d’interagir avec l. a. technologie, et nous pensons que c’est un pas dans cette path. Lorsqu’elle est bien faite, l. a. réalité virtuelle peut être comme de l. a. magie.”