Une nouvelle software qui permet des performances musicales interactives

L’interprétation musicale nécessite une expérience musicale et une formation instrumentale. Bien que ce soit une tâche ardue pour beaucoup, d’autres n’ont pas les capacités physiques nécessaires pour jouer d’un software de musique. Ilya Borovik, Ph.D. Un étudiant en informatique et en sciences des données et en ingénierie, avec un co-auteur allemand, s’est fixé un objectif ambitieux : rendre les performances musicales accessibles aux personnes, quelle que soit leur origine.

Pour rendre les morceaux de musique familiers plus amusants, les auteurs ont présenté une software qui permet de personnaliser l. a. musique selon ses goûts à travers l. a. voix, les expressions faciales ou les gestes – par exemple en l. a. jouant plus lentement ou comme s’il s’agissait d’une berceuse. Les résultats sont rapportés dans un chapitre du livre électronique « Bettering Human Intelligence ».

“L. a. model bêta de notre système comprend un modèle d’IA, formé à l’aide d’un ensemble ouvert de 1 067 présentations de 236 pièces pour piano. Le modèle prend l. a. musique observée en entrée et apprend à l. a. jouer tout en prédisant les caractéristiques d’interprétation : pace native, place, durée. “, le quantity de l. a. notice. L. a. sortie est une vue configurable. Notre objectif était de permettre à l’utilisateur de contrôler le modèle, nous l’avons donc intégré dans l’software, permettant ainsi l’interplay entre le modèle et l’utilisateur ultimate”, explique Ilya Borovik.

Lorsque l’software est lancée, l’utilisateur donne accès à l. a. caméra et au microphone du smartphone et begin à écouter une interprétation générée aléatoirement d’un morceau de musique à partir de l. a. base de données. Pour changer de vue, l’utilisateur démarre un enregistrement vidéo ou audio. En utilisant l. a. voix ou les expressions faciales, le modèle peut être invité à interpréter l. a. musique d’une autre manière. Par exemple, les Mazurkas de Chopin peuvent être transformées en berceuse.

“Pour interagir avec le modèle, nous utilisons des directions d’exécution déjà établies dans les notes. Les notes contiennent des signes écrits qui indiquent au joueur remark jouer l. a. musique : plus vite, plus lentement, plus castle, and many others. Et sur l. a. base de toutes les données disponibles, Ilya ajoute : Conversion des commandes vocales de l’utilisateur dans ces instructions de functionality.

Le projet est toujours en cours de mise en œuvre. L’équipe de recherche prévoit de rendre l. a. conversation entre les modèles utilisateur plus interactive, afin que l’utilisateur puisse obtenir les résultats souhaités en quelques itérations seulement. L’interface de l’software sera améliorée, tandis que l. a. base de données bibliographiques sera élargie. Il contient encore de l. a. musique classique, considérée comme le patrimoine musical mondial. Dans l. a. prochaine étape, les chercheurs incluront l. a. musique orchestrale.