Le projet

L’objectif n’est pas de réaliser en synthèse un mini-opéra traditionnel, mais de proposer une interférence d’images, de sons, de mouvements où les personnages réels: public, chef d’orchestre, chanteuse interagissent avec un environnement virtuel de danseuses, de visages et d’images de synthèse doués d’une certaine autonomie de comportements.

Dans l’esprit de l’opéra baroque, nous présentons les premiers éléments d’une « machine du virtuel »: ensemble d’effets visuels et sonores qui devraient surprendre, par leur nature et par leur création interactive.

Interactivite

Production de » voyelles sonores »:
Le public initie l’opéra dans la direction de son choix, une personne donne un thème par une phrase dans un microphone au début de chaque expérience. Cette phrase d’abord répétée par un ou plusieurs visages de synthèse, déclenchera rapidement un volume sonore de chants, pour cela elle sera analysée en temps réél, produisant une suite de voyelles qui seront chantées par les visages de synthèse, et accompagnées par la chanteuse réelle. Une autre phrase donnée par le public ou donnée par le programme, conduira à la conclusion de la scène.

Direction de l’ensemble :
Une baguette réalisée avec un capteur magnétique de type « flock of bird » permettra au « chef d’orchestre » de diriger chaque différent visage: lancer le chant ou l’arrêter, déclencher ou geler des animations ou des fonds sonores.

Interaction multi-modal du ballet:
Les danseuses de synthèse ont une double interaction: avec la musique et avec le public. Elles communiquent au moyen d’une ceinture de capteurs de mouvement, avec toute personne du public bougeant ou dansant, mais aussi avec le son, dont elles peuvent utiliser divers paramètres: par exemple l’amplitude, la vitesse, les fréquences.

Fiche scientifique

Le projet « Opéra Interactif » regroupe un certain nombre de recherches autour d’une thématique générale, celle de l’interaction créative et <<intelligente>> d’utilisateurs avec des personnages synthètiques et des contenus musicaux.
Il s’agit de développer un environnement virtuel, c’est à dire un univers 3D, incluant des êtres artificiels de toute sorte, en particulier des acteurs de synthèse les plus proches possibles d’un être humain, capables de comprendre l’environnement, d’avoir des comportements, de parler, de chanter, de danser, d’exprimer des émotions, de communiquer entre eux et avec le ou les intervenants dans la scène. Un tel ensemble articule des besoins en modélisation, en simulation de mouvements, en compréhension et en reconnaissance, ainsi que des développements en interactivité et temps réel, amis aussi des relations avec les sciences humaines et cognitives.

Entre réel et virtuel, il s’agit d’établir des interfaces, de développer des systèmes qui aillent bien au-delà de la simple boucle d’action-réaction immédiate, mais intègrent des mécanismes fins d’apprentissage, de reconnaissance. une recherche récente de l’équipe, menée par Michel Bret et Marie-Hélène Tramus, a montré comment les réseaux neuronaux pouvaient enrichir l’interaction d’un être humain « utilisateur » avec une danseuse synthétique.

A l’instar de l’opéra traditionnel qui associe théâtre, danse et musique, notre équipe travaille sur l’animation faciale, l’animation du corps, le traitement de la musique et du son et son association à l’image dans le cadre d’un environnement 3D virtuel.

La voix est au cœur du projet, dans tous ses aspects. Elle est l’élément fédérateur de l’environnement visé, de la voix captée et analysée d’un locuteur à la synthèse d’une voix chantée, de la voix à l’animation du visage, de la voix au mouvement du corps.

Ce projet croise un certain nombre de sujets de recherche:

• du point de vue de l’animation en images de synthèse: l’articulation et la déformation du visage en situation d’élocution normale et en situation de chant;
• du point de vue de l’analyse/synthèse sonore: la synthèse de chant sur des voyelles, l’analyse de l’intonation d’un locuteur-spectateur;
• du point de vue de la reconnaissance de la parole et de son traitement « intelligent »: l’extraction et l’agrégation de mots-clés;
• du point de vue de l’animation synthétique du corps: la relation du chant (en termes musicaux comme sémantiques) au mouvement;
• la navigation dans des mondes virtuels associant formes sonores et formes visuelles, permettant de « saisir » et de manipuler des sons et des « formes » musicales.

Notre démarche s’attache à la création d’interfaces entre êtres humains et êtres artificiels capables de simuler des comportements affectifs et réactifs, et de façon plus générale, à la création d’environnements virtuels dans lesquels de nouvelles expérimentations sensorielles viendraient transformer notre relation à l’image.

Contact: les participants au projet

Ballet : Michel Bret, Marie-Hélène Tramus

Visages : Hervé Huitric, Monique Nahas

Musique : Alain Bonardi, Nathalie Dazin

Livret, contact mécénat: Jocelyne Kiss

Distribution artistique
Cupidon: Jocelyne Kiss
Céphise: Bérénice Hennebois
Pygmalion:Pierre-Adam Gilardot
Harpiste: Tatiana Drogna