Depuis maintenant une vingtaine d’années, les technologies numériques ont fait leur apparition dans le domaine de l’étude et de l’analyse du mouvement, en révélant une importance particulière pour les pratiques de la danse. Après avoir introduit brièvement la littérature principale sur ce sujet, nous allons présenter une expérience pratique qui a eu lieu sous forme d’atelier en conclusion des journées d’étude « La pensée sonore du corps. Corps, son et technologies entre théories et pratiques ». Les participants et les observateurs ont pu apprécier l’apport du feedback sonore en temps réel et les inputs sensoriels de la médiation technologique sur le mouvement grâce à l’expérience pratique des capteurs mis en action lors de deux sessions empiriques animées par trois couples différents de participants volontaires. Une troisième et dernière session a mis en évidence l’approche créative de la mémoire sensori-motrice, qui est nourrie des stimuli multimodaux des expériences précédentes et qui est sollicitée en l’absence des capteurs. Cette dernière expérience a été entièrement vécue dans le but de retrouver les rythmes, les dynamiques et les interrelations agis et perçus auparavant.

Analyse du mouvement et nouvelles technologies

En dehors de la pratique artistique professionnelle, un nombre remarquable d’études se sont intéressées à l’apport du numérique dans le contexte de la formation en danse. Initialement, les technologies utilisées dans le domaine pédagogique étaient principalement des logiciels pour la composition chorégraphique assistée par ordinateur¹. Au cours des dernières années, des pratiques technologiques assez différentes se sont diffusées au sein de l’étude du mouvement : e-learning et supports multimédias, logiciels pour la notation chorégraphique et vidéo, conservation et transmission des répertoires traditionnels, approche multimodale à l’enseignement². Dans le domaine de l’analyse du mouvement, deux tendances principales peuvent être observées. Une première approche pourrait être définie comme computationnelle et se concentre sur le développement de systèmes de captation du mouvement ainsi que sur des modèles d’analyse destinés à l’étude quantitative des qualités du mouvement. Dans ce cadre, le mouvement est analysé selon des méthodes d’analyse statistique (comme les modèles markoviens HMM dans le cas de la poursuite du geste) ou fonctionnelle (comme la quantité de mouvement QoM) permettant d’extraire des descripteurs de niveau intermédiaire (à l’instar du degré de symétrie du corps) ou de haut niveau (par exemple le degré de la rigidité du corps). L’analyse de données permet d’évaluer, en termes quantitatifs, la nature expressive du geste ou, par exemple, la relation entre la qualité du mouvement et certains états émotifs communiqués par le biais du corps. Une telle approche est utilisée dans l’analyse du mouvement dansé³ aussi bien que dans l’étude du geste musical⁴.

Une deuxième approche, qu’on pourrait définir comme phénoménologique ou « somatique », s’intéresse principalement à la manière dont le feedback sensoriel produit une rétroaction sur le mouvement⁵. Dans ce cas, l’interacteur est alors en mesure de se concentrer soit sur le niveau proprioceptif habituel soit sur le niveau « externe », c’est-à-dire sur les retours sensoriels (visuels ou sonores) produits par le biais de l’interface. En d’autres termes, ces approches portent plutôt sur la conscience somatique de l’interaction avec la technologie, en mesurant la capacité du médium à induire des modalités inédites de construction du mouvement et d’organisation perceptive de l’espace. Cette dynamique s’avère être très intéressante, car elle permet de réorganiser le mouvement en dépassant ce que Hubert Godard appelle souvent la « névrose chorégraphique » :

Les routines, les répétitions d’habitudes sensorielles imposent à leur tour des habitudes gestuelles, des coordinations qui perdent leur plasticité [...] Il y a un ensemble de techniques qui permettent d’intervenir [...] sur la perception de son propre corps, sur la réouverture des failles proprioceptives par le biais de capteurs du mouvement, ou d’électromyographes, posés sur la personne, et dont les informations enregistrées sont renvoyées au sujet sous forme de son ou d’image⁶.

Configuration technique des dispositifs utilisés

L’atelier que nous avons présenté en conclusion des journées d’étude s’est déroulé dans l’espace de l’amphithéâtre 75 de la faculté des Lettres, Arts et Sciences Humaines de l’Université Côte d’Azur de Nice. Dans ce cadre, nous avons proposé une expérience pratique divisée en trois sessions à laquelle ont participé six personnes volontaires parmi le public de la journée d’étude. Les deux premières parties de l’expérimentation étaient basées sur l’utilisation du son comme feedback sur le mouvement. Deux typologies de capteurs ont été employées à ce propos : une caméra Kinect et des capteurs de mouvement Hot Hands.

La caméra Kinect est une caméra thermique créée par Microsoft pour la plateforme de jeux-vidéos Xbox (Fig. 1). Il est possible de la reprogrammer pour obtenir des informations sur la position du corps dans l’espace en partant de l’extraction du squelette. Ceci peut être aisément divisé en segments correspondants aux différentes articulations du corps (Fig. 4). Pour chaque segment (tête, pieds, mains, etc.), on peut acquérir les données brutes relativement aux coordonnées tridimensionnelles (x, y, z)⁷. Dans notre expérimentation, un algorithme a été implémenté avec le logiciel Max/MSP⁸, permettant de mesurer et de sonoriser en temps réel la distance absolue entre deux personnes. Le retour sonore était un bourdon grave créé avec un algorithme de synthèse additive. La diminution de la distance entre les deux personnes permettait d’augmenter l’intensité logarithmique du son. Cette interaction était à la base de la première session d’expérimentation.

Fig. 1-2-3 : Xbox Kinect Camera (à gauche), Hot Hand MIDI Controller (au centre), Wiimote (à droite)

Les Hot Hands (Fig. 2) sont des bagues permettant le contrôle continu de paramètres musicaux⁹. Il s’agit d’un dispositif grand public conçu comme interface sans-fils pour l’interaction gestuelle avec la musique : en exploitant le protocole MIDI, la bague est directement utilisable sur tous les logiciels pour la production musicale du commerce, sans besoin d’une programmation dédiée. Le Hot Hand contient un accéléromètre capable de calculer, avec une grande précision, la rotation sur les trois axes cartésiens dans une plage de 180°¹⁰. Grâce à cet outil, il a été possible de créer des interactions linéaires entre geste et son. Ce dispositif entre en jeu dans la deuxième partie de l’expérimentation. Les deux bagues (une par personne) s’activent dès que les deux participants rentrent dans une zone de proximité (moins de 50 cm)¹¹. À partir de ce moment, les deux peuvent créer des sonorités de synthèse avec des mouvements longitudinaux et transversaux¹². Dans les deux cas (Kinect et Hot Hands), nous avons choisi d’utiliser des formes d’interaction assez simples et intuitives de manière à ne pas focaliser l’attention des participants sur la maîtrise du dispositif. Cela permet, au contraire, d’induire une posture perceptive plus ouverte à l’expérience sensorielle et aux changements sensori-moteurs émergeant de l’expérience interactive.

Description des sessions expérimentales

Un lieu déterminé au centre du plateau est équipé de façon à ce que les instruments technologiques mis en jeu puissent bien montrer les effets souhaités. Les observateurs sont assis dans la salle et regardent de face l’action se déroulant sur le plateau. En s’assurant du bon fonctionnement des dispositifs utilisés, Andrea Giomi assure la partie technique à la console, les instruments étant installés tout près du plateau. Federica Fratagnoli et Alessandra Sini guident chacune à leur tour les trois expérimentations proposées, conçues au préalable, de façon à permettre un développement intéressant et clair de l’interaction entre geste et son par le biais de la technologie.

La première session engage un couple de personnes munies chacune d’une bague et disposées l’une face à l’autre à une distance de trois mètres environ¹³. La personne positionnée côté cour (B) a la tâche de garder sa place avec les yeux fermés. Initialement positionné côté jardin, l’interlocuteur (A) est en revanche libre de se déplacer sur la ligne droite qui le sépare de son partenaire jusqu’à trouver une relation de proximité maximale avec lui (Fig. 1). Le rapprochement d’A vers B active le capteur qui produit les sons soumis à l’espace de proximité ou d’éloignement engendré par A. En se déplaçant, A propose différents rythmes et postures, sa danse « du rapprochement » engage souvent la gestuelle des membres supérieurs du corps dans une série d’allers-retours sur la ligne droite du parcours envisagé. Les yeux fermés, B perçoit le rapprochement de A et ses effets sur sa prise de conscience de la situation vécue grâce à son sens haptique¹⁴. Avant d’être confirmée par les moments occasionnels de contact physique, la perception de la proximité du partenaire est éveillée par le déplacement de l’air et par les bruits dus aux mouvements de A. Les sons produit par la captation de la distance ont ici la fonction de faciliter la perception de l’interaction entre les deux participants ainsi que de rendre explicite le mécanisme de l’expérimentation à ceux qui l’observent. Le son généré via l’interaction met en évidence tout d’abord l’espace de rapprochement, en sollicitant une fois de plus la sensibilité acoustique ainsi qu’une perception multimodale de l’autre. Ce feedback auditif déclenche d’autre part une réaction créative de A par rapport à ses gestes. Ces derniers déterminent la qualité sonore et sont à leur tour influencés dans un rapport d’interdépendance bien évident aux yeux des observateurs.

Cette simple et courte expérience (cinq ou six minutes environ), débutant dans le silence et dans un état de concentration pour tous les participants (actifs et en observation), se répète avec trois couples différents sous la supervision de Federica Fratagnoli. Elle introduit à chaque fois l’expérimentation et en soutient le déploiement en l’alimentant avec des consignes verbales¹⁵ autour de la prise de conscience de la perception du vécu corporel.

La deuxième session est une évolution de l’expérience précédente. Elle se focalise sur l’ampleur et la densité des gestes. Lors de cette expérience, les bagues aussi entrent en action. En effet, les capteurs¹⁶, sollicités par la distance entre A et B dans le jeu du rapprochement, sont également mis en action par l’articulation de la gestuelle (notamment par les gestes de rotation longitudinaux et transversaux). Un autre couple est invité à se mettre en relation : une personne en face de l’autre, chacune à l’écoute de sa propre expérience sensible en s’engageant à percevoir l’autre. A et B gardent les mêmes tâches : l’obligation de se déplacer à la rencontre de l’autre pour A, l’impossibilité de changer de place pour B. Même dans l’impossibilité de se déplacer, B est cette fois-ci invité à engendrer des gestes avec ses bras ainsi qu’avec toute la partie supérieure de son corps. En modifiant également sa posture (par exemple le rapport haut/bas de son centre gravitaire), B crée des volumes avec lesquels A est encouragé à entrer en relation. Non seulement l’action de rapprochement de A vers B est prise en considération et augmentée par l’utilisation des feedbacks sonores¹⁷, mais la nouvelle expérience propose également le développement d’une danse de proximité qui s’alimente des actions et réactions réciproques des deux participants. Il s’agit de gestes improvisés par les deux participants qui doivent tenir compte de leur relation dynamique, spatiale et rythmique. Cette interrelation engendre des entrelacs de membres, des surfaces du corps et des volumes qui activent un imaginaire visuel et sonore inédit. Cette deuxième session dépasse la seule intention d’expérimenter un dispositif qui, à l’aide de l’instrument technologique, amplifie la sensibilité auditive par rapport aux qualités du mouvement. La pratique proposée porte l’attention sur une pluralité d’éléments non prévus ni prévisibles qui nourrissent d’ailleurs les expérimentations artistiques visées à la découverte de nouvelles occurrences. L’intervention de l’imaginaire créatif déclenché par les stimuli auditifs et par l’agencement des mouvements multiplie ainsi les approches de l’expérience vécue et de la prise de conscience des situations dynamiques et spatiales accomplies. Cette session est également expérimentée par trois couples, toujours assistés par Federica Fratagnoli. Elle rappelle à chacun des participants que leurs gestes doivent créer des volumes dans l’espace de façon à pouvoir être identifiés par l’autre comme possible espace d’action. Ainsi, les volumes produits par les deux participants s’entrelacent dans un jeu de combinaisons des parties du corps qui, en s’effleurant, entrent parfois directement en contact physique. Le rythme des actions ainsi engendrées répond aux réactions de chacun des inputs sonores déployés par le dispositif technologique adopté.

La troisième session de l’expérience met en situation les mêmes couples de participants, appelés à retrouver les situations relationnelles déjà expérimentées dans les sessions précédentes. Alessandra Sini les invite à choisir un nouvel espace de relation entre eux, sur le plateau, sans limitation de distance ou de direction du rapprochement. L’action de se rapprocher est l’élément d’interaction toujours requis, mais il advient dorénavant en l’absence du support des capteurs, dans le silence. La proposition est de travailler à nouveau un rapport de distance et de proximité. Cette fois-ci, la possibilité de s’éloigner ou de se rapprocher est donnée aux deux participants¹⁸. Comme dans la session précédente, le couple est sollicité à développer une relation à deux : avec ses gestes et ses postures, chacun des participants engendre des volumes spatiaux qui peuvent être reconnus en tant qu’espaces à remplir par les gestes de l’autre. A et B se retrouvent alors très proches et les entrelacs des membres les amènent souvent au contact physique. Il s’agit d’un travail d’improvisation qui interroge le sens de la relation et qui investit dès lors les espaces mutuellement créés : les espaces d’allers-retours, c’est-à-dire l’espace de la distance, les entrelacs spatiaux dans la proximité, l’espace entier du plateau à gérer selon les consignes données. L’expérience cherche à réveiller les qualités sonores incorporées dans les gestes afin de voir comment le son, voire son feedback (ce qui à partir du son est resté dans la conscience sensible du mouvement), amplifie et modifie la densité ou l’espace des gestes. Alessandra Sini soutient l’expérience en invitant les participants à laisser émerger les actions, les gestes, les jeux spatiaux et rythmiques expérimentés auparavant pendant l’interaction sonore avec les capteurs. Cette troisième session met ainsi en lumière le rapport d’interdépendance entre les consignes proposées et le vécu expérimenté auparavant. En effet, la rapide incorporation des informations sonores perçues en amont informent sur les qualités toniques et rythmiques du mouvement dansé. Dans l’effort d’alimenter un imaginaire visant la réalisation des consignes dans une situation où l’agir dépend principalement des choix personnels et immédiats, les participants puisent dans leur mémoire sensori-motrice récente et révèlent, grâce à la reprise de certaines actions et interrelations vécues (également perçues et reconnues par les observateurs), l’incorporation implicite des informations sonores. De cette façon, les observateurs distinguent un changement dans la densité et l’ampleur des gestes retrouvés, ainsi qu’une majeure familiarisation avec la relation interpersonnelle.

Conclusion

Toute l’expérience pratique, vécue et observée, a été un parcours d’acclimatation dans une approche multimodale à la création et à la perception du mouvement dansé. L’aspect central de cette pratique a été la manière dont la matière sonore s’adosse aux corporéités impliquées en transformant la perception auditive en quelque chose de visible dans les agencements dynamiques en cours. Du point de vue méthodologique, la forme tripartite de l’expérimentation s’est avérée un outil important nous permettant d’évaluer l’apport concret du feedback sonore. En effet, si la première partie a permis aux participants de prendre confiance avec les effets de la sonorisation du mouvement¹⁹, la deuxième leur a permis de maîtriser et d’explorer en profondeur une sorte de conscience sonore du corps. De cette manière, les stimuli proprioceptifs, issus par exemple de la perception de l’espace, sont ici transformés en forme extéroceptive (le feedback sonore) en donnant la possibilité d’une perception inédite du mouvement. Pendant l’expérience interactive, les participants deviennent ainsi capables de créer le mouvement en se basant tantôt sur les informations proprioceptives habituelles – la perception du corps propre dans l’espace, la présence de l’autre, la qualité de ses gestes – tantôt sur les nouvelles données acoustiques qui reflètent une augmentation multimodale du corps. Dans la troisième partie en particulier, les observateurs présents lors de l’expérimentation, mais aussi les participants à l’expérience, ont pu observer comment ces feedbacks sonores ont laissé une trace visible sur le corps, un écho immatériel modulant l’allure de l’improvisation dansée. Les observateurs externes ont d’ailleurs eu la possibilité de constater la façon dont ces changements dans l’approche au geste et dans la réalisation du mouvement sont clairement visibles même sur des personnes non professionnelles en danse ou non entraînées davantage à d’autres types de pratiques corporelles. Dans une perspective proprioceptive ainsi qu’extéroceptive, au-delà de la spécialisation au mouvement dansé, toute activité sensori-motrice a été nourrie par cette disposition à l’écoute, dont les corporéités de tous les participants ont été marquées.

FDILI-ALAOUI Sarah, Analyse du geste dansé et retours visuels par modèles physiques : apport des qualités de mouvement à l’interaction, Thèse de doctorat, Paris, Université de Paris Sud/IRCAM, 2012

FDILI-ALAOUI Sarah, BEVILACQUA Frédéric, BERMUDEZ PASCUAL Bertha, JACQUEMIN Christian, « Dance Interaction with Physical Model Visualization based on Movement Qualities », International Journal of Arts and Technology, vol. 6, n° 4, 2013, pp. 357-387

BERTHOZ Alain, Le sens du mouvement [1997], Villeneuve-d’Ascq, Odile Jacob, 2013

BRICK Timothy R., BOKER Steven M., « Correlational Methods for Analysis of Dance Movements », Dance Research : The Journal of the Society for Dance Research, n° 29, 2011, pp. 283-304

FRITZ Vivian, Danse et nouvelles technologies vers d’inédites écriture chorégraphique, Thèse de doctorat, Strasbourg, Université de Strasbourg, 2015

KUYPERS Patricia, « Des trous noirs. Un entretien avec Hubert Godard », Nouvelles de danse : scientifiquement danse. Quand la danse puise aux sciences et réciproquement, n° 53, 2006, pp. 76-96

MAES Pieter-Jan, AMELYNCK Denis, LESAFFRE Micheline, LEMAN Marc, ARVIND D. K., « The Conducting Master : An Interactive, Real-Time Gesture Monitoring System Based on Spatiotemporal Motion Templates », International Journal of Human-Computer Interaction, vol. 29, n° 7, 2013, pp. 471-48

MENICACCI Armando, « L’enseignement de la danse face au numérique », Nouvelles de danse : Danse et nouvelles technologies, n° 40-41, 1999, pp. 55-64

PARRISH Mila, « Technology in Dance Education », in BRESEL Liora, International Handbook of Research in Arts Education, Cham, Springer International, 2007, pp. 1381-1397

SANTANA Ivani, « Experiences and Reflections About Presence and Memory in Dance with Technological Mediation Through the Situated Cognition Approach », Revista Mapa, vol. 3, n° 2, 2016, pp. 11-26

VIAUD-DELMON Isabelle, HADDAD Karim, MASON Jane, WARUSFEL Olivier, « A Sounding Body in a Sounding Space : The Building of Space in Choreography – Focus on Auditory-motor Interactions », Dance Research : The Journal of the Society for Dance Research, n° 29, 2011, pp. 433-449