Loxias-Colloques |  11. Corps, son et technologies entre théories et pratiques |  Troisième partie : Nouvelles technologies en mouvement 

Andrea Giomi  : 

Dérives : la nature émergente du rapport geste-son dans l’improvisation avec les technologies

Résumé

Cet article présente la création d’une performance interactive que j’ai présentée en conclusion des journées d’étude « La pensée sonore du corps. Corps, son et technologies entre théories et pratiques » (17-18 octobre 2016, Nice). Ma réflexion porte tout particulièrement sur l’analyse des techniques d’improvisation adoptées dans la performance. En partant d’une pratique artistique, l’article permet de mettre en lumière le rapport dialectique entre les gestes de production et les gestes expressifs en réaction à la musique.

Abstract

This article proposes a description of an interactive performance I presented at the end of the conference « La pensée sonore du corps. Corps, son et technologies entre théories et pratiques » (October 16-17, 2016, Nice). The paper focuses on the improvisation techniques analysis in order to points out the dialectic relation between the sound-producing gestures and the expressive gestures in response to music.

Index

Mots-clés : geste musical , improvisation, processus émergents, systèmes interactifs

Géographique : France

Chronologique : XXIe siècle

Plan

Texte intégral

1Cet article présente la création d’une performance sonore intitulée Dérives, que j’ai développée entre janvier 2016 et mars 2017. Cette performance repose sur l’utilisation de technologies de captions de mouvement permettant de connecter la production sonore au geste ainsi qu’au mouvement dans l’espace. La pièce a été créée pour la première fois le 8 mai 2016 à l’occasion du Festival aCross1. Celle-ci a ensuite été jouée le 17 octobre 2016 à Nice en conclusion des journées d’étude « La pensée sonore du corps. Corps, son et technologies entre théories et pratiques ». Une nouvelle version de la performance a également été présentée lors du Festival International de Théâtre, Arts et Novelles Technologies LMPD, le 22 octobre 2016 à Sassari2, puis lors du NAO Performing Festival, le 1er décembre 2016 à Milan3. La troisième version de la performance a été créée en mars 2017 dans le cadre du projet Lucky Larry’s Cosmic Commune de l’artiste et designer Jerszy Seymour, lors de la Biennale Internationale de Design de Saint Etienne4. Dans cet article, je vais me focaliser sur la version présentée à Nice.

2Avant de décrire mon travail de création, je vais d’abord proposer une définition des interfaces numériques geste-son à partir de la notion de mode d’existence5. Cette brève introduction nous permettra de situer l’enjeu poïétique6 de la performance Dérives par rapport aux processus de médiation technologique du corps. Dans la deuxième partie, j’introduirai le contexte de création ainsi que les systèmes de captation utilisés. Dans la troisième section, je présenterai l’architecture formelle de la performance ainsi que les interactions principales. Enfin, j’esquisserai une réflexion sur les principes d’improvisation adoptés pour la création des séquences geste-son.

Les modes d’existence des interfaces sonores

3À partir de la deuxième moitié des années 1980, la miniaturisation des capteurs pour la détection du mouvement ainsi que les avancées dans le domaine du traitement en temps réel du signal audio rendent possible le développement de systèmes interactifs permettant à un interprète de générer du son à partir de l’analyse numérique du geste ou de certains de ses composants (tantôt des paramètres de bas niveau comme l’accélération, la vitesse, la direction, etc., tantôt des descripteurs de haut niveau comme le degré de contraction du corps ou la quantité de mouvement7). À l’inverse des instruments de musique, les interfaces basées sur l’utilisation de capteurs impliquent un processus de création articulé en quatre axes complémentaires : la captation (et le codage) du mouvement, le mapping (à savoir la mise en connexion entre les paramètres gestuels et sonores), la composition du son et l’interprétation. Cette structure définit le caractère ouvert et non-idiomatique du processus de création avec des interfaces pour la musique. Pour cela, chaque système interactif renvoie à ce que j’appelle le mode d’existence de l’interface sonore, c’est-à-dire une certaine manière d’agencer la relation entre le mouvement, la médiation technologique et la production sonore. Cette notion nous permet de penser les interfaces geste-son selon quatre archétypes fondamentaux : l’hyperinstrument, le méta-instrument, le corps-instrument et l’espace-instrument. Chacun de ces paradigmes reflète une organisation caractéristique du rapport geste-son, impliquant ainsi un processus spécifique d’adaptation du corps8 :

41) L’hyperinstrument9 peut être considéré comme un paradigme désignant un ensemble de techniques numériques dont la finalité est d’étendre le potentiel expressif d’un interprète en augmentant les modes de jeu traditionnels10 par des procédés numériques. La particularité de ce paradigme est la présence de trois corps résonants simultanément : le corps du performeur, celui de l’instrument acoustique et celui de l’instrument virtuel. Souvent, les contrôles augmentés (par exemple le degré de rotation du poignet dans la technique de jeu du violoniste) permettent de traiter en temps réel le son produit acoustiquement. Cette dynamique introduit une forme de réflexivité inédite pour l’interprète. Les feedbacks sonores se manifestent ici sur deux niveaux : un niveau direct, qui est le résultat de l’excitation mécanique de l’instrument, et un niveau invisible, qui correspond au traitement électronique ;

52) L’expression méta-instrument désigne un instrument audionumérique dont le design est conçu de manière indépendante par rapport aux instruments de musique existants11. Il s’agit d’un mode d’existence de l’interface qui permet de repenser la présence expressive du corps en relation avec l’ergonomie de l’interface12. Le feedback sonore a la fonction d’orienter cette adaptation du corps à la prothèse par le biais de la rétroaction. Ici, le geste (et non pas l’instrument) est au centre du processus expressif. Ce faisant, la dramatisation sonore du mouvement permet d’ouvrir sur des sémantiques non-musicales hétérogènes (théâtrales, narratives, etc.). Ainsi, la relation son-mouvement navigue entre la recherche d’une cohérence musicale, la fonction communicative du geste et la potentialité narrative du son ;

63) Le mode d’existence du corps-instrument implique une adhérence parfaite entre le corps de l’interprète, celui de l’interface et le corps audionumérique. Ici, le contrôle et la production sonore ne sont soumis à aucune contrainte de physique, sauf l’ergonomie du corps et, éventuellement, le répertoire de gestes adopté. L’utilisation des interfaces sonores dans des pièces de danse exploitant la captation du mouvement reflète une telle attitude. Dans ce cadre, l’emploi de feedbacks sonores devient un élément clé pour transfigurer, redessiner et repenser l’anatomie corporelle13. Dans le domaine musical, Atau Tanaka développe depuis des années une pratique originale basée sur l’électromyographie. Cette technique lui permet d’un côté de générer des processus sonores à travers l’analyse des signaux électriques contrôlant la contraction des muscles, et de l’autre d’acquérir une conscience acoustique du mouvement via la sonorisation du métabolisme musculaire14. Dans ce double jeu de résonances, une anatomie inédite émerge, une sorte d’oreille prismatique qui est l’effet de la convergence entre tactilité de la matière acoustique, sensation interne d’effort et rétroaction du feedback sur l’organisation perceptive du mouvement ;

74) Je propose l’expression espace-instrument pour désigner un mode d’existence de l’interface sonore qui dépasse les frontières de la surface du corps du performeur pour adhérer à l’espace scénique de la performance ou de l’installation. Dans ce cas, l’interface est conçue comme un environnement sensible réagissant à la présence et aux gestes des performeurs et/ou des destinataires de l’œuvre. Contrairement aux autres paradigmes, l’espace-instrument n’est pas un dispositif de contrôle mais plutôt un lieu d’expérience15 : bien souvent, dans les installations sonores interactives, l’interacteur ne cherche pas à maîtriser les règles du jeu mais essaie de développer une posture physique cohérente, lui permettant d’entrer en résonance avec l’environnement16. Chaque environnement sonore présente une sensibilité particulière qui répond à l’attitude des interacteurs vers leur propre corps et l’espace. Simultanément, la rétroaction sonore a pour effet de redessiner la géographie sensorielle du corps des participants en sollicitant une redéfinition de leur relation à l’environnement.

Contexte de recherche et de création

8Ma performance Dérives se situe au croisement de différents modes d’existence de l’interface que je viens d’esquisser. En particulier, les deux derniers paradigmes (corps-instrument et espace-instrument) ont une importance remarquable au sein de la conception et du développement des systèmes interactifs employés ici. La réalisation de la performance s’est déroulée en deux phases. La première a eu lieu dans les studios du CIRM17 entre janvier et avril 2016. Cette phase de création a été supportée par un financement conjoint du Ministère Italien des Biens et des Activités culturelles et de l’Association Jeunes Artistes Italiens (GAI) dans le cadre de l’appel à projet Movin’Up 201518. Cette première période de recherche a été consacrée au développement des systèmes d’interaction ainsi qu’à la composition sonore. La deuxième phase de création a pu se développer grâce à une résidence artistique, dont la première partie a eu lieu entre décembre 2016 et janvier 2017 dans le cadre du programme de résidence NAO Crea (Milan, DID Studio – Fabbrica del Vapore)19. Dans cette période de travail, j’ai pu me concentrer sur l’interprétation et m’éloigner ainsi d’un modèle de performance simplement démonstratif, tout en approfondissant le rapport entre son et composition du geste. Cette dernière version a été présentée à l’occasion à Saint Étienne dans les espaces de la Biennale de Design.

Image 100000000000029E000000988BE59B8C.jpg

Figures 1-2-3 : Xbox Kinect Camera (à gauche), Hot Hand MIDI Controller (au centre), Wiimote (à droite)

Dispositifs technologiques et configuration technique

9Toutes les applications interactives ont été développées en exploitant trois typologies de capteurs20 : un capteur de détection optique, Xbox Kinect Camera, deux capteurs de mouvement Hot Hands MIDI Controller et deux Wiimotes (Fig. 1-2-3). Il s’agit de dispositifs interactifs assez populaires, très utilisés dans le spectacle vivant, qui ont été choisis sur la base de quatre principes : la typologie de captation, l’ergonomie, la facilité d’utilisation et le coût. Du point de vue pratique, ces dispositifs interactifs sont aisément reprogrammables selon le contexte d’usage. Ils présentent en outre certains avantages en termes d’ergonomie : la Kinect est une caméra vidéo qui ne demande pas de capteurs auxiliaires sur le corps de l’utilisateur et qui permet de calculer la position du corps (ou des ses parties) dans l’espace (Fig. 4) ; les Hot Hands sont des capteurs en forme de bagues, assez légers et non-invasifs, qui mesurent la rotation en trois dimensions des doigts ; les Wiimotes sont des contrôleurs destinés aux jeux-vidéos créés par Nintendo. Ils permettent de mesurer aisément l’accélération du geste.

10Les applications mises en place ont été conçues dans le but d’articuler un contrôle total sur la génération du son. L’idée était de réaliser une configuration interactive exploitant une gamme dynamique assez large, me permettant de créer tantôt des moments minimalistes au niveau sonore et gestuel, tantôt des moments fortement riches en termes d’énergie scénique et de complexité musicale. Cet objectif a été réalisé tout d’abord en reliant les informations acquises par les différents capteurs afin de créer une représentation stratifiée du mouvement se basant sur la combinaison entre position du corps dans l’espace et mouvement des mains. J’ai ainsi pu développer des interactions articulées allantes d’une simple relation cause-effet jusqu’à des formes plus complexes impliquant la coordination des différents aspects du mouvement. Par le fait d’avoir réalisé en complète autonomie l’ensemble du système interactif (programmation et design sonore), j’ai pu structurer mon interprétation musicale en partant des connaissances techniques acquises pendant la phase de réalisation. J’ai donc commencé à développer une sorte de composition ouverte créée à partir de nombreuses séances d’improvisation dans les studios du CIRM entre février et mai 2016.

Image 100000000000029E00000233E3C10681.jpg

Figure 4 : illustration de la captation du corps par la caméra Kinect

Description de la performance

11La version de la performance étudiée ici suivait un itinéraire prédéterminé. Différents points étaient choisis sur scène et marqués avec du scotch noir. Ceux-ci fonctionnaient à la fois comme indicateurs des différentes zones de captation et comme repères pour mes déplacements dans l’espace. L’un des principaux défis qui a émergé pendant les répétitions était de trouver un principe d’équilibre entre les formes gestuelles et les structures sonores que je composais. Tout en voulant préserver la nature spontanée de l’improvisation, j’ai donc travaillé sur des principes intuitifs me permettant de créer en temps réel des séquences son-mouvement à partir d’une palette d’actions prédéfinies. À ce propos, contrairement à une performance musicale conventionnelle, j’ai décidé de donner une certaine importance aux déplacements dans l’espace. Au cours des improvisations, l’espace est en effet devenu un élément de stabilité qui m’a permis de définir la structure formelle du travail.

12Durant la phase d’expérimentation sur l’espace, j’ai eu l’idée d’ajouter un principe de construction du mouvement externe à la logique du geste instrumental (c’est-à-dire des gestes exclusivement réservés à la production sonore)21. En improvisant avec le son, j’ai remarqué avoir eu tendance à travailler sur le niveau bas de l’espace, à savoir celui lié au mouvement des jambes et des hanches. J’ai donc décidé de valoriser cette tendance spontanée en structurant les séquences initiales de l’improvisation à partir d’un type de mouvement issu du judo22. En particulier, j’ai travaillé sur une technique de projection appelée Tsuri-Komi-Goshi, qui signifie littéralement « pêcher en bas avec la hanche ». La performance s’articule en quatre modules : trois introductifs, un conclusif. La durée totale est d’une vingtaine de minutes. Dans chacun des trois premiers modules, je commence à improviser en présentant des mouvements inspirés de la technique Tsuri-Komi-Goshi. Dans chaque module, une variation libre de la technique de judo est donc élaborée selon un modèle différent d’interaction qui correspond à un travail idoine avec le corps (accélération, mouvements des mains et déplacement dans l’espace). Au cours de l’improvisation, je m’éloigne graduellement de cette technique pour interagir avec le son de manière plus libre. Dans chaque module, la référence à la technique de judo devient de moins en moins évidente pour enfin disparaître à la fin du troisième module. Dans la partie finale, caractérisée par des sonorités plus orchestrales, je reprends tous les niveaux d’interaction précédemment exposés en improvisant de manière assez libre. Étant sur scène comme performeur, je ne peux pas contrôler la régie du son. Par conséquent, j’ai créé une zone interactive me permettant de changer de configuration de façon automatique : en traversant cette zone, qui se situe au fond de la scène, un déclencheur s’active et change la configuration d’un module.

13L’itinéraire musical commence par un travail essentiellement rythmique basé sur l’utilisation d’accéléromètres placés sur les chevilles (Wiimotes). L’accélération du mouvement de la jambe active un déclencheur qui, à son tour, génère un son. Chaque cheville est associée à un groupe de huit sons. Pour chaque accélération, un son parmi les huit est sélectionné au hasard par le biais d’un algorithme spécifique23. Dans ce cas, la technique de judo est utilisée pour enchaîner les mouvements des jambes et ainsi déclencher les premiers sons. Comme l’interaction est basée sur l’accélération des chevilles, la technique de judo est réinterprétée tout en valorisant la distribution de l’énergie physique vers le bas. Le deuxième module se base entièrement sur la gestuelle des mains. Un algorithme de synthèse granulaire24 est contrôlé par les deux mouvements rotatoires captés par les Hot Hands. Dans ce cadre, le mouvement complexe issu de la technique de judo est réduit aux seuls mouvements des mains. Par rapport à toutes les autres sections de la performance, je n’ai ici pas de contrôle total sur la génération du son. Chaque rotation des mains génère une variation des paramètres de l’algorithme de synthèse granulaire. Par contre, ces variations n’ont pas un effet immédiat sur la texture sonore. Dans ce cas, les gestes déclenchent une évolution globale des objets sonores sur une échelle temporelle. Ce mécanisme permet d’introduire une marge d’imprévisibilité dans la relation geste-son. Par conséquent, la composition du geste se détache partiellement de la production sonore directe pour s’adresser à l’interprétation corporelle des qualités sonores. Dans la troisième section, j’utilise un algorithme qui combine le travail sur la kinesphère25 avec celui sur l’espace. En particulier, cette configuration me permet d’exploiter trois niveaux d’interaction simultanément. Tout d’abord, la scène est divisée en quatre zones interactives circulaires qui délimitent les frontières de l’espace sonore. Le son de chaque zone, activé par la présence du corps, peut également être modulé à travers les mouvements des mains, qui modifient en profondeur certains aspects du timbre. Un dernier niveau d’interaction est construit autour de la kinesphère. Trois lignes sur scène marquent la présence de sphères interactives. Chacune d’entre elles contient différents sons qui peuvent être déclenchés en allongeant les membres supérieurs et inférieurs. Une telle structure par niveaux d’interaction me permet de choisir la quantité d’éléments sonores (et donc gestuels) que je veux enchaîner simultanément ou successivement. Par conséquent, j’ai la possibilité de passer du silence absolu à la génération de grandes masses sonores, ou même d’explorer tous ces niveaux intermédiaires qui résultent de l’union des divers éléments. Dans la dernière partie, je récupère tous les éléments interactifs présentés dans les trois premiers modules en les combinant dans un nouveau paysage sonore. Cette partie, étant moins destinée aux besoins de la démonstration, donne plus de place à la construction musicale, résumant, par une forme plus définie, l’itinéraire sonore et spatial exploré pendant la performance.

Le rôle-clé de l’improvisation

14Dans la performance Dérives, l’improvisation se structure selon une grille formelle définie. Une première limitation structurelle est représentée par l’itinéraire tracé dans l’espace. Cet itinéraire correspond à des zones ou à des interactions sonores orientant mes déplacements sur scène. Un deuxième niveau de contrainte est représenté par les mouvements inspirés de la technique de judo ainsi que par leur relation avec les interactions sonores. En ce sens, mon anatomie virtuelle est modulée tantôt par le schéma sensori-moteur du Tsuri-Komi-Goshi tantôt par la hiérarchisation imposée par les différentes typologies interactives. Enfin, un autre niveau de variation est représenté par l’intentionnalité musicale, c’est-à-dire l’intention communicative du geste sonore. Généralement, l’improvisation musicale se base sur l’idée d’une composition instantanée exploitant ou non un répertoire idiomatique26 de structures gestuelles et/ou sonores (par exemple les standards de jazz). Dans le cas de ma performance, l’improvisation musicale ne se base pas sur un répertoire spécifique lié à un instrument mais plutôt sur une logique intuitive et spontanée. En particulier, j’essaye de développer un principe de composition instantanée basé sur l’idée d’action et de rétroaction. Le principe est assez simple : un geste génère un son, le son généré affecte la création du prochain geste qui, à son tour, produit un autre son. De cette façon, le son affecte la création du geste sur deux niveaux. Après avoir généré un son, le geste est influencé tantôt par la logique musicale interne propre à la séquence sonore tantôt par la nécessité d’exprimer les qualités sonores par le biais du mouvement. L’évolution d’une certaine séquence de gestes sonores est donc informée par les micro-variations qui émergent autant sous forme d’intentionnalité sonore que d’intentionnalité corporelle. Dans un état de flow27, les intentionnalités convergent et résonnent l’une dans l’autre. Ici, l’écoute s’avère être non seulement une forme de réception passive des informations acoustiques mais également un vecteur actif induisant l’émergence de configurations audiotactiles complexes et stratifiées.

Image 100000000000029B0000021C2ED4E253.jpg

Figure 5 : Andrea Giomi pendant la performance Dérives

Conclusion : l’improvisation et la notion d’émergence

15Toute forme d’improvisation exploite au moins quelques principes récurrents : un répertoire idiomatique de gestes, au sens large du terme, et une approche spontanée basée sur l’écoute. Dans le cas du jazz modal, par exemple, le répertoire de gestes se base d’un côté sur les caractéristiques spécifiques de chaque instrument et de l’autre sur les standards harmoniques, mélodiques, rythmiques, etc., partagés par les musiciens. Dans le cas des danses académiques, ou au moins codifiées, le répertoire idiomatique des mouvements renvoie également à des styles et à des paradigmes formels, y compris des codes pour entendre la musique. En se limitant à la seule fonction de l’écoute musicale dans le cadre de la danse et de la musique, on peut remarquer deux attitudes complémentaires. Dans le cas de la danse, l’écoute permet d’exprimer ou d’interpréter les propriétés structurelles du son via le corps. Le geste dansé sur la musique est alors un geste d’accompagnement, ou plutôt un geste orienté par la musique. Dans le cas de la pratique musicale, l’écoute n’est pas fonctionnelle pour la représentation du son mais pour sa production. Le geste musical est par conséquent un geste de production sonore, ou plutôt un geste orienté vers la musique.

16L’utilisation de technologies interactives suspend la séparation nette entre geste orienté par la musique et geste orienté vers la musique. Dans le cas des performances musicales exploitant des technologies interactives, l’aspect communicatif du geste est renforcé puisque le corps est souvent la surface générant la matière sonore sans l’aide d’un corps-médiateur externe. Je fais ici référence aux pratiques se basant sur le paradigme du méta-instrument (Michel Waisvisz) ou du corps-instrument (Atau Tanaka). De manière analogue, les capteurs en danse permettent au danseur de travailler non seulement en fonction de la représentation de la matière sonore mais également sur sa production (cf. par exemple les créations historiques de Robert Wechsler, de Troika Ranch, ou celles plus récentes d’Isabelle Choinière28). Les technologies interactives introduisent pourtant un espace hybride du geste musical. La compréhension de ce changement de paradigme s’avère nécessaire afin d’interpréter la logique de la composition du geste au sein des performances sonores interactives. Dans le cas de ma pratique, cet aspect a un rôle déterminant. Comme je l’ai précisé plus haut, mes improvisations se basent sur un mécanisme autopoïétique que j’appelle « boucle évolutive » et qui s’inspire du principe de feedback loop propre à la tradition de la cybernétique29 (cf. fig. 6). Cette logique élémentaire de la composition du geste est également influencée par d’autres niveaux de signification comme les aspects dramaturgiques ou bien la structure formelle de la performance. D’ailleurs, ce qui m’intéresse de mettre ici en lumière est la présence de deux aspects essentiels : la production et l’interprétation corporelle du son. Ces deux pôles peuvent agir successivement ou simultanément. Par exemple, dans le premier module de la performance, l’impulsion des mouvements des jambes permet de déclencher du son. Parfois, selon l’évolution de la performance, ces mouvements saccadés peuvent être délibérément exagérés afin de souligner la qualité expressive du son produit. Dans ce cas, la résonance organique entre les sensations internes d’effort et les sensations externes produites par le retour sonore s’avère être fondamentale. D’autres mouvements émergent comme réponses à un certain son. Souvent par exemple, après avoir généré des sons assez puissants, je réagis par des oscillations des bras et de la tête. Selon l’ampleur de l’oscillation, les mouvements des bras peuvent produire accidentellement d’autres sons en touchant de manière involontaire certaines zones interactives de la kinesphère. Dans ce genre d’improvisation, corporelle et sonore à la fois, l’écoute a un rôle prédominant. Par rapport à une performance musicale traditionnelle où l’écoute aide à évoquer un répertoire idiomatique, dans le cas de ma pratique, l’écoute a plutôt la fonction d’orienter des comportements intuitifs. Les tensions exprimées par le son sont incorporées en devenant l’objet d’une « gestualité figurative30 ». L’écoute permet donc d’interpréter l’environnement sonore tantôt en relation avec les processus de composition musicaux envisagés tantôt en relation avec les changements d’état du corps expérimentés. Les deux évoluent pendant la performance en interaction réciproque, selon une modalité qu’on pourrait appeler une « co-variation ».

Image 100000000000029E000001DA2999A73D.jpg

Figure 6 : boucle évolutive

17Cette relation peut être interprétée à travers un terme que j’ai évoqué ailleurs : l’émergence. Cette notion définit, du point de vue philosophique, les phénomènes présentant des propriétés originales qui ne peuvent pas être réduites aux causes matérielles qui les ont produites31. En particulier, la logique régissant l’interaction réciproque entre geste et son renvoie au principe émergent de « causalité descendante ». Ce genre de rétroaction indique que ces propriétés émergentes modifient la structure de base qui les a générées. En d’autres termes, cette propriété concerne directement le potentiel d’action rétroactive d’une organisation complexe sur le système d’ordre inférieur qui en est la base. Cette notion peut être utilisée pour expliquer la logique de la composition du geste sonore dans notre contexte. Le geste produit un feedback. Ceci est donc le résultat d’un mouvement. D’ailleurs, il n’est pas simplement un effet puisqu’il produit une rétroaction sur le système qui l’a généré, c’est-à-dire le performeur. En agissant sur le corps qui l’a produit, le feedback sonore modifie les conditions de génération successive du son. On comprend donc pourquoi on peut entendre la boucle geste-son comme une « boucle évolutive » : en rétro-agissant sur le performer, le feedback est, en même temps, la cause et l’effet de l’organisation perceptive du mouvement. Bien évidemment, la nature émergeant du rapport geste-son dépend du degré d’improvisation de la performance. En règle générale, il est possible d’affirmer que l’interaction sonore intervient sur l’organisation perceptive du mouvement en en modifiant la syntaxe figurative. Ce genre de rétroaction se déroule selon une perspective diachronique, impliquant une évolution temporelle dans la relation entre système causal et effet produit. À ce propos, le feedback sonore ne rétroagit pas directement sur le mouvement qui l’a produit. Néanmoins, il affecte la structure générale de l’anatomie corporelle en transformant les conditions d’apparition du mouvement suivant. En ce sens, l’interaction sonore met en lumière la nature autopoïétique des processus d’organisation perceptive du mouvement ainsi que le potentiel adaptatif de l’anatomie corporelle.

Notes de bas de page numériques

1 Ma performance a été présentée, précisément, dans le cadre du colloque international « L’émergence en musique : dialogue de sciences » qui s’est déroulé à l’intérieur du Festival aCross (château de Plaisir). Je renvoie au programme complet du festival : http://acrossfestival.weebly.com/uploads/5/7/9/1/57912273/d %C3 %A9pliantacross16ld.pdf (cons. le 20 novembre 2017).

2 Dans le cadre du festival « Le Meraviglie del Possibile », Festival di Teatro Arte e Nuove Tecnologie. Disponible sur : http://www.kyberteatro.it/spettacoli.asp (cons. le 20 novembre 2017).

3 Programme disponible sur : http://www.naonuoviautorioggi.net/nao-performing-festival/ (cons. le 20 novembre 2017).

4 Je renvoie au lien du projet artistique Lucky Larry’s cosmic commune : http://www.biennale-design.com/saint-etienne/2017/en/programme/ ?ev =lucky-larry-s-cosmic-commune-30 (cons. le 20 novembre 2017).

5 Je reprends cette expression à Gilbert Simondon, dans Gilbert Simondon, Du mode d’existence des objets techniques [1958], Paris, Aubier, 2001. Dans ce texte, le philosophe utilise l’expression « mode d’existence » pour définir la nature co-évolutive de l’être humain et des objets techniques.

6 Je me réfère ici à la notion de poïétique élaborée par Paul Valéry dans le célèbre « Discours sur l’esthétique » : cf. Paul Valéry, Variété IV, Paris, Gallimard, 1939, pp. 235-265.

7 Cf. Antonio Camurri, Barbara Mazzarino, Gualtiero Volpe, Matteo Ricchetti, Renee Timmers, « Multimodal analysis of expressive gesture in music and dance performances », in Alan Dix, Janet Finlay, Gregory D. Abowd, Russell Beale (dir.), Human-Computer Interaction, New York, Springer Verlag, 2004, pp. 20-39.

8 Pour une taxonomie détaillée des nouvelles interfaces musicales, je renvoie à l’excellent ouvrage d’Eduardo Miranda et Marcelo Wanderley, New Digital Musical Instruments : Control and Interaction Beyond the Keyboard, Middleton (Wisconsin), A-R Editions, 2006.

9 Le terme hyperinstrument a été utilisé pour la première fois par Tod Machover pour définir des instruments de musique augmentés par le biais de capteurs appliqués directement sur le corps de l’instrument. Cf. Tod Machover, Hyperinstruments. A progress report 1987-1991, Cambridge (Mass.), MIT Press, 1992.

10 Parmi les nombreux hyperinstruments créés ces dernières années, il faut citer l’hyperbow de Diana Young, le projet du quatuor à cordes augmenté développé à l’IRCAM par l’équipe de Frédéric Bevilacqua, ou encore l’hyper-flûte de Cléo Palacio-Quintin. Pour une revue générale, cf. Alexander Refsum Jensenius, Michael J. Lyons (dir.), A NIME Reader Fifteen Years of New Interfaces for Musical Expression, Cham, Springer International Publishing, 2017. Le texte recueille les articles les plus significatifs présentés pendant les quinze dernières années au sein de la conférence sur les nouvelles interfaces pour l’expression musicale (NIME)

11 Le terme a été utilisé pour la première fois par Serge de Laubier et Rémy Dury vers la fin des années 1980. Cf. Serge de Laubier, « The Meta-Instrument », Computer Music Journal, MIT Press, vol. 22, n° 1, 1998, pp. 25-29.

12 Le père d’une telle conception est sans doute Michel Waisvisz qui développe à partir des années 1980 une interface gestuelle appelée The Hands (1984-2005). L’interface, inspirée des « gants numériques » pour la réalité virtuelle, exploitait des touches et des capteurs détectant la dynamique du geste (position, inclinaison, orientation) afin de piloter des événements sonores avec différentes modalités de contrôle (triggers, modulations continues, changements de configuration globale). Cf. Giuseppe Torre, Kristina Andersen, Frank Baldé, « The Hands : The Making of a Digital Musical Instrument », Computer Music Journal, MIT Press, vol. 40, n° 2, 2016, pp. 22-34.

13 Je pense aux performances multimédias des compagnies Troika Ranch et Palindrome Intermedia Performance Group, aux environnements virtuels de Yacov Shavir, ou encore aux installations participatives de Sarah Rubidge. Pour une introduction à l’utilisation des nouvelles technologies en danse, je renvoie à Olympe Jaffré, Danse et nouvelles technologies : enjeux d’une rencontre, Paris, L’Harmattan, 2007.

14 Cf. Atau Tanaka, « BioMuse to Bondage : Corporeal Interaction in Performance and Exhibition », in Maria Chatzichristodoulou et Rachel Zerihan, Intimacy : Across Visceral and Digital Performance. New York, Palgrave Mcmillan, 2012, pp. 159-171.

15 Une telle conception a été proposée pour la première fois dans le travail fondateur de David Rokeby, Very Nervous System (1986-1990). Le système employait trois caméras connectées à un processeur d’images capable d’analyser le mouvement de l’interacteur pour ainsi piloter un système de génération audio. Le mouvement pouvait contrôler la modulation d’un certain nombre de paramètres liés à des séquences sonores pré-composées intégrant des principes d’indétermination. L’installation est considérée comme une des œuvres les plus influentes dans l’histoire des arts numériques. Cf. Katja Kwastek, Aesthetics of interaction in digital art, Cambridge (Mass.), MIT Press, 2013, pp. 234-240.

16 Cf. par exemple le travail Sensuous Geographies (2003), installation interactive réalisée par Sarah Rubidge dans laquelle chaque participant produit un son particulier en relation avec son positionnement dans l’espace aussi bien qu’avec la distance qu’il entretient vis-à-vis des autres participants. Cf. Sarah Rubidge, Alistair MacDonald, « Sensuous Geographies – A Multi-User Interactive/Responsive Installation », Digital Creativity, vol. 15, n° 4, 2004, pp. 245-252.

17 Le CIRM est l’un des six Centres Nationaux de Création Musicale, label accordé par le Ministère de la culture en 1997. Les activités du centre, dirigé par le compositeur François Paris, s’articulent autour de quatre axes : production, diffusion, recherche et formation. Elles réunissent des professionnels : compositeurs, réalisateurs en informatique musicale, chercheurs, ingénieurs du son, musicologues, étudiants en composition électroacoustique, travaillant, entre autres, sur les nouvelles technologies au service de la création musicale. Le CIRM est l’organisateur du Festival MANCA depuis 1978. Le site officiel est disponible sur : http://www.cirm-manca.org/ (cons. le 20 novembre 2017).

18 Le concours Movin’Up est un dispositif destiné au soutien des activités des jeunes artistes italiens à l’étranger. Tous les six mois, un jury sélectionne une dizaine d’artistes sur la base de la collaboration avec une institution étrangère ainsi que sur la qualité artistique du projet présenté. Le site est disponible sur : http://www.giovaniartisti.it/movinup/vincitori/andrea-giomi (cons. le 20 novembre 2017).

19 Le programme de résidence NAO Crea sélectionne tous les ans, depuis 2010, quatre projets de danse ou d’art performatif en contribuant à leurs développements à travers la mise à disposition de salles de répétitions et un soutien financier.

20 Pour une introduction aux différentes typologies de capteurs utilisés dans les nouvelles interfaces musicales ou dans le cadre du spectacle vivant, cf. Carolina B. Medeiros, Marcelo M. Wanderley, « A Comprehensive Review of Sensors and Instrumentation Methods in Devices for Musical Expression », Sensors, vol. 14, n° 8, 2014, pp. 13556-13591.

21 Cf. Alexander Refsum Jensenius, Rolf Inge Gødoy, Marcelo M. Wanderley, Marc Leman, « Musical Gestures : Concepts and Methods in Research », in Rolf Inge Gødoy, Marc Leman (dir.), Musical Gestures : Sound, Movement and Meaning, London/New York, Routledge, 2010, pp. 12-35.

22 J’ai pratiqué le judo pendant dix ans, entre ma 6e et ma 16e année.

23 Le degré de hasard est contrôlé de telle sorte que l’algorithme va privilégier certains sons parmi d’autres.

24 Il s’agit d’une technique assez populaire dans le domaine de la production électronique contemporaine. Cette méthode permet d’extraire des micro-sons (des grains sonores) à partir d’un échantillon de base pour ensuite les mélanger au niveau de la durée, de la tonalité et de la dynamique en créant une texture typiquement « granulaire ».

25 La kinesphère est un concept introduit par le théoricien et chorégraphe Rudolf Laban. Le terme désigne l’espace sphérique qu’il est possible de couvrir aisément en allongeant les membres du corps aux alentours. En danse, cet espace personnel du performeur peut être également décrit sur la base de trois plans axiaux (horizontal, vertical et sagittal) ainsi que par six directions principales (devant, derrière, gauche, droite, haut, bas). Cf. Rudolf Laban, La maîtrise du mouvement [1950], Arles, Actes Sud, 1994.

26 Rolf Inge Godøy, « Gestural Affordances of Musical Sound », in Rolf Inge Godøy, Marc Leman (dir.), Musical Gestures : Sound, Movement and Meaning, op. cit., pp. 103-125.

27 En psychologie, le terme flow dénote un état d’immersion complète dans le moment présent grâce à une activité fortement stimulante. Cet état se caractérise par un plein engagement et une sensation de satisfaction. Le terme est généralement utilisé pour décrire la complète participation psycho-physique dans les activités sportives. Cf. Jeanne Nakamura, Mihaly Csikszentmihályi, « Flow Theory and Research » in Charles R. Snyder, Erik Wright, Shane J. Lopez (dir.), Handbook of Positive Psychology, Oxford, Oxford University Press, 2001, pp. 195-206.

28 Sur le travail de Robert Wechsler et de la compagnie Troika Ranch, cf. Susan Broadhurst, Digital Practices. Aesthetic and Neuroesthetic Approaches to Performance and Technology, New York, Palgrave Macmillan, 2007, pp. 99-131. Sur le travail d’Isabelle Choinière, cf. l’article d’Enrico Pitozzi à l’intérieur de cette revue.

29 Sur l’application du concept de feedback loop dans le domaine des arts numériques et de l’interaction homme-machine, cf. Katja Kwastek, Aesthetics of interaction in digital art, op. cit., pp. 108-109.

30 Je reprends ici l’expression « geste figuratif » proposée par François Delalande indiquant ces gestes qui font partie du répertoire du musicien mais qui ne sont pas nécessaires à la production sonore (comme par exemple le geste typique du guitariste qui lève la main après avoir joué un accord résonant en suivant avec la main relâchement du son). À ce propos, je renvoie également à la classification fonctionnelle du geste musical proposée dans : Alexander Refsum Jensenius, Rolf Inge Gødoy, Marcelo M. Wanderley, Marc Leman, « Musical Gestures : Concepts and Methods in Research », op. cit.

31 Mark A. Bedau, Paul Humphreys, Emergence : contemporary readings in philosophy and science, Cambridge (Mass.), MIT Press, 2008, pp. 1-7.

Bibliographie

Bedau Mark A., Humphreys Paul, Emergence: contemporary readings in philosophy and science, Cambridge (Mass.), MIT Press, 2008, pp. 1-7

Broadhurst Susan, Digital Practices. Aesthetic and Neuroesthetic Approaches to Performance and Technology, New York, Palgrave Macmillan, 2007, pp. 99-131

Camurri Antonio, MAZZARINO Barbara, VOLPE Gualtiero, RICCHETTI Matteo, TIMMERS Renee, « Multimodal analysis of expressive gesture in music and dance performances », in DIX Alan, FINLAY Janet, ABOWD Gregory D., BEALE Russell (dir.), Human-Computer Interaction, New York, Springer Verlag, 2004, pp. 20-39

De Laubier Serge, « The Meta-Instrument », Computer Music Journal, MIT Press, vol. 22, n° 1, 1998, pp. 25-29

Godøy Rolf Inge, « Gestural Affordances of Musical Sound », in Godøy Rolf Inge, Leman Marc (dir.), Musical Gestures: Sound, Movement and Meaning, London/New York, Routledge, 2010, pp. 103-125

Jaffré Olympe, Danse et nouvelles technologies : enjeux d’une rencontre, Paris, L’Harmattan, 2007

Jensenius Alexander Refsum, Godøy Rolf Inge, Leman Marc, Wanderley Marcelo M., « Musical Gestures: Concepts and Methods in Research », in Godøy Rolf Inge, Leman Marc (dir.), Musical Gestures: Sound, Movement and Meaning, London/New York, Routledge, 2010, pp. 12-35

Jensenius Alexander Refsum, Lyons Michael J. (dir.), A NIME reader. Fifteen years of new interfaces for musical expression, Cham, Springer International Publishing, 2017

Kwastek Katia, Aesthetics of interaction in digital art, Cambridge (Mass.), MIT Press, 2013, pp. 234-240

Laban Rudolf, La maîtrise du mouvement [1950], Arles, Actes Sud, 1994

Machover Tod, Hyperinstruments. A progress report 1987-1991, Cambridge (Mass.), MIT Press, 1992

Medeiros Carolina B, Wanderley Marcelo M., « A Comprehensive Review of Sensors and Instrumentation Methods in Devices for Musical Expression », Sensors, vol. 14, n° 8, 2014, pp. 13556-13591

Miranda Eduardo R., Wanderley Marcelo M., New Digital Musical Instruments: Control and Interaction Beyond the Keyboard, Middleton (Wisconsin), A-R Editions, 2006

Nakamura Jeanne, Csikszentmihályi Mihaly, « Flow Theory and Research », in Snyder Charles R., Lopez Shane J. (dir.), Handbook of Positive Psychology, Oxford, Oxford University Press, 2001, pp. 195-206

Rubidge Sarah, MacDonald Alistair, « Sensuous Geographies : A Multi-User Interactive/Responsive Installation », Digital Creativity, vol. 15, n° 4, 2004, p. 245-252

Simondon Gilbert, Du mode d’existence des objets techniques [1958], Paris, Aubier, 2001

Tanaka Atau, « BioMuse to Bondage: Corporeal Interaction in Performance and Exhibition », in Chatzichristodoulou Maria et Zerihan Rachel, Intimacy: Across Visceral and Digital Performance, New York, Palgrave Mcmillan, 2012, pp. 159-171

Torre Giuseppe, Andersen Kristina, Baldé Frank, « The Hands: The Making of a Digital Musical Instrument », Computer Music Journal, MIT Press, vol. 40, n° 2, 2016, pp. 22-34

Valery Paul, Variété IV, Paris, Gallimard, 1939

Pour citer cet article

Andrea Giomi, « Dérives : la nature émergente du rapport geste-son dans l’improvisation avec les technologies », paru dans Loxias-Colloques, 11. Corps, son et technologies entre théories et pratiques, Troisième partie : Nouvelles technologies en mouvement, Dérives : la nature émergente du rapport geste-son dans l’improvisation avec les technologies, mis en ligne le 24 juillet 2018, URL : http://revel.unice.fr/symposia/actel/index.html?id=1163.


Auteurs

Andrea Giomi

Musicien, artiste numérique et docteur en musique de l’Université Côte d’Azur de Nice, la recherche artistique et scientifique d’Andrea Giomi s’oriente vers les relations entre performance, musique et nouvelles technologies à partir d’une approche phénoménologique et esthétique. Ses travaux portent tout particulièrement sur le développement et l’étude des systèmes d’interaction geste-son pour la performance, l’analyse du mouvement et la pédagogie. En tant que performeur, il s’intéresse également aux processus d’improvisation dans la musique électroacoustique. Il a participé à de nombreux festivals internationaux comme la Biennale Internationale de Design (Saint-Etienne, FR), le NAO Performing Festival (Milan, IT), le Tempo Reale Festival (Florence, IT) l’aCROSS Festival (Plaisir, FR), le Festival Manca (Nice, FR) et le MIRA Festival (Barcelona, ES).