Cette thèse porte sur les relations entre les gestes et les sons. En synthétisant des sons de frottement correspondant à ceux qui sont produits par le mouvement du stylo quand on dessine, nous verrons que ces sons nous permettent de reconnaître les caractéristiques cinématiques de nos gestes juste en les écoutant. Nous verrons que nous pouvons également imaginer dans une certaine mesure la géométrie de la forme dessinée juste en écoutant ces sons. Enfin dans un contexte multimodale, nous verrons que la perception sonore d'un mouvement peut affecter la perception visuelle et la reproduction graphique d'un mouvement donnant lieu à une nouvelle illusion audiovisuelle. Des applications pour la sonification de l'écriture et l'apprentissage de gestes seront également présentées.
Encadrement
-* Directrice : [Sølvi Ystad->auteur40]
-* Co-directrice : [Mitsuko Aramaki->auteur84]
-* Organisme rémunérant: Allocation MESR
Jury
-* Cathy Craig - Queen's University, Belfast - Rapportrice
-* Stephen E. McAdams - McGill University, Montreal - Rapporteur
-* Christophe Bourdin - Aix-Marseille Université, CNRS, Institut des Sciences du Mouvement - Examinateur
-* Edouard Gentaz - Université de Genève - Examinateur
-* Lionel Bringoux - Aix-Marseille Université, CNRS, Institut des Sciences du Mouvement - Invité
-* Richard Kronland-Martinet - CNRS, Laboratoire de Mécanique et d’Acoustique, Aix-Marseille Université - Invité
-* Jean-Luc Velay - CNRS, Laboratoire de Neuroscience Cognitive, Aix-Marseille Université - Invité
-* Sølvi Ystad - CNRS, Laboratoire de Mécanique et d’Acoustique, Aix-Marseille Université - Directrice
-* Mitsuko Aramaki - CNRS, Laboratoire de Mécanique et d’Acoustique, Aix-Marseille Université - Directrice
Résumé
Cette thèse s’est intéressée aux relations entre les mouvements biologiques et la perception sonore en considérant le cas spécifique des mouvements graphiques et des sons de frottement qu’ils génèrent. L'originalité de ces travaux réside dans l'utilisation d'un modèle de synthèse sonore basé sur un principe perceptif issu de l’approche écologique de la perception et contrôlé par des modèles de gestes. Des stimuli sonores dont le timbre n'est modulé que par des variations de vitesse produites par un geste ont ainsi pu être générés permettant de se focaliser sur l'influence perceptive de cet invariant transformationnel. Une première étude a ainsi montré que l'on reconnait la cinématique des mouvements biologiques (la loi en puissance 1/3), et que l'on peut discriminer des formes géométriques simples juste à partir des sons de frottement produits. Une seconde étude a montré l'existence de prototypes dynamiques sonores caractérisant les trajectoires elliptiques, mettant ainsi en évidence que les prototypes géométriques peuvent émerger d'un couplage sensorimoteur. Enfin, une dernière étude a montré qu’une cinématique évoquée par un retour sonore influence significativement la cinématique et la géométrie d’un geste dans une tâche de reproduction graphique du mouvement d’un point lumineux. Ce résultat révèle l'importance de la modalité auditive dans l'intégration multisensorielle des mouvements continus dans une situation jamais explorée. Ces résultats ont permis le contrôle de modèles de synthèse par des descriptions gestuelles et la création d’outils de sonification pour l'apprentissage de gestes et la réhabilitation d'une pathologie motrice, la dysgraphie.