1. COSMO : un modèle bayésien des fondements sensorimoteurs de la perception et de la production de la parole
- Author
-
Jean-Luc Schwartz, Pierre Bessière, Pascal Perrier, Marc-Antoine Georges, Mamady Nabé, Julien Diard, Marie-Lou Barnaud, Raphaël Laurent, Jean-François Patri, Clément Moulin-Frier, GIPSA - Perception, Contrôle, Multimodalité et Dynamiques de la parole (GIPSA-PCMD), GIPSA Pôle Parole et Cognition (GIPSA-PPC), Grenoble Images Parole Signal Automatique (GIPSA-lab), Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP ), Université Grenoble Alpes (UGA)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP ), Université Grenoble Alpes (UGA)-Grenoble Images Parole Signal Automatique (GIPSA-lab), Université Grenoble Alpes (UGA), Institut des Systèmes Intelligents et de Robotique (ISIR), Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Laboratoire de Psychologie et NeuroCognition (LPNC ), Université Savoie Mont Blanc (USMB [Université de Savoie] [Université de Chambéry])-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA), Flowing Epigenetic Robots and Systems (Flowers), Inria Bordeaux - Sud-Ouest, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria), Ce travail a bénéficié du soutien du Multidisciplinary Institute in Artificial Intelligence MIAI@Grenoble-Alpes (ANR-19-P3IA-0003) et du projet ISP Université Grenoble Alpes Bio-Bayes Predictions (ANR-15-IDEX-02, Auvergne-Rhône-Alpes (AURA) Region PAI-19-008112-01 grant)., and ANR-19-P3IA-0003,MIAI,MIAI @ Grenoble Alpes(2019)
- Subjects
motor theories ,perceptual-motor theories ,perceptuo-motrices ,[SCCO.COMP]Cognitive science/Computer science ,Perception ,théories auditives ,production ,auditory theories ,motrices - Abstract
International audience; COSMO ("Communicating Objects by Sensory-Motor Operations") is a framework for jointly modeling speech perception and production by considering sensory-motor relations as a core component of its program. COSMO allows to jointly formalize two major theoretical frameworks in speech research that are auditory and motor theories – but also to integrate them within perceptual-motor theories. This leads to new perception models associating auditory processing and motor knowledge, and new speech motor control models oriented toward the achievement of multimodal sensory goals. We present the main results obtained with COSMO, and perspectives about temporal processing and deep learning implementation allowing to get closer to learning on real data.; Nous avons développé un cadre de modélisation des processus de la communication parlée, COSMO (« Communicating Objects by Sensory-Motor Operations »), qui s'applique à la fois aux modèles de perception et de production de parole en installant les relations sensori-motrices au coeur de son programme. COSMO permet de formaliser conjointement deux cadres théoriques majeurs des recherches sur la communication parlée, les théories auditives et motrices-mais aussi de les intégrer au sein de théories perceptuo-motrices. Ceci conduit ainsi à de nouveaux modèles de perception alliant traitements auditifs et prise en compte de connaissances motrices, ou de nouveaux modèles de contrôle moteur de la parole orientés vers la réalisation de buts sensoriels multimodaux. Nous présentons ces avancées ainsi que des pistes de développement sur le traitement temporel et l'implémentation deep learning permettant d'aller vers l'apprentissage sur des données réelles.
- Published
- 2022