Search

International audience; The automatic prediction of speech intelligibility can be seen as a growing and relevant alternative to the perceptual evaluations used clinically, which are known to be biased, variant and subjective. We propose an automatic way to regress an intelligibility score based on a recurrent model with a self-attention mechanism. This approach not only presented a high correlation of 0.87 when applied to a pseudo-word task designed for head and neck cancers, but also a significant decrease in error of more than 50%, when compared to previous approaches. Moreover, we have also studied the reliability of the same system when operating with smaller amounts of data at inference time. The results suggest that we can reduce the linguistic sample size to only 30% of the full sample, without losing performance. This aspect validates the reliability of using a smaller subset of data when predicting intelligibility, which can be extremely useful to prevent patient's fatigue by creating smaller batteries of clinical exams.

International audience; Infants learn their native language(s) at an amazing speed. Before they even talk, their perception adapts to the language(s) they hear. However, the mechanisms responsible for this perceptual attunement still remain unclear. A long tradition in linguistics points to the importance of specialized language mechanisms that would allow us to quickly and effortlessly learn from the language(s) we are exposed to. However, the currently dominant explanation for perceptual attunement posits that infants apply a domain-general learning mechanism consisting in learning statistical regularities from the speech stream they hear, and which may be found in learning across domains and across species. Critically, the feasibil- ity of employing purely domain-general statistical learning mechanisms has only been demonstrated with computational models on unrealistic and simplified input. This paper presents the first attempt to study perceptual attunement with 2,000 hours of ecological child-centered recordings in American English and Metropolitan French. We show that, when applied on ecologically-valid data, generic learning mecha- nisms develop a language-relevant perceptual space but fail to show evidence for perceptual attunement. It is only when supplemented with domain-specific audio filtering and augmentation mechanisms that computational models show a significant attunement to the language they have been exposed to. Hence, we conclude that, when learning from ecological audio, domain-specific mechanisms may be necessary to guide early language learning in the wild even if the learning itself is done through generic mechanisms. We anticipate our work to be a starting point for ecologically-valid computational models of perceptual attunement in other domains and species.

In recent years, Convolutional Neural Networks (CNN) have proven to be efficient analysis tools for processing point clouds, e.g., for reconstruction, segmentation, and classification. In this article, we focus on the classification of edges in point clouds, where both edges and their surrounding are described. We propose a new parameterization adding to each point a set of differential information on its surrounding shape reconstructed at different scales. These parameters, stored in a Scale-Space Matrix (SSM) , provide a well-suited information from which an adequate neural network can learn the description of edges and use it to efficiently detect them in acquired point clouds. After successfully applying a multi-scale CNN on SSMs for the efficient classification of edges and their neighborhood, we propose a new lightweight neural network architecture outperforming the CNN in learning time, processing time, and classification capabilities. Our architecture is compact, requires small learning sets, is very fast to train, and classifies millions of points in seconds.

International audience; In conventional domain adaptation for speaker diarization, a large collection of annotated conversations from the target domain is required. In this work, we propose a novel continual training scheme for domain adaptation of an end-to-end speaker diarization system, which processes one conversation at a time and benefits from full self-supervision thanks to pseudo-labels. The qualities of our method allow for autonomous adaptation (e.g. of a voice assistant to a new household), while also avoiding permanent storage of possibly sensitive user conversations. We experiment extensively on the 11 domains of the DIHARD III corpus and show the effectiveness of our approach with respect to a pre-trained baseline, achieving a relative 17% performance improvement. We also find that data augmentation and a well-defined target domain are key factors to avoid divergence and to benefit from transfer.

National audience; People with Parkinson’s disease (PD) usually suffer from laryngeal disorders involving fundamental frequency (F0) abnormalities. Despite the large number of studies of F0 on PD patients, no global consensus exists regarding the effects of this disease. This study aims to clarify these effects using a large corpora of read speech containing 320 speakers. The results show an increase in F0 for PD men compared to controls. A decrease in F0 variations is also observed for the patients regardless of gender. We also studied the effect of dopaminergic treatment inducing a slight increase in F0 and reducing the loss of F0 modulations in severely affected patients. Patient age appears to have the same impact on F0 in PD and healthy individuals. Our results are in partial agreement with pathophysiological models and contradict in some aspects studies done on smaller corpora.; Les personnes atteintes de la maladie de Parkinson (MDP) souffrent généralement de troubles d'origine laryngée impliquant des anomalies de fréquence fondamentale (F0). Malgré le nombre important d'études de la F0 chez les patients MDP, aucun consensus global n'existe concernant les effets de cette maladie. Cette étude cherche à clarifier ces effets grâce à un large corpus de parole lue (320 locuteurs). Les résultats montrent une élévation de F0 chez les hommes MDP. Nous observons également une réduction des modulations de F0 chez les patients indépendamment du sexe. L'effet du traitement dopaminergique induit une légère augmentation de F0 et réduit la perte des modulations de F0 chez les patients sévèrement atteints. L'âge des patients semble avoir le même impact sur la F0 des personnes MDP et saines. Nos résultats sont en accord partiel avec les modèles physiopathologiques et contredisent sur certains aspects des études faites sur des corpora plus petits.

International audience; People with Parkinson’s disease (PD) usually suffer from laryngeal disorders involving fundamental frequency (F0) abnormalities. Despite the large number of studies of F0 on PD patients, no global consensus exists regarding the effects of this disease. This study aims to clarify these effects using a large corpora of read speech containing 320 speakers. The results show an increase in F0 for PD men compared to controls. A decrease in F0 variations is also observed for the patients regardless of gender. We also studied the effect of dopaminergic treatment inducing a slight increase in F0 and reducing the loss of F0 modulations in severely affected patients. Patient age appears to have the same impact on F0 in PD and healthy individuals. Our results are in partial agreement with pathophysiological models and contradict in some aspects studies done on smaller corpora.; Les personnes atteintes de la maladie de Parkinson (MDP) souffrent généralement de troubles d’origine laryngée impliquant des anomalies de fréquence fondamentale (F0). Malgré le nombre important d’études de la F0 chez les patients MDP, aucun consensus global n’existe concernant les effets de cette maladie. Cette étude cherche à clarifier ces effets grâce à un large corpus de parole lue (320 locuteurs). Les résultats montrent une élévation de F0 chez les hommes MDP. Nous observons également une réduction des modulations de F0 chez les patients indépendamment du sexe. L’effet du traitement dopaminergique induit une légère augmentation de F0 et réduit la perte des modulations de F0 chez les patients sévèrement atteints. L’âge des patients semble avoir le même impact sur la F0 des personnes MDP et saines. Nos résultats sont en accord partiel avec les modèles physiopathologiques et contredisent sur certains aspects des études faites sur des corpora plus petits.

National audience; ENJEUX DE RECHERCHE, HYPOTHÈSES - Il existe de nombreux services sur le web pour réaliser de la transcription automatique de la parole (Google, Microsoft Bing, IBM, SpeechMatics, Wit…), mais ceux-ci, bien que basés sur d'immenses corpora de fichiers de parole, ne produisent pas de bonnes performances dès que la parole s'éloigne du cadre typique de prononciation. • Il existe de nombreux facteurs pouvant altérer la parole et la faire dévier du cadre standard : les pathologies (personnes atteintes de cancer ORL, de maladies neuro-dégénératives, de troubles de la voix…), les variations liées à l'accent régional/social, les conditions extrêmes liées à des environnements bruités, la production dans des domaines d'applications très spécifiques (conversations dans le cadre de la régulation du transport aérien, consultations dans des cabinets d'orthophonie…) • Ces paroles "atypiques" [1] ne donnent pas de bons résultats de reconnaissances avec ces outils en ligne, les outils disponibles dans les laboratoires de recherche obtiennent de meilleurs résultats [2] - APPROCHES, MATÉRIELS, MÉTHODES - • Mettre en place en 10 mois une plateforme expérimentale • Permettant d’améliorer l’accessibilité des résultats de recherche • Interface et spécifications validées par laboratoire LPL • Recrutement ingénieur « full stack » pour mettre en place le serveur et les services associés - RÉSULTATS OBTENUS - • Plateforme en service o Une interface de démonstration, facilement utilisable : https://paty.irit.fr/demo/ o Un deuxième service permettant le traitement par lots, nécessitant une authentification, la répartition de charge : https://paty.irit.fr/ • Exportation (à différents formats) : o Scores de confiance o Alignements • Modèles disponibles (issus de projets et de travaux de doctorants SAMOVA) : o Grand vocabulaire FR (Abdelwahab Heba) o Grand vocabulaire Common Voice FR (Lila Gravellier) o Phonèmes adultes et enfant FR (Lucile Gelin) o Erreur prononciation (Projet ALAIA) o Alignement Speedvel (Projet ANR LPL)

International audience; Meetings are a common activity in professional contexts, and it remains challenging to endow vocal assistants with advanced functionalities to facilitate meeting management. In this context, a task like active speaker detection can provide useful insights to model interaction between meeting participants. Detection of the active speaker can be performed using only video based on the movements of the participants of a meeting. Depending on the assistant design and each participant position regarding the device, active speaker detection can benefit from information coming from visual and audio modalities. Motivated by our application context related to advanced meeting assistant, we want to combine audio and visual information to achieve the best possible performance. In this paper, we propose two different types of fusion (naive fusion and attention-based fusion) for the detection of the active speaker, combining two visual modalities and an audio modality through neural networks. In addition, the audio modality is mainly processed using neural networks. For comparison purpose, classical unsupervised approaches for audio feature extraction are also used. We expect visual data centered on the face of each participant to be very appropriate for detecting voice activity, based on the detection of lip and facial gestures. Thus, our baseline system uses visual data (video) and we chose a 3D Convolutional Neural Network (CNN) architecture, which is effective for simultaneously encoding appearance and movement. To improve this system, we supplemented the visual information by processing the audio stream with a CNN or an unsupervised speaker diarization system. We have further improved this system by adding visual modality information using motion through optical flow. We evaluated our proposal with a public and state-of-the-art benchmark: the AMI corpus. We analysed thecontribution of each system to the merger carried out in order to determine if a given participant is currently speaking. We also discussed the results we obtained. Besides, we have shown that, for our application context, adding motion information greatly improves performance. Finally, we have shown that attention-based fusion improves performance while reducing the standard deviation.

National audience; Présentation des recherches sur l'évaluation automatique de l'intelligibilité pour des patients présentant une atteinte de la voix dans l'équipe SAMOVA de l'IRIT.

National audience; Contexte L’évaluation de l’intelligibilité de la parole est majoritairement menée de façon perceptive en clinique courante. Ce type d’évaluation présente de nombreuses limites en termes de reproductibilité inter et intra-juges. Mais le développement récent de systèmes de reconnaissance automatique de la parole (RAP) peut permettre de pallier ces biais. La question de leur utilisation dans le cadre de l’évaluation de la parole des patients traités pour un cancer de la cavité buccale ou de l’oropharynx se pose.Objectif Prédire l’intelligibilité de la parole post-traitement d’un cancer oral ou oropharyngé au moyen de scores issus d’un système de RAP.Méthodes La parole spontanée (entretien semi-dirigé) de patients a été enregistrée. Un jury d’experts a évalué l’intelligibilité des sujets de façon perceptive pour obtenir le score de référence. Puis, un système de RAP de type TDNN-HMM factorisé (Time-delay neural network, hidden markov model), appris sur de la parole adulte saine, a été utilisé. Les sorties de ce système, sous la forme d’une liste de phonèmes reconnus par sujet, ont permis de calculer différents scores : inventaire phonémique, nombre de types de classes phonétiques reconnues par seconde, score de confiance associé aux phonèmes reconnus. Une modélisation statistique (régression LASSO) a permis de sélectionner les paramètres issus du système de RAP prédisant le mieux l’intelligibilité.Résultats La parole spontanée de 25 patients a été enregistrée (âge médian 67 ans, EIQ 12 ; 15 hommes, 10 femmes ; cavité buccale 14, oropharynx 10, deux localisations 1). La régression LASSO a permis de conserver les 3 paramètres les meilleurs prédicteurs : le nombre de sonantes reconnues par seconde, le taux d’occlusives reconnues et le score de confiance moyen du système quant à la reconnaissance des fricatives. Ces 3 paramètres aboutissent à une corrélation à 0,91 avec le score d’intelligibilité attribué par le jury d’experts. Ce score automatiquement prédit est stable et fiable (validation croisée à 5 blocs : corrélation à 0,90).Conclusion L’utilisation de systèmes de RAP dans la mesure de l’intelligibilité de la parole en cancérologie ORL est prometteuse. Une réflexion sur une optimisation de ces systèmes pour la parole pathologique ouvrirait de nouvelles perspectives quant à la détermination de déficits de parole fins pour adapter les objectifs thérapeutiques.

International audience; Nowadays, every car maker is thinking about the future of mobility. Electric vehicles, autonomous vehicles and sharing vehicles are one of the most promising opportunities. The lack of authority in autonomous and sharing vehicles raises different issues from which one of the main issues is passenger safety. To ensure it, new systems able to understand interactions and possible conflicts between passengers have to be designed. They should be able to predict critical situations in the car cockpit, and alert remote controllers to act accordingly. In order to better understand the features of these insecure situations, we recorded an audio-video dataset in real vehicle context. Twenty-two participants playing three different scenarios (“curious”, “argued refusal” and “not argued refusal”) of interactions between a driver and a passenger were recorded. We propose a deep learning model to identify conflict situations in a car cockpit. Our approach achieves a balanced accuracy of 81%. Practically, we highlight the importance that combining multimodality namely video, audio and text as well as temporality are the keys to perform such accurate predictions in scenario recognitinn.

Nowadays, every car maker is thinking about the future of mobility. Electric vehicles, autonomous vehicles and sharing vehicles are the most promising opportunities. The lack of control authority in autonomous and sharing vehicles raises different issues like the passenger safety. To ensure it, new systems able to understand interactions and possible conflicts between passengers have to be designed. They should be able to predict and trigger with high accuracy, an alert to a remote controller before a critical situation happens in the cockpit. In order to better understand the features of these insecure situations, we recorded an audio-video dataset in real vehicle context. Twenty-two participants playing three different scenarios ("curious","argued refusal" and "not argued refusal") of interactionsbetween a driver and a passenger were recorded. We propose a deep learning approach which achieves a balanced accuracy of 81%. Practically, we highlight that combining multimodality, namely video, audio and text as well as temporality are the keys to perform such accurate predictions in scenario recognition., Aujourd'hui, les constructeurs automobiles se concentrent sur l'avenir de la mobilité. Les véhicules électriques, les véhicules autonomes et les véhicules partagés sont les opportunités les plus prometteuses.Le manque d'autorité dans les véhicules partagés soulève différents problèmes comme la sécurité des passagers. Pour garantir cette dernière, il faut concevoir de nouveaux systèmes capables de comprendre les interactions et les conflits éventuels entre les passagers, avant qu'une situation critique ne se produise dans le cockpit.Afin de mieux comprendre les caractéristiques de ces situations d'insécurité, nous avons enregistré un corpus audio-vidéo dans un contexte de véhicule réel. Vingt-deux participants jouant trois différents scénarios (« curieux », « refus argumenté » et « refus non argumenté ») d'interactions entre un conducteur et un passager ont été enregistrés.Notre approche, basée sur de l'apprentissage profond, atteint une précision de 81%. Nous démontrons que la combinaison des modalités vidéo/audio/texte et la temporalité permettent d'améliorer les prédictions de reconnaissance de scénarios in situ.

International audience; In this paper, we report experiments in which we aim to automatically classify primate vocalizations according to four primate species of interest, plus a background category with forest sound events. We compare several standard deep neural networks architectures: standard deep convolutional neural networks (CNNs), MobileNets and ResNets. To tackle the small size of the training dataset, less than seven thousand audio files, the data augmentation techniques SpecAugment and MixUp proved to be very useful. Against the very unbalanced classes of the dataset, we used a balanced data sampler that showed to be efficient. An exponential moving average of the model weights allowed to get slight further gains. The best model was a standard 10-layer CNN, comprised of about five million parameters. It achieved a 93.6% Unweighted Average Recall (UAR) on the development set, and generalized well on the test set with a 92.5% UAR, outperforming an official baseline of 86.6%. We quantify the performance gains brought by the augmentations and training tricks, and report fusion and classification experiments based on embeddings that did not bring better results.

International audience; The temporal dimension of speech acoustics is rarely taken into account in automatic models for Speech Intelligibility evaluation, although the rhythmic recurrence of phonemes, syllables and prosodic groups are allegedly good predictors of speech intelligibility. The present study aims at unravelling those automatic parameters that best account for the different levels of the speech signal's rhythmic structure, and to evaluate their correlation with a perceptual intelligibility measure. The parameters are extracted from the Fourier Transform of the amplitude modulation of the signal (Envelope Modulation Spectrum) [1, 2]. A Lasso linear model for feature selection is first implemented to select the most relevant parameters, and a SVR regression analysis is run to reveal the best parameters' combination. Our analyses of EMS, using data from the French corpora of cancer speech C2SI [3], show strong performances of the automatic prediction, with a correlation of 0.70 between our model and an intelligibility evaluation score by speech-pathologists. In particular, the highest correlation with speech intelligibility lies in the ratio between the energy in the low frequency band (0.5-4 Hz that represents slow rhythmic modulations indicative of prosodic groups) and in the higher one (4-10 Hz that represents fast rhythmic modulations like phonemes).

Background The development of automatic tools based on acoustic analysis allows to overcome the limitations of perceptual assessment for patients with head and neck cancer. The aim of this study is to provide a systematic review of literature describing the effects of oral and oropharyngeal cancer on speech intelligibility using acoustic analysis. Methods Two databases (PubMed and Embase) were surveyed. The selection process, according to the preferred reporting items for systematic reviews and meta‐analyses (PRISMA) statement, led to a final set of 22 articles. Results Nasalance is studied mainly in oropharyngeal patients. The vowels are mostly studied using formant analysis and vowel space area, the consonants by means of spectral moments with specific parameters according to their phonetic characteristic. Machine learning methods allow classifying “intelligible” or “unintelligible” speech for T3 or T4 tumors. Conclusions The development of comprehensive models combining different acoustic measures would allow a better consideration of the functional impact of the speech disorder.

International audience; The paper focuses on the development of cooperation between University Toulouse III-Paul Sabatier (UPS, newly UT3) and Technical University of Liberec (TUL), culminating in the completion of the Double Degree Master's program "Engineering of Interactive Systems" (2009-2015) and "Computer Science for Aerospace" (2017-2021). The development of the International doctoral workshop ECMS(M) uses the patronage of IEEE.

Références bibliographiques[1] MEYER, TK., KUHN, JC., CAMPBELL, BH., MARBELLA, AM., MYERS, KB., LAYDE, PM. Speech intelligibility and quality of life in head and neck cancer survivors. Laryngoscope 2004;114:1977–81. https://doi.org/10.1097/01.mlg.0000147932.36885.9e. [2] BOLT, S., EADIE, T., YORKSTON, K., BAYLOR, C., AMTMANN, D. Variables associated with communicative participation after head and neck cancer. JAMA Otolaryngol - Head Neck Surg 2016;142:1145–51. https://doi.org/10.1001/jamaoto.2016.1198. [3] BALAGUER, M., FARINAS, J., FICHAUX-BOURIN, P., PUECH, M., PINQUIER, J., WOISARD, V. Validation of the French Versions of the Speech Handicap Index and the Phonation Handicap Index in Patients Treated for Cancer of the Oral Cavity or Oropharynx. Folia Phoniatr Logop 2019:1–14. https://doi.org/10.1159/000503448. [4] MAZAUX, J-M., DAVIET, J-C., DARRIGRAND, B., STUIT, A., MULLER, F., DUTHEIL, S., et al. Difficultés de communication des personnes aphasiques. Évaluation Des Troubl Neuropsychol En Vie Quotidienne 2006:73–82. https://doi.org/10.1007/2-287-34365-2_8.[5] LETANNEUX, A., WALSHE, M., VIALLET, F., PINTO, S. The Dysarthria Impact Profile: A Preliminary French Experience with Parkinson’s Disease. Park Dis 2013;2013.[6] BALAGUER, M., CHEMPENOIS, M., FARINAS, J., PINQUIER, J., WOISARD, V. The (head and neck) carcinologic handicap index: validation of a modular type questionnaire and its ability to prioritise patients’ needs. Eur Arch of Oto-Rhino-Laryngology 2020. https://doi.org/10.1007/s00405-020-06201-6 [7] GROENVOLD, M., KLEE, M.C., SPRANGERS, M.A., AARONSON, N.K. Validation of the EORTC QLQ-C30 quality of life questionnaire through combined qualitative and quantitative assessment of patient-observer agreement. J Clin Epidemiol 1997;50(4):441-50. https://doi.org/10.1016/s0895-4356(96)00428-3 [8] ROSCOE, B.A., HOPKE, P.K., DATTNER, S.L., JENKS, M. The Use of Principal Component Factor Analysis to Interpret Particulate Compositional Data Sets. J Air Pollut Control Assoc 1982;32(6):637-642. https://doi.org/10.1080/00022470.1982.10465439; International audience; En cancérologie ORL, de nombreux outils perceptifs et automatiques existent à l’heure actuelle pour mesurer le trouble de la parole, mais peu permettent d’évaluer l’impact du trouble sur les capacités de communication [1,2]. Quelques autoquestionnaires sont disponibles pour évaluer les limitations d’activités et les restrictions de participation, comme le PHI [3]. D’autres outils permettent une évaluation de la dynamique communicationnelle [4, 5], mais ne sont pas validés en cancérologie. Ces différents outils aboutissent à des scores globaux additifs ou moyennés, peu représentatifs des limitations de communication réellement perçues par les patients. L’objectif est ici de construire un score holistique permettant de représenter au mieux l’impact fonctionnel sur la communication des troubles de la parole chez les patients traités pour un cancer de la cavité buccale ou de l’oropharynx. Différents questionnaires et auto-questionnaires concernant la dynamique communicationnelle, l’impact pluridimensionnel du trouble de la parole, le handicap de parole perçu ou la qualité de vie relative à la parole [3-7] ont été proposés à 25 patients (âge médian 67 ans, EIQ 12 ; 15 hommes, 10 femmes ; cavité buccale : 14, oropharynx : 10, deux localisations : 1). Deux cent dix items issus des questionnaires ont été recueillis comme indicateurs du score holistique de communication (variable latente). Une méthodologie de réduction de dimensionnalité a été ensuite appliquée pour construire un score quantitatif. La validité d’apparence a permis d’éliminer les items non pertinents : un comité d’experts de différentes disciplines concernées par la communication (sciences du langage, médecine, informatique et traitement du signal, orthophonie) a été sondé pour définir les critères d’inclusion des items dans notre score holistique. Puis, une étude de la validité de construit, au moyen d’une matrice de corrélation inter-items, a permis d’éliminer les items redondants et insuffisamment variables pour obtenir un score permettant la discrimination inter-individuelle sur l’impact communicationnel. Enfin une analyse factorielle en principal-component factor [8] a été appliquée, suivie d’une prédiction des scores post-analyse et un changement d’échelle. La validation croisée à cinq blocs montre une stabilité de cet indicateur holistique. La fiabilité temporelle de ce score reste encore à analyser, mais cette étude a permis d’élaborer un score global permettant une mesure de l’impact du trouble de parole après traitement d’un cancer oral ou oro-pharyngé sur la communication. Il permet de combler l’absence de ce type d’outils en cancérologie ORL, et peut autoriser une meilleure appréhension de la qualité de vie relative à la parole.

Recently, a number of semi-supervised learning (SSL) methods, in the framework of deep learning (DL), were shown to achieve state-of-the-art results on image datasets, while using a (very) limited amount of labeled data. To our knowledge, these approaches adapted and applied to audio data are still sparse, in particular for audio tagging (AT). In this work, we adapted the Deep-Co-Training algorithm (DCT) to perform AT, and compared it to another SSL approach called Mean Teacher (MT), that has been used by the winning participants of the DCASE competitions these last two years. Experiments were performed on three standard audio datasets: Environmental Sound classification (ESC-10), UrbanSound8K, and Google Speech Commands. We show that both DCT and MT achieved performance approaching that of a fully supervised training setting, while using a fraction of the labeled data available, and the remaining data as unlabeled data. In some cases, DCT even reached the best accuracy, for instance, 72.6% using half of the labeled data, compared to 74.4% using all the labeled data. DCT also consistently outperformed MT in almost all configurations. For instance, the most significant relative gains brought by DCT reached 12.2% on ESC-10, compared to 7.6% with MT. Our code is available online1.

International audience; Multi-label audio tagging consists of assigning sets of tags to audio recordings. At inference time, thresholds are applied on the confidence scores outputted by a probabilistic classifier, in order to decide which classes are detected active. In this work, we consider having at disposal a trained classifier and we seek to automatically optimize the decision thresholds according to a performance metric of interest, in our case F-measure (micro-F1). We propose a new method, called SGL-Thresh for Surrogate Gradient Learning of Thresholds, that makes use of gradient descent. Since F1 is not differentiable, we propose to approximate the thresholding operation gradients with the gradients of a sigmoid function. We report experiments on three datasets, using state-of-the-art pre-trained deep neural networks. In all cases, SGL-Thresh outperformed three other approaches: a default threshold value (defThresh), an heuristic search algorithm and a method estimating F1 gradients numerically. It reached 54.9\% F1 on AudioSet eval, compared to 50.7% with defThresh. SGL-Thresh is very fast and scalable to a large number of tags. To facilitate reproducibility, data and source code in Pytorch are available online: https://github.com/topel/SGL-Thresh

CBMI 2018 was organized in cooperation with the IEEE Signal Processing Society and the European Association for Signal Processing (EURASIP); International audience

National audience; Entre 2007 et 2016, le nombre de cancers de la cavité buccale et du pharynx combinés a augmenté, avec une incidence de 3 % aux États-Unis chaque année [1]. De nombreuses autres pathologies peuvent entraîner des troubles de la parole en influant sur les mécanismes de production de la parole [2]. Cela peut réduire la qualité de vie des patients affectés [3]. Pour quantifier l'impact de ces pathologies sur la production de la parole, il est courant d'utiliser des scores qui reflètent l'intelligibilité de la production et l'indice de sévérité de la parole. Ils mesurent l'impact des pathologies. Ainsi, ces scores ne mesurent pas la qualité du signal audio, mais la capacité des patients à produire des sons intelligibles. Les experts obtiennent ces scores en écoutant leurs patients. La familiarité avec les patients et l'habitude d'entendre la voix pathologique peuvent influencer ce score [4]. Afin d'augmenter la stabilité de la mesure, celle-ci peut être traitée par un groupe d'experts [5]. Néanmoins, le fait de demander à un groupe d'obtenir un score objectif complique le suivi des patients. L'utilisation d'un outil automatique, calculé par un ordinateur sur un échantillon de discours enregistré, pourrait fournir un moyen objectif et libérer du temps pour les experts. Dans notre étude, nous proposons une nouvelle méthode non supervisée utilisant un modèle appris sur la parole standard en Anglais. Nous proposons un formalisme basé sur des caractéristiques de la parole qui produisent un score de sévérité. Cette méthode, utilisant l’encodeur PASE+[6], s’inspire du modèle Inception [7] (modèle de réseau de neurones profonds, généralement utilisé en vision par ordinateur pour évaluer la qualité des images générées où les locuteurs sont ici considérés comme des générateurs). Cette approche, bien que fondée sur un modèle en Anglais, nous donne d’excellents résultats sur les données en Français de lecture du corpus de voix pathologiques C2SI [8]. En effet, une corrélation de Spearman de 0,87 est obtenue par rapport à l'indice de sévérité, réalisé manuellement par un groupe d'experts cliniques (voir figure 1). Notons que la mesure de sévérité est très corrélée (> 0,91) avec la mesure d’intelligibilité [9]. Nous arrivons à des résultats comparables avec ceux obtenus par des méthodes qui ont réalisé un apprentissage sur les données du corpus [10,11]. La corrélation élevée et le fait que cette méthode ne nécessite aucun apprentissage sur des enregistrements de voix pathologiques, nous permettent d'envisager des applications cliniques intéressantes.

International audience

National audience; La mesure de la fréquence fondamentale (F0) est un élément essentiel du traitement automatique de la parole, notamment dans le cadre de l'étude de la prosodie. Il est crucial d'avoir une bonne estimation de ce paramètre. De nombreux algorithmes d'estimation de la F0 fournissent de bonnes approximations sur de la parole saine, cependant les performances de ces algorithmes ne sont pas connues dans le cadre de la parole pathologique. L'objectif ici est de tester plusieurs algorithmes sur des enregistrements de personnes atteintes de cancers des voies aérodigestives supérieures (VADS) ainsi que de la Maladie de Parkinson afin de savoir quels algorithmes sont les plus aptes à être utilisés pour de futures études sur ces pathologies. Nous avons retenu 12 algorithmes de détection de F0 en se basant en partie sur une récente étude [9] ayant comparé ces algorithmes pour la parole bruitée. Nous avons ajouté plusieurs algorithmes basés sur des réseaux de neurones profonds ainsi qu’un vote médian entre plusieurs algorithmes (cf. tableau 1). Les enregistrements sont issus du projet RUGBI, contenant des patients atteints de cancer VADS [15] et des patients atteints de la Maladie de Parkinson [8]. Nous avons sélectionné 24 enregistrements (8 sains, 8 cancers, et 8 Parkinson) correspondant à une tâche de lecture. Les enregistrements présentant les plus grosses déficiences au niveau de la F0 ont été choisis en se basant sur des annotations d’experts. La F0 de référence a été obtenue via une correction manuelle de l’alignement des pics glottaux automatiquement annotés par le logiciel Praat [3] comme illustré sur la Figure 1. Chaque algorithme a été évalué selon sa capacité à déterminer si une zone de parole est voisée ou non ainsi que selon sa capacité à calculer une estimation proche de la F0 de référence [9]. Les résultats obtenus sont décrits dans le Tableau 1. Les algorithmes se basant sur le domaine temporel du signal proposent de bons résultats sur la détection de voisement : ACF [2], AMDF [13] et REAPER (score aux alentours de 5% d’erreurs que ce soit pour la parole pathologique ou saine). Concernant la précision des estimations de la F0, ce sont les algorithmes basés sur des réseaux neuronaux qui procurent les meilleurs résultats avec environ 1% d’erreurs grossières sur la parole cancer pour FCN-F0 et moins de 0.5% sur la parole saine et Parkinsonienne. Le vote médian est le meilleur compromis entre détection de voisement et estimation de la F0.

International audience; Les dysfonctionnements cognitifs sont fréquemment signalés par les patients qui souffrent d'une pathologie neurologique. Parmi les difficultés cognitives rapportées, nous retrouvons des troubles du langage appelés aphasie. Ceux-ci peuvent se révéler invalidant dans la vie quotidienne, véritable « handicap invisible », bien réel pour les patients. L'identification des troubles phasiques nécessite une évaluation spécifique par le biais de tests lexicaux, évaluant l'accès aux mots. La plupart des tests utilisés en routine clinique-fluence verbale, dénomination-mesurent l'exactitude via un score de bonnes réponses mais peu fréquemment le temps de réaction. Au vu de la complexité des processus cognitifs en jeu lors de la réalisation de ces tâches, une analyse qualitative rigoureuse est essentielle afin de mettre à jour les stratégies de réponse de chaque patient. Dans ce contexte, l’utilisation de tests informatisés constitue une piste intéressante. Ainsi, une première collaboration entre les équipes SAMoVA, ToNIC et Octogone-Lordat a permis d’envisager un outil de traitement informatisé de trois tâches d’évaluation lexicale (fluence verbale [1][2], dénomination d’image et génération verbale [3]) et a conduit à un premier développement du logiciel EVOLEX [4][5]. En s’appuyant sur une plateforme logicielle full-web mise au point par le partenaire COVIRTUA Healthcare, l’équipe a ensuite développé une version plus complète et facile d’utilisation. Les thérapeutes peuvent désormais faire passer les tâches et corriger si nécessaire (cas de parole très altérée) les réponses fournies par les participants à l’aide d’un navigateur web, nécessitant seulement une connexion à internet. Les fichiers sonores recueillis sont envoyés de manière sécurisée sur un serveur distant de l’IRIT et sont traités automatiquement. En quelques instants, les thérapeutes peuvent visualiser les résultats. Le système de reconnaissance vocale, donnant à la fois la transcription du mot identifié et le temps de réponse du patient, est basé sur les techniques de réseaux de neurones profonds avec l’outil Kaldi [6]. La performance du moteur est excellente avec un taux d’erreur de mots proche de 10%. Le résultat de l’analyse est présenté via une interface logicielle intuitive, permettant la relecture, l’identification rapide des doutes de la transcription, et, le cas échéant, la modification manuelle par le thérapeute (voir Figure 1). Cette utilisation de la reconnaissance vocale, appliquée à des outils d’évaluation cognitive dans le cadre de pathologies neurologiques permet une recherche translationnelle à l’interface de la clinique neurologique, orthophonique et neuropsychologique d’une part, et celui de la recherche fondamentale en psycholinguistique et en reconnaissance vocale d’autre part.

This thesis focuses on the use of artificial intelligence (AI) for music recommendation as a prediction of music tastes. Our research focused on the study of musical tastes, the process of music recommendation and the place of humans in this process. We were interested in the relevance of the data used for music recommendation: behavioral data on the one hand, often supposed to reflect user affinities; song descriptors, used for content-based recommendation on the other hand. The proposed approach was based in particular on work in the human sciences and musicology. The issues are focused on the prediction of musical tastes, in a field where there are many uncertainties around the explainability of these tastes: - What elements influence musical tastes? What are the links between musical genres and listeners' tastes in music? - Is the music recommendation a taste prediction? How is behavioral data interpreted by streaming platforms? Does the behavior really reflect musical tastes? - Are the acoustic parameters learned by a convolutional neural network for automatic genre recognition relevant for the prediction of musical tastes? What determining factors in musical affinity is a convolutional neural network able to identify in a spectrogram? The first chapter presents our study of musical tastes, their links with genres and the contextual parameters that can influence listening to music. This study links conclusions from our bibliography and data from a streaming platform. In the second chapter, we looked at the data, methods, and evaluation modes used by streaming platforms for recommendation. We have also proposed a method to link acoustic parameters to a human categorization, for a personalized music recommendation. The third chapter presents a taste prediction method based on the conclusions of the previous chapters. This method is based on pre-trained deep convolutional neural networks for genre prediction. An offline evaluation process brought satisfactory results (more than 70% accuracy) which were confirmed by a human evaluation: 100% success on a third of the volunteers, more than 77% average accuracy. Finally, a qualitative study of the results provides ideas for improvement of the proposed system.; Cette thèse a pour objet l'utilisation de l'intelligence artificielle (IA) pour la recommandation de musique en tant que prédiction de goûts. Notre recherche s'est focalisée sur l'étude des goûts musicaux, du fonctionnement de la recommandation de musique et de la place de l'humain dans ce processus. Nous nous sommes intéressés à la pertinence des données utilisées pour la recommandation de musique : les données comportementales d'une part, souvent supposées traduire les affinités des utilisateurs ; les descripteurs des morceaux, utilisés pour la recommandation basée sur le contenu d'autre part. La démarche proposée s'est notamment appuyée sur des travaux en sciences humaines et en musicologie. Les problématiques sont focalisées sur la prédiction des goûts musicaux, dans un domaine où les incertitudes autour de l'explicabilité de ces goûts sont nombreuses : - Quels éléments influencent les goûts musicaux ? Quels sont les liens entre les genres musicaux et les goûts des auditeurs en matière de musique ? - La recommandation de musique est-elle une prédiction de goûts ? Comment les données comportementales sont-elles interprétées par les plateformes de streaming ? Le comportement traduit-il vraiment des goûts musicaux ? - Les paramètres acoustiques appris par un réseau de neurones convolutionnels pour la reconnaissance automatique de genre sont-ils pertinents pour la prédiction de goûts musicaux ? Quels facteurs déterminants dans l'affinité musicale un réseau de neurones convolutionnels est-il capable d'identifier dans un spectrogramme ? Le premier chapitre présente notre étude des goûts musicaux, leurs liens avec les genres et les paramètres contextuels qui peuvent influencer l'écoute de musique. Cette étude met en relation des conclusions issues de notre bibliographie et des données provenant d'une plateforme de streaming. Dans le second chapitre, nous nous sommes intéressés aux données, aux méthodes, et aux modes d'évaluation employées par les plateformes de streaming pour la recommandation. Nous avons également proposé une méthode afin de lier des paramètres acoustiques à une catégorisation humaine, en vue d'une recommandation de musique personnalisée. Le troisième chapitre présente une méthode de prédiction de goûts mise au point en nous appuyant sur les conclusions des chapitres précédents. Cette méthode est basée sur des réseaux de neurones convolutionnels profonds pré-entraînés pour la prédiction de genres. Un processus d'évaluation hors ligne a apporté des résultats satisfaisants (plus de 70% de précision) qui ont été confirmés par une évaluation humaine : 100% de réussite sur un tiers des volontaires, plus de 77% précisions moyenne. Enfin, une étude qualitative des résultats apporte des pistes d'améliorations du système proposé.

At Linagora, the OpenPaasNG project was launched in 2015 for a period of 4 years with the purpose of building a new generation of collaborative platform which provides a videoconferencing tool using artificial intelligence technologies such as speech transcription, keyword extraction and automatic meeting summary. In this context, my industrial thesis tackled Automatic Speech Recognition (ASR) for virtual meetings in real time and offline.This thesis deals with the study of acoustic modeling methods for ASR. The upheaval of sequential neural architectures has nowadays allowed major advances in the improvement of modeling and learning of acoustic models. I explored in this work the two main families of RAP systems: hybrid and End-to-End systems.A first part of this thesis concerns traditional approaches and is dedicated to the implementation of a large vocabulary RAP system in French for spontaneous speech, which has been deployed in several industrial use cases. A large work of data collection, processing and standardization was carried out in a first step to reach the goal of 1000 hours of annotated speech. An evaluation of the acoustic, lexical and linguistic components is proposed to refine the choice and orientation of the hybrid DNN-HMM modeling for the French language. I proposed for this part an industrial platform for the adaptation of hybrid components called "LinSTT Model Factory" allowing an adaptation of the models to the conditions of use, namely: a particular acoustic context, a vocabulary specific to a target domain.In a second part, I approached the problem of automatically transcribing speech directly from acoustic observations. To do so, I conducted an in-depth study of the End-to-End RAP approaches: how can we learn sequential alignments between audio and text? What type of architecture to use? And especially, what type of output units to choose (character, word piece, word)? I tried to answer to these questions with a set of experiments on the TIMIT and LibriSpeech datasets. A large part of this work has been conducted during a scientific stay at the Mila laboratory in Canada, where I actively contributed to the development of the open-source tool "SpeechBrain".In a third part, I report multi-task learning experiments using end-to-end systems in order to exploit several output representations, in our case characters and consonant / vowel categories. I proposed a new technique of combining thses representations for improving recognition performance.; Ma thèse s'inscrit dans le cadre du projet de recherche OpenPaasNG. qui a été lancé en 2015 pour une durée de 4 ans avec l’objectif de développer une nouvelle génération de plateforme collaborative proposant un outil de visio-conférence utilisant des technologies d'intelligence artificielle pour la transcription de la parole, l'extraction des mots clés et le résumé automatique des réunions. Dans ce contexte, l’objectif de cette thèse est d’étudier, d’approfondir, de construire et d’enrichir la brique de reconnaissance automatique de la parole (RAP) pour aider à l'exploitation de l'information verbale durant les réunions en temps réel et en off-line à des fins d'archivage.Cette thèse porte sur l'étude des méthodes de modélisation acoustique pour la RAP. Le bouleversement des architectures neuronales séquentielles ont permis de nos jours des avancées majeures dans l'amélioration de la modélisation et l'apprentissage du modèle acoustique. Nous explorons dans ce travail les deux grandes familles des systèmes RAP à savoir : les approches traditionnelles hybrides et End-to-End.Une première partie de cette thèse concerne les approches traditionnelles et est dédiée à la mise en place d'un système RAP large vocabulaire en français pour la parole spontanée, déployé dans le contexte industriel. Un grand travail de collecte de données, de traitement et de normalisation a été effectué dans un premier temps pour atteindre l'objectif des 1000 heures de parole annotée. Une évaluation des composants acoustique, lexical et linguistique est proposée pour affiner au mieux le choix et l'orientation de la modélisation hybride DNN-HMM pour la langue française. Nous décrivons dans cette partie le développement de la plateforme industrielle d'adaptation des composants hybrides appelée ``LinSTT Model Factory'' permettant une adaptation des modèles aux conditions d'utilisations, à savoir : un contexte acoustique particulier, un vocabulaire spécifique à un domaine cible.Dans une deuxième partie, nous abordons la problématique de prédiction de représentation textuelle directement à partir des observations acoustiques. Pour cela, nous effectuons une étude approfondie des approches RAP End-to-End : comment pouvons nous apprendre des alignements séquentiels entre l'audio et le texte ? Quel type d'architecture utiliser ? Et surtout, quel type d'unités en sortie choisir (caractère, pièce de mot, mot) ? Nous répondons à ces questions avec un ensemble d'expérience sur les corpus TIMIT et LibriSpeech. Ces travaux ont été, dans une grande partie, menés au cours d'un séjour scientifique au laboratoire du Mila au Canada dans le cadre du développement de l'outil open-source "SpeechBrain".Dans une troisième partie, nous explorons des approches multi-tâche sur les systèmes RAP End-to-End afin d'exploiter plusieurs représentations textuelles, dans notre cas, des sorties caractères et des sorties consonnes/voyelles. Nous avons proposé une nouvelle technique de combinaisons des représentations textuelles pour l'amélioration des performances de reconnaissance.

Automatic recognition systems for child speech are lagging behind those dedicated to adult speech in the race of performance. This phenomenon is due to the high acoustic and linguistic variability present in child speech caused by their body development, as well as the lack of available child speech data. Young readers speech additionally displays peculiarities, such as slow reading rate and presence of reading mistakes, that hardens the task. This work attempts to tackle the main challenges in phone acoustic modelling for young child speech with limited data, and improve understanding of strengths and weaknesses of a wide selection of model architectures in this domain. We find that transfer learning techniques are highly efficient on end-to-end architectures for adult-to-child adaptation with a small amount of child speech data. Through transfer learning, a Transformer model complemented with a Connectionist Temporal Classification (CTC) objective function, reaches a phone error rate of 28.1%, outperforming a state-of-the-art DNN-HMM model by 6.6% relative, as well as other end-to-end architectures by more than 8.5% relative. An analysis of the models' performance on two specific reading tasks (isolated words and sentences) is provided, showing the influence of the utterance length on attention-based and CTC-based models. The Transformer+CTC model displays an ability to better detect reading mistakes made by children, that can be attributed to the CTC objective function effectively constraining the attention mechanisms to be monotonic., 16 pages, 8 figures

Cet article porte sur l’illustration d’une sélection d’indices acoustiques afin de mesurer de manière objective les particularités de la parole dysarthrique, en tentant de dégager des tendances concernant la Maladie de Parkinson idiomatique, l’Atrophie Multi-systématisée et la paralysie supra nucléaire progressive. Les analyses statistiques se basent sur l’exploitation de deux corpus importants incluant des témoins et patients, dont l’un est issu du programme ANR Voice4PD. Nous étudions en particulier trois épreuves : une voyelle tenue, une répétition de syllabes et une phrase d’un texte lu. De l’analyse des différentes dégradations observées, nous pouvons extraire quelques caractéristiques permettant de différentier la parole dysarthrique et la parole normale, et tentons de dégager quelques tendances spécifiques aux syndromes étudiés.

International audience; Meetings are a common activity that provide certain challenges when creating systems that assist them. Such is the case of the Speaker recognition, which can provide useful information for human interaction modeling, or human-robot interaction. Speaker recognition is mostly done using speech, however, certain visual and contextual information can provide additional insights. In this paper we propose a speaker detection framework that integrates audiovisual features with social information, from the meeting context. Visual cue is processed using a Convolutional Neural Network (CNN) that captures the spatio-temporal relationships. We analyse several CNN architectures with both cues: raw pixels (RGB images) and motion (estimated with optical flow). Contextual reasoning is done with an original methodology, based on the gaze of all participants. We evaluate our proposal with a public benchmarks in state-of-art: AMI corpus. We show how the addition of visual and context information improves the performance of the speaker recognition.

International audience; Discourse segmentation, the first step of discourse analysis, has been shown to improve results for text summarization, translation and other NLP tasks. While segmentation models for written text tend to perform well, they are not directly applicable to spontaneous, oral conversation, which has linguistic features foreign to written text. Segmentation is less studied for this type of language, where annotated data is scarce, and existing corpora more heterogeneous. We develop a weak supervision approach to adapt, using minimal annotation, a state of the art discourse segmenter trained on written text to French conversation transcripts. Supervision is given by a latent model bootstrapped by manually defined heuristic rules that use linguistic and acoustic information. The resulting model improves the original segmenter, especially in contexts where information on speaker turns is lacking or noisy, gaining up to 13% in F-score. Evaluation is performed on data like those used to define our heuristic rules, but also on transcripts from two other corpora.

National audience

International audience; Background: Speech disorders impact quality of life for patients treated with oral cavity and oropharynx cancers. However, there is a lack of uniform and applicable methods for measuring the impact on speech production after treatment in this tumor location. Objective: The objective of this work is to (1) model an automatic severity index of speech applicable in clinical practice, that is equivalent or superior to a severity score obtained by human listeners, via several acoustics parameters extracted (a) directly from speech signal and (b) resulting from speech processing and (2) derive an automatic speech intelligibility classification (i.e., mild, moderate, severe) to predict speech disability and handicap by combining the listener comprehension score with self-reported quality of life related to speech. Methods: Eighty-seven patients treated for cancer of the oral cavity or the oropharynx and 35 controls performed different tasks of speech production and completed questionnaires on speech-related quality of life. The audio recordings were then evaluated by human perception and automatic speech processing. Then, a score was developed through a classic logistic regression model allowing description of the severity of patients' speech disorders. Results: Among the group of parameters subject to extraction from automatic processing of the speech signal, six were retained, producing a correlation at 0.87 with the perceptual reference score, 0.77 with the comprehension score, and 0.5 with speech-related quality of life. The parameters that contributed the most are based on automatic speech recognition systems. These are mainly the automatic average normalized likelihood score on a text reading task and the score of cumulative rankings on pseudowords. The reduced automatic YC2SI is modeled in this way: YC2SIp = 11.48726 + (1.52926 × Xaveraged normalized likelihood reading) + (−1.94e-06 × Xscore of cumulative ranks pseudowords). Conclusion: Automatic processing of speech makes it possible to arrive at valid, reliable, and reproducible parameters able to serve as references in the framework of follow-up of patients treated for cancer of the oral cavity or the oropharynx.

International audience; This study aims to systematically review original articles investigating the link between spectral acoustic measures in healthy talkers and perceived speech intelligibility, according to the PRISMA guidelines. Twenty-two studies were retained. Eighteen papers investigated vowel acoustics, one studied glides and eight articles investigated consonants, mostly sibilants. Various spectral measures and intelligibility estimates were used. The following measures were shown to be linked to sub-lexical perceived speech intelligibility ratings: for vowels, steady-state F1 and F2 measures, the F1 range, the [i]-[U] F2 difference, F0-F1 and F1-F2 differences in [è-A] and [q-è], the vowel space area, the mean amount of formant movement, the vector length and the spectral change measure; for consonants, the centroid energy and the spectral peak in the [s]-sound, as well as the steady-state F1 offset frequency in vowels preceding [t] and [d].To conclude, as speech is highly variable even in healthy adult speakers, a better understanding of the imprecisions in healthy spontaneous speech will provide a more realistic baseline for the investigation of disordered speech. To date, no acoustic measure is able to predict speech intelligibility to a large extent. There is still extensive research to be carried out to identify relevant acoustic combinations that could account for perceived speech variations (e.g. vowel and consonant reductions) and to gather normative data from a large number of healthy speakers. To that end, speech-related terms (e.g. intelligibility, comprehensibility, severity) need to be clearly defined and methodologies described in sufficient details to allow for replication, cross-comparisons/meta-analyses and pooling of data.

International audience; Acoustic characteristics, lingual and labial articulatory dynamics, and ventilatory behaviors were studied on abeatboxer producing twelve drum sounds belonging to five main categories of his repertoire (kick, snare, hi-hat, rim-shot, cymbal). Various types of experimental data were collected synchronously (respiratory inductance plethysmography, electroglottography, electromagnetic articulography, and acoustic recording). Automatic unsupervised classification was successfully applied on acoustic data with t-SNE spectral clustering technique. A cluster purity value of 94% was achieved, showing that each sound has a specific acoustic signature. Acoustical intensity of sounds produced with the humming technique was found to be significantly lower than their non-humming counterparts. For these sounds, a dissociation between articulation and breathing was observed. Overall, a wide range of articulatory gestures was observed, some of which were non-linguistic. The tongue was systematically involved in the articulation of the explored beatboxing sounds, either as the main articulator or as accompanying the lip dynamics. Two pulmonic and three non-pulmonic airstream mechanisms were identified. Ejectives were found in the production of all the sounds with bilabial occlusion or alveolar occlusion with egressive airstream. A phonetic annotation using the IPA alphabet was performed, highlighting the complexity of such sound production and the limits of speech-based annotation.

Speaker segmentation consists in partitioning a conversation between one or more speakers into speaker turns. Usually addressed as the late combination of three sub-tasks (voice activity detection, speaker change detection, and overlapped speech detection), we propose to train an end-to-end segmentation model that does it directly. Inspired by the original end-to-end neural speaker diarization approach (EEND), the task is modeled as a multi-label classification problem using permutation-invariant training. The main difference is that our model operates on short audio chunks (5 seconds) but at a much higher temporal resolution (every 16ms). Experiments on multiple speaker diarization datasets conclude that our model can be used with great success on both voice activity detection and overlapped speech detection. Our proposed model can also be used as a post-processing step, to detect and correctly assign overlapped speech regions. Relative diarization error rate improvement over the best considered baseline (VBx) reaches 17% on AMI, 13% on DIHARD 3, and 13% on VoxConverse., Comment: Camera-ready version for Interspeech 2021 with significantly better voice activity detection, overlapped speech detection, and speaker diarization results. The code used for results reported in v1 contained a small bug that has now been fixed

International audience; Meetings are a common activity in professional contexts, and it remains difficult to analyze them because they are not always structured and people cut each other off (in a debate of ideas for example). A first step, to facilitate their analysis, is to segment the meeting into homogeneous zones at interaction level. To do so, we studied the typology of the nonspeech segments (pauses and silences) in order to determine the different sequences during a meeting. Indeed, information such as the frequency and lengths of the non-speech segments will be different during a presentation or a debate. In this article, we propose an original approach to segment meetings using only the non-speech segments. We apply a Voice Activity Detection (VAD) to find the non-speech segments from which a set of parameters are extracted to study the typology of silence segments.We then use a sliding window on the whole meeting and we apply an unsupervised approach on each of these windows. We have validated our approaches using purity and coverage metrics on part of the AMI corpus (38 meetings of about 28 minutes each). This approach is non-invasive and relies only on acoustic information and does not analyze speech content since moments containing speech, and potentially sensitive information, are not processed.

International audience; Current performance of automatic speech recognition (ASR) for children is below that of the latest systems dedicated to adult speech. Child speech is particularly difficult to recognise, and substantial corpora are missing to train acoustic models. Furthermore, in the scope of our reading assistant for 5-8-year-old children learning to read, models need to cope with disfluencies and reading mistakes, which remain considerable challenges even for state-of-the-art ASR systems. In this paper, we adapt an end-to-end Transformer acoustic model to speech from children learning to read. Transfer learning (TL) with a small amount of child speech improves the phone error rate (PER) by 48.7% relative over an adult model and outperforms a TL-adapted DNN-HMM model by 21.0% relative PER. Multi-objective training with a Connectionist Temporal Classification (CTC) function further reduces the PER by 4.8% relative. We propose a method of reading mistakes data augmentation, where we simulate word-level repetitions and substitutions with phonetically or graphically close words. Combining these two types of reading mistakes reaches a 19.9% PER, with a 13.1% relative improvement over the baseline. A detailed analysis shows that both the CTC multi-objective training and the augmentation with synthetic repetitions help the attention mechanisms better detect children's disfluencies.

Introduction: Speech assessment methods used in clinical practice are varied and mainly perceptual and motor. Reliable assessment of speech disorders is essential for the tailoring of the patient’s treatment plan. Objective: To describe current clinical practices and identify the shortcomings and needs reported by French-speaking clinicians regarding the assessment of speech disorders in adult patients. Methods: Data were collected using an online questionnaire for French-speaking speech and language pathologists (SLPs) in Belgium, France, Switzerland, Luxembourg, and Maghreb. Forty-nine questions were grouped into six domains: participant data, educational and occupational background, experience with speech disorders, patient population, tools and tasks for speech assessment, and possible lacks regarding the current assessment of speech disorders. Results: Responses from 119 clinicians were included in the analyses. SLPs generally use “a la carte” assessment with a large variety of tasks and speech samples. About one quarter of them do not use existing assessment batteries. Those who do mostly use them partially. Pseudo-words are rarely used and are absent from standardized batteries, in contrast to the major use of words and sentences. Perceptual evaluation largely prevails (mainly overall ratings of speech “intelligibility”, “severity,” and “comprehensibility” and percent-correct phonemes), whereas the recording equipment for acoustic measures is not standardized and only scarcely described by the SLPs. The most commonly used questionnaire to assess the functional impact of the speech disorder is the Voice Handicap Index; one quarter of the SLPs does not use any questionnaire. Overall, the available tools are considered only moderately satisfactory. The main reported shortcomings are a lack of objectivity and reproducibility of speech measures; exhaustiveness and consideration of specific speech parameters (prosody, speech rate, and nasality); practicality of the assessment tools. Conclusion: This study highlights a lack of standardization of the speech assessment in French-speaking adults and the need to offer new reliable tools for an optimized, accurate speech assessment. The automation of these tools would allow for rapid, reproducible, and accurate measures.

Speech disorders are a frequent problem after treatment of oral or oropharyngeal cancer. However, few studies focus on the consequences of this disorder on the communication abilities of patients or their quality of life. However, in clinical care, the optimization of communication abilities is a major therapeutic objective in the follow-up. In current practice, the evaluation of speech disorders gives scores that poorly predict the impact of speech disorders on communication. Automatic speech analysis, which is less variable, is a growing research field. In this thesis, we aimed to measure communication impairment using automatic analyses of spontaneous speech. We studied three aspects: the measurement of communication impairment, the automatic analysis of spontaneous speech, and the prediction of communication impairment by automatic parameters. We built a new speech corpus from 25 subjects treated for oral or oropharyngeal cancer. It includes a spontaneous speech task recorded during a semi-directed interview, but also self-questionnaires allowing the measurement of communication impairment and factors associated with speech and communication. Regarding the first aspect, a reference score measuring communication in a holistic way has been constructed. It allows to fill the lack of tools available in ENT oncology for this measurement. The second aspect concerns the automatic analysis of speech. A systematic review of the literature led us to focus on tools applicable to the analysis of spontaneous speech, which is the production context closest to everyday communication. One hundred fourty-nine Automatic parameters from the different levels of Caron's psycholinguistic communication model were extracted. Then, a selection process led to retain 75 relevant and non-redundant parameters. Finally, for the third aspect, we conducted predictive modeling of communication impairment using the selected automatic parameters (correlation of 0.83 between predicted and actual score). The correlation even reached 0.89 when including associated factors (constitution of social circles, anxiety-depression state, associated deficits, self-perception of the handicap linked to the speech disorder) in the modelling. The use of automatic speech analysis thus allows a reliable prediction of the communication impairment felt by the patients. This study opens new perspectives for the use and optimization of automatic speech recognition systems in clinical evaluation on the one hand, and the consideration of functional and psychosocial needs expressed by patients on the other hand., Les troubles de parole sont une problématique fréquemment rencontrée après traitement d'un cancer de la cavité buccale ou de l'oropharynx. Mais peu d'études s'intéressent à l'heure actuelle aux conséquences de ce trouble sur les capacités de communication des patients ou leur qualité de vie. Or, en contexte clinique, l'optimisation des capacités de communication est un objectif thérapeutique majeur dans le suivi de ces patients. En pratique courante, l'évaluation des troubles de parole donne des scores prédisant mal l'impact de ces troubles sur la communication. L'analyse automatique de la parole, moins variable que l'évaluation perceptive habituellement utilisée, est un axe en plein développement. Dans cette thèse, nous avons cherché à mesurer l'altération de la communication au moyen d'analyses automatiques de la parole spontanée. Nous avons étudié trois aspects : la mesure de l'altération de la communication, l'analyse automatique de la parole spontanée, et la prédiction de l'altération de la communication par les paramètres automatiques. Pour ce faire, nous avons constitué un nouveau corpus de parole auprès de 25 sujets traités pour un cancer de la cavité buccale ou de l'oropharynx. Il comprend une tâche de parole spontanée enregistrée au cours d'un entretien semi-dirigé, mais aussi des autoquestionnaires autorisant la mesure de la communication et des facteurs associés à la parole et à la communication. Concernant le premier aspect, un score de référence mesurant de façon holistique la communication a été construit. Il permet de combler le manque d'outils disponibles en cancérologie ORL pour cette mesure. Le deuxième aspect concerne l'analyse automatique de la parole. Une revue systématique de littérature nous a conduits à nous intéresser aux outils applicables à l'analyse de la parole spontanée, qui est le contexte de production le plus proche de la communication quotidienne. Cent quarante-neuf paramètres automatiques issus des différents niveaux du modèle psycholinguistique de communication de Caron ont été extraits. Puis, un processus de sélection a abouti à retenir 75 paramètres pertinents et non redondants. Enfin, pour le troisième aspect, nous avons mené une modélisation prédictive de l'altération de la communication au moyen des paramètres automatiques retenus (corrélation de 0,83 entre score prédit et score réel). La corrélation atteint même 0,89 en incluant à la modélisation des facteurs associés (constitution des cercles sociaux, état anxio-dépressif, déficits associés, auto-perception du handicap lié au trouble de parole). L'utilisation de l'analyse automatique de la parole permet donc une prédiction fiable de l'altération de communication ressentie par les patients. Cette étude ouvre de nouvelles perspectives quant à l'utilisation et l'optimisation des systèmes de reconnaissance automatique de parole dans l'évaluation clinique d'une part, et la prise en compte des besoins fonctionnels et psychosociaux exprimés par les patients d'autre part.

International audience

National audience; Le carrefour aérodigestif coordonne plusieurs fonctions volontaires, spontanées et réflexes, rendant particulièrement complexe la compréhension de son contrôle neurologique et l’interprétation des explorations des troubles fonctionnels impliquant cette région [1]. Peu de travaux ont une approche holistique des fonctions du carrefour, leur intrication devant être compatible avec l’efficacité de chacune d’entre elles [2]. Un dispositif non-invasif permettant d’identifier, quantifier et décrire automatiquement les différents événements survenant au niveau de la gorge s’avèrerait intéressant pour étudier les interactions entre ses fonctions vitales et la gestion de la parole [3]. L’objectif de ce travail est de savoir si un tel système automatique peut identifier les différents bruits de gorge chez un sujet sain. Onze sujets sains (sex-ratio H/F=1,2) ont participé à l’étude, avec un âge moyen de 42,8ans +/-15,7. Nous avons mesuré leur activité motrice cervicale sous forme de fichier audios, et de capteurs vibro-acoustiques montés sur collier cervical, lors de 14 tâches différentes de phonation (voyelle tenue, mot bisyllabique, phrase courte), déglutition (salive, liquide, yaourt), mécanismes de protection (toux, hemmage) et respiration volontaires (respirations forcées), sous contrôle vidéo anonymisé. Les fichiers ont été découpés selon l’ordre des tâches par deux investigateurs différents.Ces segments audios ont permis de modéliser les différents événements par Modèle de Markov Cachés (toolbox HTK [4]). Après une phase d’initiation par Viterbi, une réestimation par Baum-Welch est réalisée. La reconnaissance Viterbi a été effectuée avec une grammaire libre ou contrainte. Les résultats de détection des algorithmes ont été interprétés avec les matrices de confusion, le taux de détections correctes, et la précision qui prend en compte les erreurs d’insertions. Avec une grammaire libre, l’algorithme actuel présente un taux de détections correctes de 83,44% mais une précision moins bonne (- 220,86% du fait du grand nombre d’insertions). Avec une grammaire contrainte, le taux de réponses correctes est affaibli (77,15%) mais la précision améliorée (56,62%). Les événements les mieux détectés sont les déglutitions d’eau, les productions du mot ou de la phrase. La mauvaise précision est liée surtout aux insertions attribuées aux événements spontanées (respiration, déglutition de salive), favorisé par la variabilité inter-investigateur du séquençage des fichiers audios, notamment des événements spontanés. Ces premiers résultats nous encouragent dans le développement de tests standardisés en utilisant une grammaire contrainte. La prise en compte des capteurs de mouvements devrait permettre de renforcer la robustesse de l’algorithme. Disposer de plus d’enregistrements permettrait également d’envisager d’autres méthodes d’apprentissage, par exemple des réseaux profonds récurrents.

International audience; Introduction : La première version du Carcinologic Handicap Index (CHI) évaluait les symptômes présentés par les patients traités pour un cancer des voies aérodigestives supérieures, et leur retentissement dans neuf dimensions fonctionnelles (Douleur, Déglutition, Nutrition, Respiration, Phonation, Audition, Vision, Olfaction-Gustation, Impact psychosocial). Cependant, des dimensions manquaient par rapport aux plaintes rapportées par les patients : Limitation des mouvements du cou et/ou des épaules, et Modifications de l’aspect physique. De plus, le CHI ne permettait pas de faire émerger les priorités exprimées par chaque patient en termes de stratégie de prise en charge.Les objectifs de cette étude sont de valider la version complétée du CHI et d’analyser le lien entre les sous-scores du CHI et la hiérarchie des dimensions prioritaires pour les patients.Méthodes : 71 patients consultant pour le suivi d’un cancer ORL entre novembre 2017 et mars 2018 ont été inclus, ainsi que 36 contrôles sains.La validité de construit a été étudiée grâce aux scores obtenus aux items de la version complétée. La comparaison des sous-scores et d’un score issu d’une échelle visuelle analogique pour chaque dimension a permis d’étudier la validité de critère. La validité clinique a été vérifiée en comparant les scores des patients et des contrôles. La consistance interne des items a été mesurée, et la fiabilité test-retest a été étudiée en comparant les scores de deux complétions du CHI à 7 jours d’intervalle.Enfin, pour étudier le lien entre les sous-scores du CHI et la hiérarchie des dimensions prioritaires pour les patients, ces derniers ont classé les 11 dimensions selon l’importance qu’ils leur accordaient.Résultats : Les deux nouvelles dimensions montrent de bonnes validités convergente (0,35 0,72 pour les deux nouvelles dimensions). Enfin, la fiabilité test-retest est bonne (r>0,67 entre les scores issus des deux complétions du CHI).Un scores-seuil à partir duquel une dimension se trouve dans les trois prioritaires pour les patients a pu être déterminé pour 8 dimensions (sauf pour Vision, Modifications de l’aspect physique et Impact psychosocial). Leur sensibilité est comprise entre 65% (Douleur) et 94% (Déglutition), leur spécificité entre 50% (Respiration) et 85% (Olfaction-Gustation).Conclusion : Les deux nouvelles dimensions présentent de bonnes qualités psychométriques. Le calcul de scores-seuils à partir desquels les dimensions sont considérées comme des priorités pour le patient dans l’organisation de sa stratégie thérapeutique est pertinente pour 8 des 11 dimensions. La version complétée du CHI peut ainsi être considérée comme un véritable outil modulaire pour les professionnels de santé. Il peut permettre d’adapter la prise en charge des patients, en prenant en compte leurs propres priorités. Mais une étude doit être menée sur l'impact transversal de la dimension psychosociale, en raison de corrélations modérées de son sous-score avec ceux des autres domaines.

International audience; Nous avons effectué une classification automatique de 44 locuteurs à partir de réseaux de neurones convolutifs (CNN) sur la base de spectrogrammes à bandes larges calculés sur des séquences de 2 secondes extraites d'un corpus de parole spontanée (NCCFr). Après obtention d'un taux de classification moyen de 93,7 \%, les différentes classes phonémiques composant chaque séquence ont été masquées afin de tester leur impact sur le modèle. Les résultats montrent que les voyelles orales influent avant toute autre classe sur le taux de classification, suivies ensuite par les occlusives orales. Ces résultats sont expliqués principalement par la représentation temporelle prédominante des voyelles orales. Une variabilité inter-locuteurs se manifeste par l'existence de locuteurs attracteurs qui attirent un grand nombre de faux positifs et qui ne sont pas sensibles au masquage effectué. Nous mettons en avant dans la discussion des réalisations acoustiques qui pourraient expliquer les spécificités de ces locuteurs.

International audience; Nous présentons dans cet article un ensemble d'outils originaux développés pour l'analyse objective de la parole dysarthrique dans le cadre de la prise en charge orthophonique. Le bilan rapide de la dysarthrie repose deux épreuves principales : une courte phrase et une répétition de /PaTaKa/. La phrase a été choisie pour couvrir en un minimum de phonèmes, les extrêmes vocaliques, et consonantiques, couvrir plus de 80% des processus de parole, avec une phonotactique proche de la langue française ainsi que l'inclusion des phonèmes d'occurrence la plus élevée. L'analyse de la phrase permet, par segmentation assistée, d'établir un score d'articulation, puis d'extraire les informations de prosodie, notamment le contour intonatif, les accents et d'éventuelles pauses inappropriées. L'analyse de la diadococinésie permet quant à elle d'extraire quatre indicateurs en lien direct avec les effets de la dysarthrie : atonie des plosives, ralentissement du débit, irrégularité du débit, et irrégularité de la puissance. Le bilan est complété par l'analyse d'une voyelle tenue et la capacité à reproduire des praxies, et optionnellement l'analyse prosodique d'une phrase. Les outils ont été implémentés dans la plateforme DIADOLAB, qui servent conduire l'ensemble des étapes du bilan. Nous décrivons en quoi le bilan d'évolution proposé permet d'objectiver les progrès du patient bénéficiant d'une prise en charge orthophonique, autant sur les aspects intelligibilité que fluence.

26 pp.; Dans cet article, nous abordons l'analyse de la répétition rapide de syllabes dans le contexte du bilan et de la prise en charge orthophonique de la parole altérée ou pathologique. Après avoir donné quelques définitions et listé les épreuves proposées dans divers protocoles, nous analysons différentes sources bibliographiques afin d'extraire des données de référence concernant le débit, la régularité, et les marqueurs permettant de différentier la parole normale de la parole pathologique. Nous citons aussi différentes approches logicielles sur l'analyse de la diadococinésie, et donnons quelques recommandations sur les aspects matériels, conditions d'enregistrement, protocole et pré-traitement des données dans le cadre de la pratique clinique orthophonique. Nous détaillons ensuite les principes de calcul de quatre indicateurs d'altération de la diadococinésie que nous illustrons au travers d'exemples, puis étudions les indicateurs sur un groupe d'une centaine de témoins. Par le biais d'analyses avant/après prise en charge orthophoniques, nous donnons des évaluations objectives des progrès accomplis par le patient. Nous proposons enfin des analyses statistiques par indicateur, ou en combinant deux ou plusieurs indicateurs en vue d'une aide à la classification des troubles de la parole.

International audience; Rationale: Treatment of oral and oropharyngeal cancer affects the anatomical regions involved in speech production. It has a major impact on patients' quality of life because it degrades communicational functions [1]. Despite this observation, little research is currently carried out on the functional impact of speech disorders. Previous studies have only found moderate correlations between quality of life and speech disorder severity scores, derived from a perceptual assessment [2]. This might be explained by the biases associated with standard perceptual speech evaluation, in terms of intra- and inter-rater reliability. In this context, the development of tools for automatic speech signal processing seems to be fully relevant [3]. Purpose: The objective of this study is to analyze the correlations between patients' quality of life and the speech disorder severity scores, assessed perceptually and automatically.Methods: The database used was the one from the C2SI project [2]. Eighty-seven patients treated for oral or oropharyngeal cancer were recruited. They filled out an overall quality-of-life questionnaire including a "social role functioning" dimension (MOS SF-36 "SF36-SF", [4]), but also two specific questionnaires related to speech [5, 6]. Their speech was then recorded on different tasks. A jury of six experts perceptually assessed the quality of speech and gave a score for the severity of the speech disorder on a semi-spontaneous task of picture description (ranging from 0 – no impairment – to 10 – maximum impairment). An automatic speech signal analysis allowed the calculation of a speech severity score (on pseudowords repetition, text reading and a sustained vowel "a"): the Carcinologic Speech Severity Index (C2SI). The correlations of the two severity scores (perceptual and automatic) with the scores from the quality of life questionnaires were studied using Spearman correlation coefficients.Results: The "social role functioning" dimension of the SF-36 (SF36-SF) was weakly correlated with perceptual (r =.13) and automatic (r =.31) scores. Regarding the speech-related quality of life, the functional dimensions of the SHI and of the PHI are moderately correlated with the perceptual score (r = -.39 for both questionnaires), but also with the automatic one (r = -.31 in both cases). The correlations between the speech severity scores and the functional dimensions of the questionnaires are also moderate (r = -.50 between the perceptual score and the PHI "psychosocial” dimension; r = -.52 between the automatic C2SI score and the "psychosocial” dimension).Discussion: This study shows that the correlation between the quality of life and the speech disorder severity is only moderate, whether the impairment is assessed perceptually or automatically. This requires studying the intermediate step between the speech disorder severity and the speech-related quality of life, which is the functional impact of the disorder on the patient’s everyday life activities. To this end, the development of comprehensive models combining different acoustic measures to avoid perceptual biases would allow for a better consideration of this functional impact. Further analyses have to be carried out to find whether these measures on conversational speech are relevant, which is a more natural context of speech production. The alteration of the prosody and the lexical choice according to the articulatory/phonetic complexity or to the syntactic structure could be cues of the subject’s speech behavior regarding avoidance or compensation strategies. Moreover, an automatic analysis of the speech signal including functional impact measurements could make it possible to determine thresholds for speech disorder severity according to the functional impact on communicational acts. In addition, the development of innovative objective tools that take into account the communicational impairment will improve current clinical practice by customizing patient care in order to meet individual daily functional needs starting from an early stage.

National audience; Contexte : 5ème cancer en termes d'incidence en France, le cancer des voies aérodigestives supérieures (VADS) impacte de façon importante la vie quotidienne des sujets atteints, tant en termes d'activités que de participation. Il devient donc nécessaire d'évaluer au préalable les dimensions fonctionnelles et psychosociales : nous avons ainsi développé le Carcinologic Handicap Index (ou CHI). Objectif(s) : Cette étude prospective a pour objet l'élaboration et la validation d'un questionnaire d'autoévaluation du handicap après traitement des cancers des VADS. Méthode : Le CHI a été conçu de façon empirique sur le modèle du « Voice handicap index ». Il comprend 9 dimensions autoévaluées par le patient (douleur, déglutition, nutrition, respiration, phonation, audition, vision, olfaction-gustation, psychosocial). Chacune comporte 4 questions à coter en termes de fréquence, ce qui permet le calcul d'un score pour chaque dimension ainsi qu'un score global. Il a été testé auprès de 86 patients constituant la population pathologique (majorité d'hommes, âge moyen de 59 ans, présentant une tumeur des voies aérodigestives supérieures) et 18 sujets (population témoin), pour validation du questionnaire. Résultats : La cohérence interne globale est à 0,905 (test alpha de Cronbach). La validité de contenu (r, entre les scores du questionnaire et les EVA correspondantes) se situe entre 0,6 et 0,8 sauf pour le domaine Vision et pour le score total par rapport à l'EVA de la santé générale (r ¿ 0,5), la pathologie n'altérant pas directement la vision et n'étant qu'un élément parmi d'autre pouvant jouer sur la santé générale). La validité temporelle est satisfaisante (r > 0,7 avec p < 0,0001) sauf pour le domaine Respiration (r = 0,624, pouvant s'expliquer par la fluctuation de l'encombrement pulmonaire). Selon le site de la lésion, les domaines Déglutition, Nutrition et Respiration sont impactés différemment. Enfin, nous ne retrouvons pas de différence significative entre patients et témoins pour les domaines Douleur, Audition et Vision. Discussion : Le CHI présente des qualités psychométriques acceptables et peut être considéré comme un véritable outil clinique destiné aux professionnels de santé permettant de prendre en compte l'impact de la pathologie ORL sur la qualité de vie des patients, principalement concernant les domaines fonctionnels directement atteints par le cancer ou son traitement. http://congresccfuo.fr/

International audience; As the main complaint of people with age-related hearing loss (ARHL) is difficulty under- standing speech, the success of rehabilitation through hearing aids (HAs) is often meas- ured through speech intelligibility tests. These tests can be fairly lengthy and therefore cannot be conducted for all HA settings that might yield optimal speech intelligibility to the hearing-impaired listener. Recent studies showed that automatic speech recognition (ASR) can be used as an ob- jective measure for the prediction of unaided speech intelligibility in quiet in people with real or simulated ARHL (Fontan et al., 2017; Fontan et al., in revision). The aim of the present study was to assess the applicability of ASR to a wider range of listening con- ditions, involving unaided and aided speech-in-noise perception in older hearing-im- paired (OHI) listeners. Twenty-eight OHI participants (mean age = 73.3 years) were recruited for this study. They completed several speech-identification tasks, involving logatoms, words, and sentenc- es. All speech materials were mixed with a background noise with the long-term average speech spectrum (LTASS) and presented monaurally through headphones at 60 dB SPL. The signal-to-noise ratio was -1.5 dB. Participants completed the identification tasks unaided and aided using a HA simulator implementing individual gains prescribed by the CAM2b fitting rule. A speech-intelligibility prediction system was set up, consisting of: (1) the HA simula- tor used for the OHI participants (Moore et al., 2010), (2) an age-related-hearing-loss simulator implementing the algorithms described by Nejime and Moore (1997), and (3) an HMM-GMM-based ASR system using the Julius decoder software (Nagoya Institute of Technology, Japan), with acoustic models trained on speech in LTASS noise, and a different language model for each of the speech materials. Human and machine in- telligibility scores were calculated as the percentage of logatoms or words that were correctly identified. The results show that, on average, the implementation of CAM2b gains significantly im- proved speech-in-noise intelligibility performances both in OHI listeners and the ASR system.

International audience