Search

Desarrollo de un programa de augmentación de datos para sistemas de processado del habla, Desenvolupament de un programari de augment de dades per sistemes de processament de parla

The aim of this work is to analyse how the adaptation to certain speakers of a Speech Emotion Recognition (SER) system improves its performance by contrasting several variations of the adaptation procedure. The initial focus is on constructing a robust SER system using a deep neural network (DNN), which serves as the baseline model. This DNN is trained to recognize emotions present in speech signals. To further optimize the system's accuracy and efficacy, adaptation techniques are employed. These techniques involve adapting the baseline model to specific speakers, accounting for individual variations in speech patterns and emotions. This is implemented by further training the baseline model with different adaptation datasets. Finally, the performance of the adapted SER systems is evaluated and compared to the baseline to see which variations give better results and extract conclusions on which factors are more influential in the final performance of the adapted model., El objetivo de este trabajo es analizar cómo la adaptación a ciertos hablantes de un sistema de Reconocimiento de Emociones en el Discurso (SER, por sus siglas en inglés), mejora su rendimiento. El análisis se lleva a cabo contrastando diversas variaciones del procedimiento de adaptación. El enfoque inicial se centra en la construcción de un sistema SER robusto utilizando una red neuronal profunda (DNN, por sus siglas en inglés), que sirve como modelo de referencia. Esta DNN se entrena para reconocer emociones presentes en el discurso. Para optimizar aún más la precisión y eficacia del sistema, se emplean técnicas de adaptación. Estas técnicas implican adaptar el modelo de referencia a hablantes específicos, para así tener en cuenta las variaciones individuales en los patrones de habla y emociones. Esto se lleva a cabo mediante un entrenamiento adicional del modelo de referencia con diferentes conjuntos de datos. Finalmente, se evalúa el rendimiento de los sistemas SER adaptados y se comparan con el modelo de referencia para determinar qué variaciones proporcionan mejores resultados y extraer conclusiones sobre qué factores son más influyentes en el rendimiento final del modelo adaptado., L'objectiu d'aquest treball és analitzar com l'adaptació a certs parlants d'un sistema de Reconeixement d'Emocions en el Discurs (SER, per les seves sigles en anglès) millora el seu rendiment. L'anàlisi es realitza contrastant diverses variacions del procediment d'adaptació. L'enfocament inicial es centra en la construcció d'un sistema SER robust utilitzant una xarxa neuronal profunda (DNN, per les seves sigles en anglès), que serveix com a model de referència. Aquesta DNN s'entrena per reconèixer emocions presents en el discurs. Per optimitzar encara més la precisió i eficàcia del sistema, es fan servir tècniques d'adaptació. Aquestes tècniques impliquen adaptar el model de referència a parlants específics, per tal de tenir en compte les variacions individuals en els patrons de parla i emocions. Això es duu a terme mitjançant un entrenament addicional del model de referència amb diferents conjunts de dades. Finalment, s'avalua el rendiment dels sistemes SER adaptats i es comparen amb el model de referència per determinar quines variacions proporcionen millors resultats i extreure conclusions sobre quins factors són més influents en el rendiment final del model adaptat.

Aquesta tesi presenta el disseny, desenvolupament i avaluació d’un sistema de reconeixement d'emocions en temps real per a aplicacions mèdiques. El mateix permet la monitorització en remot de l'estat emocional de pacients mitjançant tècniques de Reconeixement d'Expressions Facials (FER) i de Reconeixement d'Emocions de la Veu (SER). Les dades recopilades s'emmagatzemen en una base de dades al núvol, la qual cosa permet als professionals sanitaris accedir a les mateixes en temps real o diferit, i des de qualsevol localització. El sistema utilitza Reconeixement Facial (FR), prèviament a l’etapa de reconeixement d’emocions, per tal d’emmagatzemar les dades de cada pacient per separat en perfils individuals. El sistema té dos tipus de modes de funcionament: el reconeixement d'emocions monomodal i el multimodal. En funcionament monomodal, s’infereix en l’estat emocional del subjecte per FER. D’altra banda, el funcionament multimodal combina FER i SER per obtenir informació més profunda de l'estat emocional del subjecte. El sistema està dissenyat com a una proba de concepte amb un propòsit general. No obstant això, aquest treball també proposa diverses aplicacions en les quals podria ser integrat, i explora els ajustos necessaris per complir amb els requisits específics de cada cas d'ús. Finalment, en aquesta tesi s'aborden les implicacions ètiques i la protecció de dades relacionades amb l’ús d’aquest sistema., Esta tesis presenta el diseño, desarrollo y evaluación de un sistema de reconocimiento de emociones en tiempo real para aplicaciones médicas. El mismo permite la monitorización en remoto del estado emocional de pacientes mediante técnicas de Reconocimiento de Expresiones Faciales (FER) y de Reconocimiento de Emociones de la Voz (SER). Los datos recopilados se almacenan en una base de datos en la nube, lo que permite que profesionales sanitarios puedan acceder a las mismas en tiempo real o diferido, y desde cualquier localización. El sistema integra reconocimiento facial (FR) para crear perfiles individuales para cada paciente, permitiendo el almacenamiento de datos por separado. El sistema tiene dos tipos de modos de funcionamiento: el reconocimiento de emociones monomodal y el multimodal. En funcionamiento monomodal, se infiere en el estado emocional del sujeto por FER. Por otro lado, el funcionamiento multimodal combina FER y SER para proporcionar información más profunda del estado emocional del sujeto. El sistema está diseñado como una prueba de concepto con un propósito general. No obstante, este trabajo también propone varias aplicaciones en las cuales podría ser integrado, y explora los ajustes necesarios para cumplir con los requisitos específicos de cada caso de uso. Finalmente, en esta tesis se abordan las implicaciones éticas y la protección de datos personales relacionadas con el uso de este sistema., This thesis presents the design, development, and evaluation of a real-time emotion recognition system for healthcare applications. It aims to remotely monitor patients' emotional states using Facial Expression Recognition (FER) and Speech Emotion Recognition (SER) techniques. The collected data is stored in a cloud-based database, allowing healthcare professionals to access real-time updates from anywhere. Additionally, the system uses Facial Recognition (FR) to identify the patients before emotion recognition, to enable data storage into separate profiles. The system has two types of functioning modes: monomodal and multimodal emotion recognition. In the monomodal approach, FER is employed to infer the emotional state of the subject. On the other hand, the multimodal approach combines both FER and SER to provide deeper insights into the subject's emotional state. The system is designed as a proof of concept with a general purpose in mind. However, this work also proposes various applications in which the system could be integrated, and outlines the adjustments required to meet the specific needs of each use case. Finally, this thesis addresses the ethical and data protection implications associated with the use of this system.

In the last few years, the use of Deep Learning has increased in virtual assistance and speech recognition applications, improving its performance with supervised learning techniques. However, it is an area that continues to evolve and enrich itself constantly as it is used. One of the sectors where this technology is being implemented most frequently is in ASR (Automatic Speech Recognition) applications, especially in transcription. The company ITNow is working on developing a speech-to-text conversion system that offers the best possible performance for virtual meetings. In this project, several automatic transcription libraries that meet the company's requirements are being studied to find the one that achieves the best performance and accuracy in converting the spoken voice signal into written content. This research will enable ITNow to improve the efficiency of virtual meetings with accurate and quality transcripts, enhancing understanding and decision making., En los últimos años, el uso del Deep Learning ha aumentado en aplicaciones de asistencia virtual y reconocimiento de voz, mejorando su funcionamiento con técnicas de aprendizaje supervisado. Sin embargo, es un área que continúa evolucionando y enriqueciéndose constantemente a medida que se utiliza. Uno de los sectores donde esta tecnología se está implementando con mayor frecuencia es en las aplicaciones de ASR (Automatic Speech Recognition), especialmente en transcripciones. La empresa ITNow está trabajando en desarrollar un sistema de conversión de voz a texto que ofrezca el mejor rendimiento posible para las reuniones virtuales. En este proyecto, se están estudiando varias bibliotecas de transcripción automática que cumplen con los requisitos de la empresa, para lograr aquella que alcance el mejor rendimiento y precisión al convertir la señal de voz hablada en contenido escrito. Esta investigación permitirá a ITNow mejorar la eficacia de las reuniones virtuales con transcripciones precisas y de calidad, favoreciendo la comprensión y toma de decisiones., En els últims anys, l'ús del Deep Learning ha augmentat en aplicacions d'assistència virtual i reconeixement de veu, millorant-ne el funcionament amb tècniques d'aprenentatge supervisat. No obstant això, és una àrea que continua evolucionant i enriquint-se constantment a mesura que s'utilitza. Un dels sectors en el què aquesta tecnologia s'està implementant amb més freqüència és en les aplicacions d'ASR (Automatic Speech Recognition), especialment en transcripcions. L'empresa ITNow està treballant per desenvolupar un sistema de conversió de veu a text que ofereixi el millor rendiment possible per a les reunions virtuals. En aquest projecte, s'estudien diverses llibreries de transcripció automàtica que compleixen els requisits de l'empresa, i així aconseguir la que assoleix millor rendiment i precisió en convertir el senyal de veu parlat en contingut escrit. Aquesta investigació permetrà a ITNow millorar l'eficàcia de les reunions virtuals amb transcripcions precises i de qualitat per afavorir la comprensió i presa de decisions.

Transformers have been the dominant architecture for Speech Translation in recent years, achieving significant improvements in translation quality. Since speech signals are longer than their textual counterparts, and due to the quadratic complexity of the Transformer, a down-sampling step is essential for its adoption in Speech Translation. Instead, in this research, we propose to ease the complexity by using a Perceiver encoder to map the speech inputs to a fixed-length latent representation. Furthermore, we introduce a novel way of training Perceivers, with Dynamic Latent Access (DLA), unlocking larger latent spaces without any additional computational overhead. Speech-to-Text Perceivers with DLA can match the performance of Transformer baselines across three language pairs in MuST-C. Finally, a DLA-trained model is easily adaptable to DLA at inference, and can be flexibly deployed with various computational budgets, without significant drops in translation quality., Postprint (published version)

Advances in digital health and phenotyping technologies are crucial to ensureincreased access to high-quality mental health support services and treatment. Speech is uniquely placed in this regard, as no other mobile health signal contains its singular combination of cognitive, neuromuscular and physiological information. It is this complexity which makes speech a suitable marker for different mentalhealth conditions.However, much research exploring links between speech and depression is limited, and co-morbidities with conditions such as anxiety have not been exploited to help improve machine learning models.The purpose of this project is to jointly learn depression and anxietydirectly from speech signals.For this project, speech signals were split into segments that were converted into Mel-spectrograms. Automatic feature extraction was performed using a CNN-LSTM model that can classify into5 severities ofdepression. With transfer learning, this model was then usedas a pre-trained model for other tasks, such as classifying speech signals into different 4 severities of anxiety or improving modelsfor both co-morbiditiesin different languages. Finally, a Multi-Task learning model is used to jointly detect depression and anxiety. Models that use transfer learning to detectanxiety achieve an improvement from 67% to 72% of accuracy, while multi-Task learning models achieve an accuracy of 71% for both co-morbidities, anxiety and depression. The experiments show promising results, discussing the viability of jointly detecting mental health conditions such as depression and anxiety as well as exploiting the viability of using models pre-trained for just one condition, language or task to fine-tune a model for another condition, language or task, demonstrating that co-morbidities can help to improve models for joint learning severities directly from speech signals.

The task of speech translation consists one translating speech input into text in a different language. In this project, we present an interpretability analysis of a Transformer model on this task. Our work builds upon previous research which explored the training phases of a Transformer for text translation. We extend their analysis to study the training of the Transformer for ST, focusing on the variations of contribution of the source to the predictions during the training process. We show that depending on the training strategy, some speech translation models show a similar source contribution than text translation ones, but others have a lower source contribution and a worse performance. Furthermore, we propose modification to the Transformer architecture, aiming to force the model to use more source in its predictions. Through this modifications, we achieve a significant performance boost of up to +1.3 BLEU.

We live in an era where intelligent systems are becoming more and more part of our lives. These systems require a large amount of data to learn different tasks and, in many cases, not enough content is available to train them. Data augmentation stems from the necessity of creating, in an artificial way, new data similar to the original to help in better training. It applies to many types of intelligent systems, although this project focuses on data augmentation for speech. In this work, a computer program, capable of processing large databases and expanding their content using different techniques, will be presented., Vivimos en una era donde los sistemas inteligentes forman cada vez más parte de nuestra vida. Estos sistemas necesitan una gran cantidad de datos para conseguir aprender diferentes tareas y, en muchos casos, no se dispone de suficiente contenido para entrenarlos. El aumento de datos nace de la necesidad de crear artificialmente nuevos datos, similares a los originales, que ayuden a hacer un mejor entrenamiento. Es aplicable a muchos tipos de sistemas inteligentes, pero este trabajo se centra en el aumento de datos de voz. En él se presentará un programa informático capaz de procesar grandes bases de datos y ampliar su contenido mediante diferentes técnicas., Vivim en una era on els sistemes intel·ligents formen cada cop més part de la nostra vida. Aquests sistemes necessiten una gran quantitat de dades per aconseguir aprendre diferents tasques i, en molts casos, no es disposa de suficient contingut per entrenar-los. L'augment de dades neix de la necessitat de crear artificialment noves dades, similars a les originals, que ajudin a fer un millor entrenament. És aplicable a molts tipus de sistemes intel·ligents, però aquest treball se centra en l'augment de dades de veu. En aquest es presentarà un programa informàtic capaç de processar grans bases de dades i ampliar-ne el contingut mitjançant diferents tècniques.

The aim of this paper is to investigate the benefit of combining both language and acoustic modelling for speaker diarization. Although conventional systems only use acoustic features, in some scenarios linguistic data contain high discriminative speaker information, even more reliable than the acoustic ones. In this study we analyze how an appropriate fusion of both kind of features is able to obtain good results in these cases. The proposed system is based on an iterative algorithm where a LSTM network is used as a speaker classifier. The network is fed with character-level word embeddings and a GMM based acoustic score created with the output labels from previous iterations. The presented algorithm has been evaluated in a Call-Center database, which is composed of telephone interview audios. The combination of acoustic features and linguistic content shows a 84.29% improvement in terms of a word-level DER as compared to a HMM/VB baseline system. The results of this study confirms that linguistic content can be efficiently used for some speaker recognition tasks., This work was partially supported by the Spanish Project DeepVoice (TEC2015-69266-P) and by the project PID2019-107579RBI00/ AEI /10.13039/501100011033., Peer Reviewed, Postprint (published version)