Search

[EN] More and more universities are banking on the production of digital contents to support online or blended learning in higher education. Over the last years, the MLLP research group has been working closely with the UPV’s ASIC media services in order to enrich educational multimedia resources through the application of natural language processing technologies including automatic speech recognition, machine translation and text-tospeech. In this work we present the steps that are being followed for the comprehensive translation of these materials, specifically through (semi-)automatic dubbing by making use of state-of-the-art speaker-adaptive text-to-speech technologies., [ES] Cada vez son más las universidades que apuestan por la producción de contenidos digitales como apoyo al aprendizaje en lı́nea o combinado en la enseñanza superior. El grupo de investigación MLLP lleva años trabajando junto al ASIC de la UPV para enriquecer estos materiales, y particularmente su accesibilidad y oferta lingüı́stica, haciendo uso de tecnologı́as del lenguaje como el reconocimiento automático del habla, la traducción automática y la sı́ntesis de voz. En este trabajo presentamos los pasos que se están dando hacia la traducción integral de estos materiales, concretamente a través del doblaje (semi-)automático mediante sistemas de sı́ntesis de voz adaptables al locutor., Este trabajo ha recibido financiación del Gobierno de España a través de la subvención RTI2018-094879-B-I00 financiada por MCIN/AEI/10.13039/501100011033 (Multisub) y por ”FEDER Una manera de hacer Europa”; del programa Erasmus+ Educación a través del acuerdo de subvención 20-226-093604-SCH (EXPERT); and by the European Union’s Horizon 2020 research and innovation programme under grant agreement no. 761758 (X5gon).

[ES] Durante la última década, los medios de comunicación han experimentado una revolución, alejándose de la televisión convencional hacia las plataformas de contenido bajo demanda. Además, esta revolución no ha cambiado solamente la manera en la que nos entretenemos, si no también la manera en la que aprendemos. En este sentido, las plataformas de contenido educativo bajo demanda también han proliferado para proporcionar recursos educativos de diversos tipos. Estas nuevas vías de distribución de contenido han llegado con nuevos requisitos para mejorar la accesibilidad, en particular las relacionadas con las dificultades de audición y las barreras lingüísticas. Aquí radica la oportunidad para el reconocimiento automático del habla (RAH) para cumplir estos requisitos, proporcionando subtitulado automático de alta calidad. Este subtitulado proporciona una base sólida para reducir esta brecha de accesibilidad, especialmente para contenido en directo o streaming. Estos sistemas de streaming deben trabajar bajo estrictas condiciones de tiempo real, proporcionando la subtitulación tan rápido como sea posible, trabajando con un contexto limitado. Sin embargo, esta limitación puede conllevar una degradación de la calidad cuando se compara con los sistemas para contenido en diferido u offline. Esta tesis propone un sistema de RAH en streaming con baja latencia, con una calidad similar a un sistema offline. Concretamente, este trabajo describe el camino seguido desde el sistema offline híbrido inicial hasta el eficiente sistema final de reconocimiento en streaming. El primer paso es la adaptación del sistema para efectuar una sola iteración de reconocimiento haciendo uso de modelos de lenguaje estado del arte basados en redes neuronales. En los sistemas basados en múltiples iteraciones estos modelos son relegados a una segunda (o posterior) iteración por su gran coste computacional. Tras adaptar el modelo de lenguaje, el modelo acústico basado en redes neuronales también tiene que adaptarse para trabajar con un contexto limitado. La integración y la adaptación de estos modelos es ampliamente descrita en esta tesis, evaluando el sistema RAH resultante, completamente adaptado para streaming, en conjuntos de datos académicos extensamente utilizados y desafiantes tareas basadas en contenidos audiovisuales reales. Como resultado, el sistema proporciona bajas tasas de error con un reducido tiempo de respuesta, comparables al sistema offline., [CA] Durant l'última dècada, els mitjans de comunicació han experimentat una revolució, allunyant-se de la televisió convencional cap a les plataformes de contingut sota demanda. A més a més, aquesta revolució no ha canviat només la manera en la que ens entretenim, si no també la manera en la que aprenem. En aquest sentit, les plataformes de contingut educatiu sota demanda també han proliferat pera proporcionar recursos educatius de diversos tipus. Aquestes noves vies de distribució de contingut han arribat amb nous requisits per a millorar l'accessibilitat, en particular les relacionades amb les dificultats d'audició i les barreres lingüístiques. Aquí radica l'oportunitat per al reconeixement automàtic de la parla (RAH) per a complir aquests requisits, proporcionant subtitulat automàtic d'alta qualitat. Aquest subtitulat proporciona una base sòlida per a reduir aquesta bretxa d'accessibilitat, especialment per a contingut en directe o streaming. Aquests sistemes han de treballar sota estrictes condicions de temps real, proporcionant la subtitulació tan ràpid com sigui possible, treballant en un context limitat. Aquesta limitació, però, pot comportar una degradació de la qualitat quan es compara amb els sistemes per a contingut en diferit o offline. Aquesta tesi proposa un sistema de RAH en streaming amb baixa latència, amb una qualitat similar a un sistema offline. Concretament, aquest treball descriu el camí seguit des del sistema offline híbrid inicial fins l'eficient sistema final de reconeixement en streaming. El primer pas és l'adaptació del sistema per a efectuar una sola iteració de reconeixement fent servir els models de llenguatge de l'estat de l'art basat en xarxes neuronals. En els sistemes basats en múltiples iteracions aquests models son relegades a una segona (o posterior) iteració pel seu gran cost computacional. Un cop el model de llenguatge s'ha adaptat, el model acústic basat en xarxes neuronals també s'ha d'adaptar per a treballar amb un context limitat. La integració i l'adaptació d'aquests models és àmpliament descrita en aquesta tesi, avaluant el sistema RAH resultant, completament adaptat per streaming, en conjunts de dades acadèmiques àmpliament utilitzades i desafiants tasques basades en continguts audiovisuals reals. Com a resultat, el sistema proporciona baixes taxes d'error amb un reduït temps de resposta, comparables al sistema offline., [EN] Over the last decade, the media have experienced a revolution, turning away from the conventional TV in favor of on-demand platforms. In addition, this media revolution not only changed the way entertainment is conceived but also how learning is conducted. Indeed, on-demand educational platforms have also proliferated and are now providing educational resources on diverse topics. These new ways to distribute content have come along with requirements to improve accessibility, particularly related to hearing difficulties and language barriers. Here is the opportunity for automatic speech recognition (ASR) to comply with these requirements by providing high-quality automatic captioning. Automatic captioning provides a sound basis for diminishing the accessibility gap, especially for live or streaming content. To this end, streaming ASR must work under strict real-time conditions, providing captions as fast as possible, and working with limited context. However, this limited context usually leads to a quality degradation as compared to the pre-recorded or offline content. This thesis is aimed at developing low-latency streaming ASR with a quality similar to offline ASR. More precisely, it describes the path followed from an initial hybrid offline system to an efficient streaming-adapted system. The first step is to perform a single recognition pass using a state-of-the-art neural network-based language model. In conventional multi-pass systems, this model is often deferred to the second or later pass due to its computational complexity. As with the language model, the neural-based acoustic model is also properly adapted to work with limited context. The adaptation and integration of these models is thoroughly described and assessed using fully-fledged streaming systems on well-known academic and challenging real-world benchmarks. In brief, it is shown that the proposed adaptation of the language and acoustic models allows the streaming-adapted system to reach the accuracy of the initial offline system with low latency.

Este proyecto pretende sentar las bases de un sistema con un potencial a desarrollar, utilizado para un nivel más alto de seguridad basándonos en características de la voz humana como frecuencia fundamental, Coeficiente de frecuencias ceptrales de Mel, entre otros parámetros que pueden ser extraído con el análisis de una espectro de frecuencia. This project aims to lay the foundations for a system with a potential to develop, used for a higher level of security based on characteristics of the human voice such as fundamental frequency, Mel's Coefficient of ceptral frequencies, among other parameters that can be extracted with the analysis of a frequency spectrum.

Actualmente nos encontramos en la búsqueda de nuevas herramientas, es por ello que en respuesta a esta necesidad, nace la idea de utilizar la tecnología para brindar una alternativa para registro de asistencia de empleados, una aplicación móvil que integre técnicas como el reconocimiento facial, reconocimiento del hablante y geolocalización. We are currently in search of new tools, which is why in response to this need, the idea was born to use technology to provide an alternative for employee attendance registration, a mobile application that integrates techniques such as facial recognition, speaker recognition and geolocation.

Web layout is constantly evolving and new professionals in the field are joining each time. However, the development tools and environments seem to have lagged behind the traditional: simple use of the keyboard to code and little motivation and innovation in the use of other means of coding, such as voice, to improve and expand its use. For this reason, a modern and innovative web framework has been developed that applies natural language processing theory to automate web layout through the use of CSS 3 and speech recognition technologies. The framework has been validated through the application of a questionnaire made up of 6 dimensions and 31 indicators valued from 1 to 5 according to the Likert scale and to obtain the results, the statistical technique called correlation measures has been used. The results show that the framework improves by: 38.59% the web layout in general, 41.46% the layout of the animations, 39.22% the layout of the buttons, 32.33% the layout of the content, 39.94% the layout of the background, 41.04% the layout of the images and 39.28% the layout of the typography., El maquetado web está en constante evolución y cada vez se incorporan nuevos profesionales en la materia. No obstante, las herramientas y los entornos de desarrollo parecen haberse quedado rezagados a lo tradicional: simple uso del teclado para codificar y poca motivación e innovación en el uso de otros medios de codificación, como la voz, que permitan mejorar y ampliar su uso. Por ello, se ha desarrollado un framework web moderno e innovador que aplica la teoría de procesamiento de lenguaje natural para automatizar el maquetado web mediante el uso de las tecnologías CSS 3 y reconocimiento de voz. El framework ha sido validado mediante la aplicación de un cuestionario conformado por 6 dimensiones y 31 indicadores valorizados del 1 al 5 en función a la escala de Likert y para la obtención de los resultados se ha utilizado la técnica estadística denominada medidas de correlación. Los resultados demuestran que el framework mejora en un: 38.59% el maquetado web en general, 41.46% el maquetado de las animaciones, 39.22% el maquetado de los botones, 32.33% el maquetado del contenido, 39.94% el maquetado del fondo, 41.04% el maquetado de las imágenes y 39.28% el maquetado de la tipografía.

Tradicionalmente, los sistemas de reconocimiento automático del habla (RAH) requieren de algoritmos que utilizan bases de datos etiquetadas para su aprendizaje. Sin embargo, un reciente y novedoso enfoque desarrolla modelos semi-supervisados que tienen la capacidad de realizar una parte de su entrenamiento con datos no etiquetados, facilitando así su uso en entornos donde los datos etiquetados son escasos. Este trabajo de investigación esta centrado en la aplicación de estos métodos de aprendizaje en el ámbito de la salud y, más concretamente, en voces patológicas proveniente de hablantes con diferentes tipos de afasia. Se ha trabajado con la base de datos de referencia AphasiaBank, que contiene 78 horas de audios de pacientes con diferentes grados de afasia, y que ya ha sido empleada por otros grupos de investigación. A nivel de modelado, se ha optimizado y a nado la arquitectura de aprendizaje semi-supervisado empleada sobre estos datos de dominio, a través de la aplicación de la técnica Grid Search y de la búsqueda exhaustiva de los hiperparámetros del modelo. En este estudio se comparan los resultados obtenidos con los que se reflejan en el estado del arte. Se demuestra que el modelo de reconocimiento obtenido presenta resultados que mejoran otro tipo de enfoques publicados anteriormente. Tradicionalment, els sistemes de reconeixement automàtic de la parla (RAH) requereixen d'algorismes que utilitzen bases de dades etiquetades per al seu aprenentatge. No obstant això, un recent i nou enfocament desenvolupa models semi-supervisats que tenen la capacitat de realitzar una part del seu entrenament amb dades no etiquetades, facilitant així el seu ús en entorns on les dades etiquetades són escassos. Aquest treball de recerca aquesta centrat en l'aplicació d'aquests mètodes d'aprenentatge en l'àmbit de la salut i, més concretament, en veus patològiques provinent de parlants amb diferents tipus d'afàsia. S'ha treballat amb la base de dades de referència AphasiaBank, que conté 78 hores d'àudios de pacients amb diferents graus d'afàsia, i que ja ha estat emprada per altres grups de recerca. A nivell de modelatge, s'ha optimitzat i nadant l'arquitectura d'aprenentatge semi-supervisat empleada sobre aquestes dades de domini, a través de l'aplicació de la tècnica Grid Search i de la cerca exhaustiva dels hiperparámetros del model. En aquest estudi es comparen els resultats obtinguts amb els quals es reflecteixen en l'estat de l'art. Es demostra que el model de reconeixement obtingut presenta resultats que milloren un altre tipus d'enfocaments publicats anteriorment. Traditionally, automatic speech recognition (ASR) systems require algorithms that use labeled databases for learning. However, a recent novel approach develops semi-supervised models that have the ability to perform part of their training on unlabeled data, thus facilitating their use in environments where labeled data is scarce. This research work is focused on the application of these learning methods in the health domain and, more specifically, on pathological voices coming from speakers with different types of aphasia. We have worked with the reference database AphasiaBank, which contains 78 hours of audios from patients with different degrees of aphasia, and which has already been used by other research groups. At the modeling level, the semi-supervised learning architecture used on this domain data has been optimized and tuned through the application of the Grid Search technique and the exhaustive search of the hyperparameters of the model. In this study, the results obtained are compared with those reflected in the state of the art. It is shown that the obtained recognition model presents results that improve other types of previously published approaches.

[ES] Ver películas en el idioma que se estudia es muy beneficioso para el alumno, ya que permite asentar ciertas bases lingüísticas aplicadas en un contexto realista en el que se utiliza lenguaje adecuado a la situación expuesta en el metraje. No obstante, para facilitar la comprensión de la trama por parte del espectador, es importante que exista un refuerzo textual del lenguaje oral utilizado en la película, es decir, subtítulos. Pese a que hoy en día resulta fácil encontrar películas subtituladas, emplear subtítulos en tu idioma materno suele derivar en prestar mayor atención a la lectura que a la escucha, por lo que, si el nivel del alumno lo permite, comenzar a leer los subtítulos en el idioma que se aprende resulta un avance muy interesante en la práctica del idioma. El problema yace en que a menudo, los subtítulos no suelen representar exactamente al audio si no que presentan un significado similar expresado de forma diferente. Para solucionar dicho problema, en este trabajo se pretende desarrollar una aplicación que, mediante un motor Speech-To-Text, procese y transcriba archivos de audio en closed captions con cierto grado de confianza. Dicho texto será transcrito a un archivo SubRip (.srt) con sus correspondientes marcas de tiempo que será reconocido directamente por cualquier reproductor que permita subtitulación, como, por ejemplo, VLC media player., [EN] Watching films in the target language is very beneficial for the learner, as it allows certain linguistic foundations to be established in a realistic context in an appropriate language used to the situation depicted in the film. However, in order to facilitate the viewer's understanding of the plot, it is important that there is textual reinforcement of the spoken language used in the film, i. e. subtitles. Although it is easy to find subtitled films nowadays, using subtitles in your mother tongue often means paying more attention to reading than listening, therefore, if the learner's level allows it, starting to read subtitles in the language being learnt is a very interesting step forward in language practice. The problem lies in the fact that subtitles often do not exactly represent the audio, but rather present a similar meaning expressed in a different way. To solve this problem, this work aims to develop an application that, by means of a Speech-To-Text engine, processes and transcribes audio files into closed captions with a certain degree of confidence. This text will be transcribed to a SubRip (.srt) file with its corresponding time stamps that will be directly recognised by any player that allows subtitling, such as, for example, VLC media player., [CA] Veure pel·lícules en l'idioma que s'estudia és molt beneficiós per a l'alumne, ja que permet assentar certes bases lingüístiques aplicades en un context realista en el qual s'utilitza llenguatge adequat a la situació exposada en el metratge. No obstant això, per facilitar la comprensió de la trama per part de l'espectador, és important que hi haja un reforç textual de la llengua oral utilitzat en la pel·lícula, és a dir, subtítols. Malgrat que hui en dia resulta fàcil trobar pel·lícules subtitulades, emprar subtítols en el teu idioma matern sol derivar en prestar més atenció a la lectura que a l'escolta, de manera que, si el nivell de l'alumne ho permet, començar a llegir els subtítols en l'idioma que s'aprèn resulta un avanç molt interessant en la pràctica de l'idioma. El problema rau en que sovint, els subtítols no solen representar exactament a l'àudio sinó que presenten un significat similar expressat de forma diferent. Per solucionar aquest problema, en aquest treball es pretén desenvolupar una aplicació que, mitjançant un motor Speech-To-Text, processe i transcriga arxius d'àudio en closed captions amb cert grau de confiança. Dit text serà transcrit a un arxiu SubRip (.srt) amb les seues corresponents marques de temps que serà reconegut directament per qualsevol reproductor que permeta subtitulació, com, per exemple, VLC media player.

"La IHC es un campo de estudio dedicado a comprender, diseñar y evaluar sistemas de cómputo para su uso por o con humanos. La interacción, por definición, requiere comunicación entre humanos, computadoras y dispositivos. La IHC es actualmente una actividad de investigación y diseño muy extensa y diversa. La literatura se está expandiendo rápidamente, con cientos de publicaciones cada año y con la actividad de diferentes sociedades profesionales y reuniones ad hoc, principalmente en las disciplinas técnicas de ingeniería mecánica y eléctrica, ciencias de la computación y ciencias de control e inteligencia artificial. El objetivo de las investigaciones en torno a la IHC es definir modelos que cubran las expectativas de los seres humanos con respecto a la interacción con las computadoras para guiar el diseño de ´este y el desarrollo de algoritmos que permitan una interacción más natural y eficaz con los seres humanos. Con el avance de la Inteligencia Artificial (IA; del inglés Artificial Intelligence: AI), las investigaciones se centran en una parte hacia la interacción física más segura y además sobre una interacción socialmente correcta, dependiente de criterios culturales."

[EN] Automatic speech recognition (ASR) is a branch of pattern recognition that has currently gained popularity due to technological and structural advances in this field. This work presents the process of making a Polish automatic speech recognition system based on current state-of-the-art techniques. To this end, the TLK toolkit is used, as well as other relevant tools. The datasets used to train the final models are examined and described. Moreover, the process of creating the models from scratch is described. To conclude, the performance of the final system is compared with respect to several systems evaluated in the context of the PolEval 2019 challenge., [ES] El reconocimiento automático del habla (ASR por sus siglas en inglés) es una rama del reconocimiento de patrones que ha ganado una gran popularidad en los últimos años gracias a los avances tecnológicos y estructurales en este campo. Este trabajo presenta el proceso de creación de un sistema de reconocimiento automático del habla polaca basado en técnicas actualmente estado de la técnica. Con este fin, se hace uso de la herramienta TLK, además de otras herramientas relevantes. También se examinan y describen los conjuntos de datos usados para entrenar los modelos finales, además de describirse el proceso de creación de estos últimos partiendo desde el principio. Finalmente, el sistema desarrollado se compara con otros sistemas evaluados en el contexto de la competición de PolEval 2019., [CA] El reconeixement automàtic de la parla (ASR per les seues sigles en anglés) és una branca del reconeixement de patrons que ha guanyat popularitat gràcies als avanços tecnològics i estructurals en aquest camp. Aquest treball presenta el procés de creació d’un sistema automàtic reconeixedor de la parla polonesa basat en tècniques actualment estat de la tècnica. Amb aquesta finalitat, s’utilitza l’eina TLK, a més d’altres eines rellevants. D’altra banda, s’examinen i es descriuen els conjunts de dades usats per a entrenar els models finals. A més, el procés de creació dels models es descriu partint des del principi. Finalment, el sistema desenvolupat es compara amb altres sistemes avaluats en el context de la competició de PolEval 2019.

[ES] Dentro de las tareas de los colaboradores de los hospitales o centros médicos, refiriéndose específicamente a los médicos de diagnóstico en laboratorios, la mayor parte del esfuerzo y tiempo recae en la redacción de informes médicos. Debido a ello, el número de pacientes que se pueden atender y el servicio que pueden ofrecer se ve reducido. En este trabajo se propone el diseño y desarrollode un sistema de reconocimiento automático del habla (RAH) utilizando CMU Sphinx4 y Kylm para la elaboración de informes médicos y su implantación en el servicio de medicina nuclear del hospital Dr. Peset en Valencia. El desarrollo y adaptación de sistemas de RAH a problemas muy concretos es posible graciasa los avances en las últimas décadas en este campo y a la disponibilidad de datos accesibles en formato abierto. Los experimentos iniciales se realizan con un modelo acústico pre-entrenado en español del proyecto VoxForge y un corpus de texto que contiene un vocabulario con más de 18 000 palabras referentes a informes médicos de medicina nuclear. Como resultado de la experimentación, se ha obtenido un valor WER promedio de 26,6 % sin adaptación al locutor y se ha logrado mejorar a un WER promedio de 23,1 % con adaptación MAP indicando una reducción del error en 13,2 %. La aplicación y código fuente se encuentran disponible enhttps://sourceforge.net/projects/asr-for-medical-reporting/bajo licencia GNU (GPLv3)., [EN] Among the tasks of collaborators in hospitals or medical centers, specifically referring to diagnostic doctors in laboratories, most of the effort and time falls on the writing of medical reports. Due to this, the number of patients that can be attended and the service they can offer is reduced. This work proposes the design and development of an automatic speech recognition (ASR) system using CMU Sphinx4 and Kylm for the preparation of medical reports and their implementation in the nuclear medicine service of the Dr. Peset hospital in Valencia. The development and adaptation of ASR systems to very specific problems is possible thanks to the advances in the last decades in this field and the availability of open data. Initial experiments are performed with a pre-trained acoustic model in Spanish from the VoxForge project and a corpus of text containing a vocabulary of more than 18 000 words referring to nuclear medicine medical reports. As a result of experimentation, an average WER value of 26,6% has been achieve without speaker adaptation and it has been possible to improve to an average WER of 23,1% with MAP adaptation indicating a reduction of error in 13,2% . The application and source code are available in https://sourceforge.net/projects/asr-for-medical-reporting/ under GNU (GPLv3) license., [CA] Dins de les tasques dels col·laboradors als hospitals i centres mèdics, referintse específicament als metges de diagnòstic en laboratori, la major part del esforç i del temps es dedicat a la redacció de informes mèdics. A conseqüència, el nombre de pacients que es poden atendre i el servei que es pot oferir es veu reduït. En aquest treball es proposa el disseny i desenvolupament d’un sistema de reconeixement automàtic de la parla (RAP) utilitzant CMU Sphinx4 i Kylm per a l’elaboració d’informes mèdics i la seua implantació en el servei de medicina nuclear de l’hospital Dr. Peset a València. El desenvolupament y adaptació de sistemes RAH a problemes molt concrets es possible gràcies als avanços en les últimes dècades en aquest camp i a la disponibilitat de dades accessibles de forma oberta. Els experiments inicials es realitzen amb un model acústic prèviament entrenat en espanyol del projecte VoxForge i un corpus de text que conté un vocabulari amb més de 18 000 paraules que fan referència a informes mèdics de medicina nuclear. Com a resultat de l’experimentació, s’ha obtingut un valor WER mitjà de 26,6% sense adaptació al locutor i s’- ha aconseguit millorar a un WER mitjà de 23,1% amb adaptació MAP indicant una reducció del error en 13,2%. L’aplicació i el codi font estan disponibles a https://sourceforge.net/projects/asr-for-medical-reporting/ baix llicència GNU (GPLv3)., A Elisa Caballero y Pedro Abreu por su gran disposición y colaboración durante el desarrollo de este trabajo de fin de máster. A los colaboradores del servicio de medicina nuclear del hospital Dr. Peset por su disposición y ayuda en los experimentos que se llevaron a cabo en este trabajo.

Els sistemes de reconeixement de veu han experimentat un augment durant els darrers anys gracies als avenços que s'han dut a terme en l'àmbit de la Intel·ligència Artificial. Tanmateix, la seva aplicació no gaudeix de gaire popularitat en el context de la pràctica de la traducció per diversos factors, entre els quals es troba la manca de precisió. Els objectius principals d'aquest treball se centren en la descripció de la integració dels sistemes de reconeixement automàtic de la parla (RAP) amb eines de traducció assistida per ordinador (TAO), en la valoració dels errors que es produeixin i en l'avaluació de la productivitat. Per dur-ho a terme, es treballarà amb els sistemes de RAP de Windows, Mac i memoQ, així com amb les eines de TAO: OmegaT, Memsource i memoQ. El pla de treball consistirà en la traducció d'un mateix text utilitzant les eines de TAO mitjançant el teclat i els sistemes de RAP esmentats. Amb els resultats, es farà una comparació del temps invertit en la traducció de cada segment i els possibles errors que hagin sorgit durant el procés. Los sistemas de reconocimiento de voz han experimentado un auge en los últimos años gracias a los avances que se están llevando a cabo en el ámbito de la Inteligencia Artificial. Sin embargo, su aplicación no goza de mucha popularidad en el contexto de la práctica de la traducción por diversos factores, entre los que se encuentra la falta de precisión. Los principales objetivos de este trabajo se centran en la descripción de la integración de los sistemas de reconocimiento automático del habla (RAH) con herramientas de traducción asistida (TAO), en la valoración de los errores que se produzcan y en la evaluación de la productividad. Para ello, se trabaja con los sistemas de RAH de Windows, Mac y memoQ, junto con las herramientas de TAO OmegaT, Memsource y memoQ. El plan de trabajo consiste en la traducción de un mismo texto utilizando las herramientas de TAO por medio del teclado y por medio de los sistemas de RAH mencionados para hacer una comparación del tiempo empleado en la traducción de cada segmento y los posibles errores que surjan durante el proceso. Nowadays, automatic speech recognition systems (ASR) have experienced an important growth thanks to the advances in the field of Artificial Intelligence. However, they are not very popular in the context of translation practice due to several factors, including the lack of accuracy. The main objectives of this work are focused on the description of the integration of the ASR systems with computer aided translation tools (CAT), and on the evaluation of the errors produced in the translation process and productivity. To this end, we will use Windows, Mac and memoQ ASR systems along with OmegaT, Memsource and memoQ. The work plan will include the translation of the same text by using CAT tools with the keyboard and the ASR systems mentioned above to make a comparison of the time spent in the translation of each segment and the possible errors that may arise in the process.

La traducció automàtica (TA) ha millorat notablement aquests darrers anys. No obstant això, la traducció de la parla i el processament del llenguatge natural encara són un desafiament per als sistemes de TA. Aquest treball sorgeix amb la motivació d'aportar una possible solució a la manca de naturalitat de la traducció automàtica per veu. La hipòtesi és que es pot millorar l'oralitat de les traduccions mitjançant corpus orals transcrits i optimitzacions en l'entrenament dels sistemes de TA. Per demostrar aquesta hipòtesi, es creen amb KantanMT (després d'haver provat amb MTradumàtica) sis motors de traducció automàtica estadística entrenats amb diferents corpus orals transcrits i escrits per després, evaluar-los. La traducción automática (TA) ha mejorado notablemente en los últimos años; sin embargo, la traducción del habla y el procesamiento del lenguaje natural siguen siendo todo un reto para los sistemas de TA. Este trabajo surge con la motivación de aportar una posible solución a la falta de naturalidad en la traducción automática del habla. Se parte de la hipótesis de que se puede mejorar la oralidad de las traducciones introduciendo corpus orales transcritos y optimizaciones en el entrenamiento de los sistemas de TA. Para probar esta hipótesis, se crean con KantanMT -tras probar MTradumàtica- seis motores de traducción automática estadística entrenados con distintos corpus orales transcritos y escritos y, después, se evalúan. Machine Translation (MT) has been greatly improved in recent years. Nevertheless, Spoken Language Translation (SLT) and natural language processing remain a major challenge for MT engines. The purpose of this work is to provide a possible solution to the lack of naturalness in SLT. The work is based on the hypothesis that it is possible to improve the orality of translations by introducing transcribed oral corpus and optimizations in the training process of MT systems. To test this hypothesis, six statistical machine translation engines, trained with different transcribed oral and written corpora, were created with KantanMT, after trying MTradumàtica, and then evaluated.

[ES] Los sistemas de asistente virtual deberían gestionar sistemas de diálogo en los que se deben reconocer las intenciones de los usuarios de forma precisa. Hoy en día, el mercado de los asistentes virtuales está dominado por unas pocas grandes empresas. Éstas intercambian la posibilidad de poseer dichos sistemas a cambio de los datos obtenidos de los usuarios de forma directa o indirecta. Los sistemas que se ofrecen en el mercado se mantienen conectados a la red para hacer uso de tecnologías que permitan devolver respuestas más elaboradas, a la vez que almacenan información del usuario en la nube. Esto genera preocupación acerca de la privacidad y hace estos sistemas dependientes de estar conectados continuamente a Internet, que no es accesible para todos los usuarios. En esta tesis, se propone una alternativa competitiva económicamente a los sistemas actuales cumpliendo las premisas de privacidad, uso sin conexión e implementación con librerías de código abierto., [EN] Virtual Asssistant Systems should manage dialog systems where user intentions must be identified precisely. Nowadays, virtual assistants market is dominated by a few large companies that exchange the possibility of owning those systems for the data collected from the user, directly or indirectly. The systems offered in the market keep connected to the Internet in order to use technologies that help returning better responses to the user along with storing users data in the cloud. This generates concern about privacy and makes those systems Internet dependent, which is not always accesible for every user. In this dissertation, we are proposing a economically competitive approach to the current systems offered satisfying the premises of privacy, offline and open-source implementation., [CA] Els sistemes d’assistent virtual haurien de gestionar sistemes de diàleg en els quals s’han de reconèixer les intencions dels usuaris de manera precisa. Avui en dia, el mercat dels assistents virtuals està dominat per unes poques grans empreses. Aquestes intercanvien la possibilitat de posseir aquests sistemes a canvi de les dades obtingudes dels usuaris de manera directa o indirecta. Els sistemes que s’ofereixen en el mercat es mantenen connectats a la xarxa per a fer ús de tecnologies que permeten retornar respostes més elaborades, alhora que emmagatzemen informació de l’usuari en el núvol. Això genera preocupació sobre la privacitat i fa aquests sistemes dependents d’estar connectats contínuament a Internet, que no és accessible per a tots els usuaris. En aquesta tesi, es proposa una alternativa competitiva econòmicament als sistemes actuals complint les premisses de privacitat, ús sense connexió i implementació amb llibreries de codi obert.

Referencias bibliográficas: p. 142-146. Los avances tecnológicos han propulsado la metodología de investigación en transcripción. Los programas para corpus lingüísticos basados en modelos estadísticos y de aprendizaje profundo han mejorado las fases de alineación y anotación. En cambio, cuando se trata de transcribir el material, la carga interpretativa y la propia naturaleza de las conversaciones obstaculizan la automatización del proceso. De esta manera, la transcripción de entrevistas destinadas al estudio de la lengua oral se sigue haciendo con un reproductor y un teclado, y puede convertirse en uno de los aspectos más largos del procesamiento de datos. Sin embargo, en otros contextos profesionales, el reconocimiento automático del habla se emplea para transcribir de forma eficaz gracias a la colaboración humano-computadora. Las técnicas y estrategias difieren, pero todas tienen en común que estabilizan las fluctuaciones de las herramientas informáticas y son más rápidas que otros métodos. En este estudio se ha utilizado una de ellas, el rehablado off-line con las entrevistas del Corpus oral de la lengua española en Montreal. Se ha medido el tiempo empleado, así como la precisión y se ha comparado con el reconocimiento automático del habla y con la mecanografía. El rehablado off-line ha permitido el uso de un programa automático de dictado en su estado actual como herramienta para potenciar la transcripción de entrevistas en menos tiempo y con menos errores. Abstract: Technological advances have propelled the research methodology in transcription. Language corpus tools based on statistical models and deep learning have improved the alignment and annotation phases. However, when it comes to transcribing the material, the conversation’s interpretive load and nature themselves hinder automation of the process. That is why interviews used for studying spoken language are still transcribed with a player and keyboard, which can constitute one of the most time-consuming aspects of data processing. In other professional contexts, automatic speech recognition is used to transcribe effectively through human-computer collaboration. The techniques and strategies may differ, but they all stabilize fluctuations in computing tools and are faster than other methods. In this study, the off-line respeaking method was used to transcribe the interviews of the Spoken Corpus of the Spanish Language in Montreal. Transcription times and accuracy were measured and compared with automatic speech recognition and typing. Off-line respeaking, using automatic speech-to-text software in its current state, proved to be the fastest and most error-free method for transcribing interviews. Disponible en formato .pdf Sitio web de la revista (Consulta: 28-01-2020)

There has been a good deal of research on machine speech-to-speech translation (S2ST) in Japan, and this article presents these and our own recent research on automatic simultaneous speech translation. The S2ST system is basically composed of three modules: large vocabulary continuous automatic speech recognition (ASR), machine text-to-text translation (MT) and text-to-speech synthesis (TTS). All these modules need to be multilingual in nature and thus require multilingual speech and corpora for training models. S2ST performance is drastically improved by deep learning and large training corpora, but many issues still still remain such as simultaneity, paralinguistics, context and situation dependency, intention and cultural dependency. This article presents current on-going research and discusses issues with a view to next-generation speech-to-speech translation. En Japón se han llevado a cabo muchas actividades de investigación acerca de la traducción automática del habla. Este artículo pretende ofrecer una visión general de dichas actividades y presentar las que se han realizado más recientemente. El sistema S2ST está formado básicamente por tres módulos: el reconocimiento automático del habla continua y de amplios vocabularios (Automatic Speech Recognition, ASR), la traducción automática de textos (Machine translation, MT) y la conversión de texto a voz (Text-to-Speech Synthesis, TTS). Todos los módulos deben ser plurilingües, por lo cual se requieren discursos y corpus multilingües para los modelos de formación. El rendimiento del sistema S2ST mejora considerablemente por medio de un aprendizaje profundo y grandes corpus formativos. Sin embargo, todavía hace falta tratar diversos aspectos, com la simultaneidad, la paralingüística, la dependencia del contexto y de la situación, la intención y la dependencia cultural. Por todo ello, repasaremos las actividades de investigación actuales y discutiremos varias cuestiones relacionadas con la traducción automática del habla de última generación. Al Japó s'han dut a terme moltes activitats de recerca sobre la traducció automàtica de la parla. Aquest article n'ofereix una visió general i presenta les activitats que s'han efectuat més recentment. El sistema S2ST es compon bàsicament de tres mòduls: el reconeixement automàtic de la parla contínua i de vocabularis extensos (Automatic Speech Recognition, ASR), la traducció automàtica de textos (Machine translation, MT) i la conversió de text a veu (Text-to-Speech Synthesis, TTS). Tots els mòduls han de ser plurilingües, per la qual cosa es requereixen discursos i corpus multilingües per als models de formació. El rendiment del sistema S2ST millora considerablement per mitjà d'un aprenentatge profund i de grans corpus formatius. Tanmateix, encara cal tractar diversos aspectes, com la simultaneïtat, la paralingüística, la dependència del context i de la situació, la intenció i la dependència cultural. Així, farem un repàs a les activitats de recerca actuals i discutirem diverses qüestions relacionades amb la traducció automàtica de la parla d'última generació.

El sistema de subtitulado automático offline desarrollado es una aplicación de escritorio que mediante un sistema de reconocimiento de voz analiza las frecuencias de audio, las compara con los modelos que representan el idioma español, finalmente el texto obtenido se presenta en pantalla, apoyando así el área de discapacidad auditiva y adulto mayor. The offline automatic subtitling system developed is a desktop application that uses a voice recognition system to analyze the audio frequencies, compare them with the models that represent the Spanish language, finally the text obtained is presented on the screen, thus supporting the area of hearing disability and older adult.

Incluye Resumen y Conclusiones en inglés, Tesis Univ. Granada. Departamento de Teoría de la Señal, Telemática y Comunicaciones. Leída el 15 de junio de 2009

Tesis Univ. Granada. Departamento de Teoría de la Señal Telemática y Comunicaciones. Leída el 5 de septiembre de 2011

This project consists of a implementation of a Spoken Language System that is part of the dialogue systems like Siri. The system is constituted by two independent blocks: Automatic Speech Recognition, in charge of identifying who is verbalizing the user and transforming a text, and the Spoken Language System, in charge of reading the text, identifying the significant parts of said text. Each of the compo- nents has been trained with different techniques and datasets since it does not share a common goal. In particular, for the development of the ASR module we have worked with a previously selected subset of the VoxForge English dataset, whose data has been trained using Hidden Markov Models for gener- ate the Acoustic Model. On the other hand, for the development of the SLU module we have worked with Recurrent Neural Networks and a variant of the ATIS dataset previously trained with the Word Embedding method. Although the precision obtained in all the components is more than acceptable, the performance of the integration of both components results unstable. Este proyecto consiste en la implementación de un sistema de lenguaje que forma parte de los sistemas de diálogo como Siri. El sistema está constituido por dos bloques independientes: Automatic Speech Recognition, encargado de identificar aquello que está verbalizando el usuario y transformalo a texto, y el Spoken Language System, encargado de dotar comprensión al texto, identificando las partes significativas de dicho texto. Cada uno de los componentes se ha entrenado con técnicas y datasets distintos ya que, no comparten un objetivo común. En concreto, para el desarrollo del módulo ASR se ha trabajado con un subset previamente seleccionado del dataset VoxForge English, cuyos datos han sido entrenados mediante Hidden Markov Models. Por otro lado, para el desarrollo del módulo SLU se ha trabajado con Redes Neuronales Recurrentes y un variante del dataset ATIS previamente entrenado con el método Word Embedding. Pese a que la precisión obtenida en los cada uno de los es más que aceptable, el funcionamiento de la integración de ambos resulta inestable. Aquest projecte consisteix en la implementació d'un sistema de llenguatge que forma part dels sistemes de diàleg com Siri. El sistema està constituït per dos blocs independents: Automatic Speech Recognition, encarregat d'identificar allò que està verbalizando l'usuari i transformalo a text, i el Spoken Language System, encarregat de dotar comprensió al text, identificant les parts significatives d'aquest text. Cadascun dels components s'ha entrenat amb tècniques i datasets diferents ja que, no comparteixen un objectiu comú. En concret, per al desenvolupament del mòdul ASR s'ha treballat amb un subset prèviament seleccionat del dataset VoxForge English, les dades del qual han estat entrenats mitjançant Hidden Markov Models. D'altra banda, per al desenvolupament del mòdul SLU s'ha treballat amb Xarxes Neuronals Recurrents i un variant del dataset ATIS prèviament entrenat amb el mètode Word Embedding. Malgrat que la precisió obtinguda en els cadascun dels és més que acceptable, el funcionament de la integració de tots dos resulta inestable.

Dentro del reconocimiento automático del habla, los modelos de lenguaje estadísticos basados en la probabilidad de secuencia de palabras (n-gramas) suponen uno de los dos pilares sobre los que se basa su correcto funcionamiento. En este trabajo se expone el impacto que tienen sobre las prestaciones de reconocimiento a medida que estos modelos se mejoran con más texto de mejor calidad, cuando estos se ajustan a la aplicación final del sistema, y por lo tanto, cuando se reducen el número de palabras fuera de vocabulario (Out Of Vocabulary - OOV). El reconocedor con los distintos modelos de lenguaje ha sido aplicado sobre cortes de audio correspondientes a tres marcos experimentales: oralidad formal, habla en noticiarios, y TED talks en gallego. Los resultados obtenidos muestran claramente una mejora sobre los marcos experimentales propuestos. Within the automatic speech recognition, statistical language models based on the probability of word sequences (n-grams) represent one of the two pillars on which its correct functioning is based. In this paper, the impact they have on the recognition result is exposed as these models are improved with more text of better quality, when these are adjusted to the final application of the system, and therefore, when the number out of vocabulary (OOV) words is reduced. The recognizer with the different language models has been applied to audio cuts corresponding to three experimental frames: formal orality, talk on newscasts, and TED talks in Galician. The results obtained clearly show an improvement over the experimental frameworks proposed. El trabajo realizado está enmarcado en el proyecto del Plan Nacional TraceThem TEC2015-65345-P y en la red gallega TecAnDaLi ED431D 2016/011 financiada por la Xunta de Galicia. Asimismo se beneficia de las ayudas de la Xunta de Galicia de Grupos de Referencia Competitiva GRC2014/024 y Agrupación Estratéxica Consolidada de Galicia acreditación 2016-2019 y a la Unión Europa a través de los fondos FEDER.

Producción Científica There are many software tools that rely on speech technologies for providing to users L2 pronunciation training in the field of Computer Assisted Pronunciation Training (CAPT) [1]. Currently the most popular mobile and desktop operating systems grant users a free access to several Text-To-Speech (TTS) and Automatic Speech Recognition (ASR) systems. The combination of adequate teaching methods and gamification strategies are expected to increase user engagement, provide an adequate feedback and, at the same time, keep users active and comfortable. This study describes the "Japañol" mobile application, a specific and controlled version of TipTopTalk! , a serious game for anywhere anytime self-learning, especially designed for Japanese learners of Spanish as a foreign language, that allows users to train and to test their pronunciation skills using their own Android mobile phones or Windows PCs. Ministerio de Economía, Industria y Competitividad, FEDER (Project TIN2014- 59852-R)