Search

[ES] El reconocimiento automático del habla (ASR, del inglés “Automatic Speech Recognition”) es una de las áreas más activas dentro de la inteligencia artificial y el aprendizaje automático. En esta área viene trabajando activamente el grupo de investigación "Machine Learning and Language Processing"(MLLP) del DSIC, principalmente a través de los proyectos europeos FP7 transLectures (2011-2014) y EMMA (2014-2016), el proyecto MINECO MORE (2016-2018), así como el proyecto europeo H2020 X5gon, el cual se encuentra en su primer año de ejecución (2017-2020). El trabajo desarrollado en estos proyectos ha dado lugar a sistemas avanzados de ASR en diversas lenguas, los cuales están siendo utilizados en el subtitulado automático de vídeos educativos del repositorio oficial de la UPV, “media UPV”, así como de repositorios de otras instituciones académicas como, por ejemplo, la Universidad Carlos III de Madrid, la Universidad de Lisboa y el Instituto Hasso Plattner alemán. Si bien el grupo MLLP ha desarrollado sistemas avanzados de ASR en diversas lenguas de la Unión Europea, tanto mayoritarias como minoritarias, hasta el momento no dispone de un sistema de ASR en Rumano que pudiera aplicarse a “media UP” u otros repositorios educativos. Una de las razones por las cuales no se dispone de dicho sistema es la falta de recursos lingüísticos en Rumano. Ahora bien, recientemente ha sido posible acceder a algunas fuentes de recursos lingüísticos en Rumano, por lo que que ya es posible construir un sistema de ASR en Rumano aceptablemente preciso. El trabajo que se propone, consiste en construir un sistema de ASR en Rumano tan preciso como sea posible, siempre dentro de las condiciones del TFG. Durante el TFG, se han realizado algunos trabajos experimentales que han conducido a la construcción y la evaluación del sistema ASR en Rumano objetivo del TFG., [CA] El reconeixement automàtic de la parla(ASR, del anglès “Automatic Speech Recognition”) es una de de les àrees més actives dins de la inteligència artificial i el aprenentatge automàtic. En aquesta àrea ve treballant activament el grup de investigació “Machine Learning and Language Processing” (MLLP) del DSIC, principalment a través dels projectes europeus FP7 transLectures (2011-2014) y EMMA (2014-2016), el projecte MINECO MORE(2016-2018), així com el projecte europeu H2020 X5gon, que es troba en el seu primer any de execució (2017-2020). El treball desenvolupat en aquests projectes ha donat lloc a sistemes avançats d’ASR en diverses llengües, els quals estàn siguent utilitzats en el subtitulat automàtic de vídeos educatius del repositòri oficial de la UPV, “media UPV”, així com de repositoris de altres institucions acadèmiques com, per exèmple, la Universitat Carlos III de Madrid, la Universitat de Lisboa y el Institut Hasso Plattner alemany. Si bé el grup MLLP ha desenvolupat sistemes avançats d’ASR en divèrses llengües de la Unió Europea, tant majoritàries com minoritàries, fins el moment no disposa d’un sistema d’ASR en Romanés que puguera aplicarse a “media UPV” o altres repositòris educatius. Una de les raons per les quals no disposa d’un sistema semblant és la falta de recursos llingüístics en Romanés. Ara bé, recentment ha sigut possible accedir a algunes fonts de recursos llingüístics en Romanés, per lo que que ja és possible construir un sistema d’ASR en Romanés acceptablement precís. El treball que es proposa consisteix en construir un sistema d’ASR en Romanés tan precís com siga possible, sempre dintre de les condicions del TFG. Durant el TFG, s’ha portat a terme alguns treballs experimentals que han conduït a la construcció y evaluació del sistema ASR en Romanés objectiu del TFG., [EN] Automatic Speech Recognition, or ASR, is one of the most active areas in artifficial intelligence and machine learning. The investigation group “Machine Learning and Language Processing” (MLLP) from DSIC deparment is actively mainly working in this area through the european projects FP7 transLectures (2011-2014) and EMMA (2014-2016), the MINECO MORE project (2016-2018), and the european project H2020 X5gon, which is in it’s first year of execution (2017-2020). The work developed in this projects led to advanced ASR systems in different languages, which are used to subtitle educational videos automatically from the official repository of the UPV, “media UPV”, and also other repositorys from other institutions such as “Universidad Carlos III” from Madrid, Lisbon University and the german Institute Hasso Plattner. Althought MLLP group has developed advanced ASR systems for different majority and minority languages from the European Union, it does not have any ASR system for Romanian language that can be used for “media UPV” or other educational repositorys. One of the reasons why this system is not available is because of the lack of Romanian linguistic resources. However, recently it was possible to access a few Romanian linguistic resources, so it is already possible to build an Romanian ASR system that is accurate enough. The proposed project consists in building a Romanian ASR system as accurate as possible inside the terms of the TFG. During the TFG, many experimental tasks have been done that led to the building and evaluating the objective of the TFG which is the Romanian ASR system

[EN] This thesis work contributes to the field of the {Automatic Speech Recognition} (ASR). And particularly to the {Interactive Speech Transcription} and {Confidence Measures} (CM) for ASR.The main goals of this thesis work can be summarised as follows:1. To design IST methods and tools to tackle the problem of improving automatically generated transcripts.2. To assess the designed IST methods and tools on real-life tasks of transcription in large educational repositories of video lectures.3. To improve the reliability of the IST by improving the underlying (CM).Abstracts:The {Automatic Speech Recognition} (ASR) is a crucial task in a broad range of important applications which could not accomplished by means of manual transcription. The ASR can provide cost-effective transcripts in scenarios of increasing social impact such as the {Massive Open Online Courses} (MOOC), for which the availability of accurate enough is crucial even if they are not flawless. The transcripts enable search-ability, summarisation, recommendation, translation; they make the contents accessible to non-native speakers and users with impairments, etc. The usefulness is such that students improve their academic performance when learning from subtitled video lectures even when transcript is not perfect. Unfortunately, the current ASR technology is still far from the necessary accuracy.The imperfect transcripts resulting from ASR can be manually supervised and corrected, but the effort can be even higher than manual transcription.For the purpose of alleviating this issue, a novel {Interactive Transcription of Speech} (IST) system is presented in this thesis. This IST succeeded in reducing the effort if a small quantity of errors can be allowed; and also in improving the underlying ASR models in a cost-effective way.In other to adequate the proposed framework into real-life MOOCs,another intelligent interaction methods involving limited user effort were investigated. And also, it was introduced a new method which benefit from the user interactions to improve automatically the unsupervised parts ({Constrained Search} for ASR).The conducted research was deployed into a web-based IST platform with which it was possible to produce a massive number of semi-supervised lectures from two different well-known repositories, videoLectures.net and poliMedia.Finally, the performance of the IST and ASR systems can be easily increased by improving the computation of the {Confidence Measure} (CM) of transcribed words. As so, two contributions were developed: a new particular {Logistic Regresion} (LR) model;and the speaker adaption of the CM for cases in which it is possible, such with MOOCs., [ES] Este trabajo contribuye en el campo del {reconocimiento automático del habla} (RAH). Y en especial, en el de la {transcripción interactiva del habla} (TIH) y el de las {medidas de confianza} (MC) para RAH. Los objetivos principales son los siguientes:1. Diseño de métodos y herramientas TIH para mejorar las transcripciones automáticas.2. Evaluar los métodos y herramientas TIH empleando tareas de transcripción realistas extraídas de grandes repositorios de vídeos educacionales.3. Mejorar la fiabilidad del TIH mediante la mejora de las MC.Resumen: El {reconocimiento automático del habla} (RAH) es una tarea crucial en una amplia gama de aplicaciones importantes que no podrían realizarse mediante transcripción manual. El RAH puede proporcionar transcripciones rentables en escenarios de creciente impacto social como el de los {cursos abiertos en linea masivos} (MOOC), para el que la disponibilidad de transcripciones es crucial, incluso cuando no son completamente perfectas. Las transcripciones permiten la automatización de procesos como buscar, resumir, recomendar, traducir; hacen que los contenidos sean más accesibles para hablantes no nativos y usuarios con discapacidades, etc. Incluso se ha comprobado que mejora el rendimiento de los estudiantes que aprenden de videos con subtítulos incluso cuando estos no son completamente perfectos.Desafortunadamente, la tecnología RAH actual aún está lejos de la precisión necesaria.Las transcripciones imperfectas resultantes del RAH pueden ser supervisadas y corregidas manualmente, pero el esfuerzo puede ser incluso superior al de la transcripción manual. Con el fin de aliviar este problema, esta tesis presenta un novedoso sistema de {transcripción interactiva del habla} (TIH).Este método TIH consigue reducir el esfuerzo de semi-supervisión siempre que sea aceptable una pequeña cantidad de errores; además mejora a la par los modelos RAH subyacentes.Con objeto de transportar el marco propuesto para MOOCs, también se investigaron otros métodos de interacción inteligentes que involucran esfuerzo limitado por parte del usuario. Además, se introdujo un nuevo método que aprovecha las interacciones para mejorar aún más las partes no supervisadas (ASR con {búsqueda restringida}).La investigación en TIH llevada a cabo se desplegó en una plataforma web con el que fue posible producir un número masivo de transcripciones de videos de dos conocidos repositorios, videoLectures.net y poliMedia.Por último, el rendimiento de la TIH y los sistemas de RAH se puede aumentar directamente mediante la mejora de la estimación de la {medida de confianza} (MC) de las palabras transcritas. Por este motivo se desarrollaron dos contribuciones: un nuevo modelo discriminativo {logístico} (LR); y la adaptación al locutor de la MC para los casos en que es posible, como por ejemplo en MOOCs., [CAT] Aquest treball hi contribueix al camp del {reconeixment automàtic de la parla} (RAP).I en especial, al de la {transcripció interactiva de la parla} i el de {mesures de confiança} (MC) per a RAP.Els objectius principals són els següents:1. Dissenyar mètodes i eines per a TIP per tal de millorar les transcripcions automàtiques.2. Avaluar els mètodes i eines TIP per a tasques de transcripció realistes extretes de grans repositoris de vídeos educacionals.3. Millorar la fiabilitat del TIP, mitjançant la millora de les MC.Resum: El {reconeixment automàtic de la parla} (RAP) és una tasca crucial per una àmplia gamma d'aplicacions importants que no es poden dur a terme per mitjà de la transcripció manual. El RAP pot proporcionar transcripcions en escenaris de creixent impacte social com els {cursos online oberts massius} (MOOC). Les transcripcions permeten automatitzar tasques com ara cercar, resumir, recomanar, traduir; a més a més,fa accessibles els continguts als parlants no nadius i els usuaris amb discapacitat, etc. Fins i tot, pot millorar el rendiment acadèmic de estudiants que aprenen de xerrades amb subtítols, encara que aquests subtítols no siguen perfectes. Malauradament, la tecnologia RAP actual encara està lluny de la precisió necessària. Les transcripcions imperfectes resultants de RAP poden ser supervisades i corregides manualment, però aquest l'esforç pot acabar sent superior a la transcripció manual. Per tal de resoldre aquest problema, en aquest treball es presenta un sistema nou per a {transcripció interactiva de la parla} (TIP). Aquest sistema TIP va ser reeixit en la reducció de l'esforç per quan es pot permetre una certa quantitat d'errors;així com també en en la millora dels models RAP subjacents. Per tal d'adequar el marc proposat per a MOOCs, també es van investigar altres mètodes d'interacció intel·ligents amb esforç d''usuari limitat. A més a més, es va introduir un nou mètode que aprofita les interaccions per tal de millorar encara més les parts no supervisades (RAP amb {cerca restringida}). La investigació en TIP duta a terme es va desplegar en una plataforma web amb la qual va ser possible produir un nombre massiu de transcripcions semi-supervisades de xerrades de repositoris ben coneguts, videoLectures.net i poliMedia. Finalment, el rendiment de la TIP i els sistemes de RAP es pot augmentar directament mitjançant la millora de l'estimació de la {Confiança Mesura} (MC) de les paraules transcrites. Per tant, es van desenvolupar dues contribucions: un nou model discriminatiu logístic (LR);i l'adaptació al locutor de la MC per casos en que és possible, per exemple amb MOOCs., Sánchez Cortina, I. (2016). Confidence Measures for Automatic and Interactive Speech Recognition [Tesis doctoral no publicada]. Universitat Politècnica de València. doi:10.4995/Thesis/10251/61473., TESIS

Siguiendo legislación en España, en televisión se deben alcanzar unas cuotas en el servicio de subtitulado para personas sordas, además, los subtítulos deben elaborarse siguiendo normativa. Este marco regulador conlleva una demanda de tecnología que facilite a los radiodifusores y productores de contenido la generación de subtitulado, como es la generación automática de subtitulado a partir de reconocimiento de audio. En este trabajo se presenta “SAGAS, Sistema Avanzado de Generación Automática de Subtítulos”, que proporciona subtítulos adecuados a la norma española para contenido vídeo que vaya acompañado de un guión o transcripción. Following legislation in Spain specific TV quotas must achieved in Subtitling Service for deaf people and additionally subtitles should be developed according to regulations. This regulatory framework implies a technology demand to facilitate broadcasters and content producers to generate subtitling, like automatic subtitling from Automatic Speech Recognition (ASR). This paper introduces “SAGAS prototype (Advanced System for automatic generation of subtitles)” which provides subtitles according to Spanish standard from an audio and a transcript.

El subtitulado de programas de televisión en directo constituye el principal reto tecnológico actual para la accesibilidad de programas que se emiten en tiempo real en las cadenas de televisión. En la mayoría de estos programas no existe la posibilidad de anticipar la transcripción a texto del audio del programa para su posterior paso a subtítulos y difusión en la señal de televisión. Aunque existen diferentes apoyos tecnológicos y metodologías asociadas para la conversión de audio a texto en tiempo real, la principal alternativa de cara al subtitulado masivo de programas televisivos en directo es el uso de herramientas basadas en reconocimiento automático del habla (ASR). Las herramientas de ASR, aplicadas a la señal de audio del programa televisivo, permiten generar una transcripción del discurso, pero siempre con un retardo respecto al audio original. Existe sin embargo la posibilidad de generar una versión del canal de TV en la que el vídeo, el audio y los subtítulos se hagan llegar al usuario de manera sincronizada. En este proyecto se exploran las posibilidades que ofrece DVB y el subtitulado DVB para la obtención de un flujo de subtítulos DVB-SUB sincronizado con los flujos de vídeo y audio, y su posterior distribución en redes IPTV. Dentro del subtitulado DVB se pondrán a disposición del usuario dos alternativas de codificación: la basada en píxeles (imágenes) y la basada en cadenas de caracteres. Los resultados del proyecto permiten concluir que la sincronización de subtítulos en tiempo real es viable, y que la obtención de un flujo de televisión con subtítulos sincronizados puede ser implantado en los programas de televisión en directo. Por otro lado, a la vista de de los resultados obtenidos, en futuros sistemas de subtitulado automático sincronizado se recomienda el uso de la codificación basada en píxeles, dado que es la que se encuentra ampliamente extendida entre los fabricantes de receptores TDT y la que además, ofrece mejores prestaciones al público al que va dirigido. ----------------------------------------------------------------------------------------------------------------------------------------------------------------------- Nowadays, subtitling in live television represents the main technological challenge for the accessibility of real time TV programs. In the great majority of these programs there is no possibility of bringing forward the text to audio transcription of the program so that it could be turned into subtitles and finally be broadcast. Although there exist different technological supports and its associated methodologies for audio to text conversion in real time, the main alternative in mass live television programs subtitling is the use of tools based on the automatic speech recognition (ASR). ASR tools, applied to the audio signal of the TV program, allow generating a transcription of the speech, but always with a delay respect to the original audio. However, there exists the possibility of generating a program version in which the video, the audio and the subtitles are synchronized. In this project we will investigate the possibilities offered by DVB and the DVB subtitling system in order to obtain a DVB-SUB subtitle stream synchronized with the video and audio streams, and its subsequent distribution in IPTV networks. Within DVB subtitling, the project will offer to the user two different coding alternatives: coding of pixels and coding based on strings of characters. The achieved results allow us to conclude that synchronization in real time subtitling is feasible and it could be applied to live television programs in order to achieve a television stream with synchronized subtitles. On the other hand, considering the achieved results, in future automatic synchronized subtitling systems it is recommended to use the coding based on pixels, since it is widely spread out among the DVB receiver manufacturers and, what is more, because it offers better performance to the audience. Ingeniería de Telecomunicación