Search

In this paper, we present a multilingual database specifically designed to develop technologies for rich audio-visual scene description in meeting-room environments. Part of that database includes the already existing CHIL audio-visual recordings, whose annotations have been extended. A relevant objective in the new recorded sessions was to include situations in which the semantic content can not be extracted from a single modality. The presented database, that includes five hours of rather spontaneously generated scientific presentations, was manually annotated using standard or previously reported annotation schemes, and will be publicly available for the research purposes.

There may be a lot of abusive behaviour in conversations between teenagers, which take place through social media. In this project, we develop classifiers to find out which texts present abuse such as violence, sexual behaviour, disorder, anxiety... For this reason, we use different classifiers that take advantage of the most recent techniques based on language modeling using deep neural networks, namely Transformers. But we find it difficult to obtain supervised data, i.e. data tagged with the feeling it contains. Luckily, thanks to the countless sources of information available on the Internet, we can get unsupervised data and examples of text on the Internet. Consequently, this project aims to explore the possibility of using unsupervised data, beyond using a supervised set to train a system in the task of sentiment classification. More specifically in short texts, in informal contexts and in Catalan and Spanish. We have a set of about 200,000 supervised samples and a set of 300,000 unsupervised samples. We will introduce and study different models of Transformers (BERT, GAN- BERT, XLM-RoBERTa and ELECTRA) and their performance in the work of sentiment analysis. To finish with, based on models that achieve a better score in the binary classification task of feelings, i.e. with ELECTRA and XLM-RoBERTa, we construct a multi- label classifier. En las conversaciones entre adolescentes, que se dan por medio de las redes sociales, pueden existir muchos comportamientos abusivos. En este proyecto desarrollamos clasificadores que detecten qué textos presentan algún abuso como violencia, conductas sexuales, desórdenes, ansiedad... Por este motivo, usamos diferentes clasificadores que aprovechan las técnicas más recientes basadas en modelado de lenguaje mediante redes neuronales profundas, concretamente Transformers. Pero nos encontramos con la dificultad de obtener datos supervisados, es decir datos etiquetados con el sentimiento que contiene. Por suerte, gracias a la infinidad de fuentes de información de las que disponemos en la red, podemos conseguir datos y ejemplos de texto no supervisado a internet. Por consiguiente, este proyecto quiere explorar la posibilidad de utilizar datos no supervisados, más allá de usar un conjunto de datos supervisado para entrenar un sistema en la tarea de clasificación de sentimientos. Más concretamente en textos cortos, en contextos informales y de lengua catalana y castellana. Contamos con un set de cerca de 200.000 muestras supervisadas y un set de 300.000 muestras no supervisadas. Introduciremos y estudiaremos diferentes modelos de Transformers (BERT, GAN-BERT, XLM-RoBERTa y ELECTRA) y su rendimiento en la tarea de análisis de sentimientos. Finalmente, a partir de los modelos que consiguen una mejor puntuación en la tarea de clasificación binaria de sentimientos, es decir con ELECTRA y XLM-RoBERTa, construimos un clasificador multi-etiqueta. En les converses entre adolescents, que es donen per mitjà de les xarxes socials, poden existir molts comportaments abusius. En aquesta tesi desenvolupem classificadors que detectin quins textos presenten algun abús com violència, conductes sexuals, desordres, ansietat... Per aquest motiu, faig servir diferents classificadors que aprofiten les tècniques més recents basades en modelat de llenguatge mitjançant xarxes neuronals profundes, concretament Transformers. Però ens trobem amb la dificultat d?obtenir dades supervisades, és a dir dades etiquetades amb el sentiment que conté. Per sort, gràcies a la infinitat de fonts d?informació de les que disposem a la xarxa, podem aconseguir dades i exemples de text no supervisat a internet. Per consegüent, aquest projecte vol explorar la possibilitat d'utilitzar dades no supervisades, més enllà de fer servir un set supervisat per entrenar un sistema en la tasca de classificació de sentiments. Més concretament en textos curts, en contextos informals i de llengua catalana i castellana. Comptem amb un set de prop de 200.000 mostres supervisades i un set de 300.000 mostres no supervisades. Introduirem i estudiarem diferents models de Transformers (BERT,GAN-BERT,XLM-Roberta i Electra) i el seu rendiment en la tasca d'anàlisi de sentiments. Finalment, a partir dels models que aconsegueixen una millor puntuació en la tasca de classificació binària de sentiments, és a dir amb Electra i XLM-Roberta, construïm un classificador multi-label

In this master thesis we develop a model that surpasses previous studies to be able to detect cyberbullying and other disorders that are a common behaviour in teenagers. We analyze short sentences in social media with new techniques that haven?t been studied in depth in language processing in order to be able to detect these problems. Deep learning is nowadays the common approach for text analysis. However, struggling with dataset size is one of the most common problems. It is not optimal to dedicate thousands of hours to label data by humans every time we want to create a new model. Different techniques have been used over the years to solve or at least minimize this problem, for instance transfer learning or self-learning. One of the most known ways to solve this is by data augmentation. In this thesis we make use of active learning and self-training to address having restrictions of labelled data. We have used data that has not been labeled to improve the performance of our models. The architecture of the model is composed of a Bert model plus a linear layer that projects the Bert sentence embedding into the number of classes we want to detect. We take advantage of this already functional model to label new data that we will use afterwards to create our final model. Using noise techniques we modify the data so the final model has to predict less structured data and learn from difficult scenarios. Thanks to this technique we were able to improve the results in some of the classes, for instance the F-score modified increases by 7% for substance abuse (drugs, alcohol, etc) and 3% in disorders (anxiety, depression and distress) while keeping the performance of the other classes.

Automatic Speech Recognition (ASR), or speech to text conversion, has been subject to many researchers for decades due to its various applications. In this project I propose to implement an ASR based on Hidden Markov Model (HMM) and Deep Neuronal Network (DNN) using Kaldi toolkit. Once a HMM baseline system has been built, I experimented using various transformations and neural networks. Then, more data has been added to the system to try to optimize it. Finally, the results of the transcripts have been analyzed to know where the model fails and propose future improvements. El reconocimiento automático del habla, también denominado conversión de voz a texto, ha sido motivo de numerosas investigaciones durante décadas debido a sus diversas utilidades. En este proyecto se ha implementado un modelo automático del habla en español basado en modelos ocultos de Markov (MOM) y redes neuronales profundas (DNN) usando la herramienta Kaldi. Una vez se ha implementado un sistema de referencia con MOM, se ha experimentado usando varias transformadas y redes neuronales. Después, se ha añadido más datos en el sistema para intentar optimizarlo. Finalmente, se ha analizado los resultados de las transcripciones para saber en qué falla el modelo y poder proponer futuras mejoras.

This project explores several pipelines to accurately perform text classification in a very specific task, which consists on classifying Catalan and Spanish short texts with very informal language by kids and teenagers. The classification categories are the following abusive topics: aggression and violence, substances, sexuality and disorders (anxiety, depression or distress). We count on a small, highly unbalanced, supervised dataset of approximately 200.000 examples. We first added a robust preprocessing to our database and then we built and tested several pipelines, exploring vectorization (TF-IDF, Doc2Vec) and AI classification techniques (RF, SVM, BERT). The best one was the multilingual version of BERT with our proposed preprocessing without stemming. Another pipeline achieved similar results (surpassing BERT in one of the categories) with a much faster computing time, and that is using a BERT model for extracting embeddings of our short texts and classifying them using SVM. Este proyecto explora varios procesos para realizar con precisión clasificación de texto en una tarea muy específica, que consiste en clasificar textos breves en catalán y español con un lenguaje muy informal escritos por niños y adolescentes. Las categorías de clasificación son los siguientes temas abusivos: agresión y violencia, sustancias, sexualidad y trastornos (ansiedad, depresión o angustia). Contamos con un pequeño conjunto de datos supervisados altamente desequilibrados de aproximadamente 200,000 ejemplos. Primero agregamos un preprocesamiento robusto a nuestra base de datos y luego construimos y probamos varios procesos, explorando la vectorización (TF-IDF, Doc2Vec) y las técnicas de clasificación IA (RF, SVM, BERT). La mejor fue la versión multilingüe de BERT con nuestro preprocesamiento propuesto sin "stemming". Otro proceso logró resultados similares (superando BERT en una de las categorías) con un tiempo de cómputo mucho más rápido, y es la que usó un modelo BERT para extraer "embeddings" de nuestros textos cortos y clasificarlos usando SVM. Aquest projecte explora diversos processos per a realitzar una classificació de textos amb precisió en una tasca molt específica, que consisteix en classificar textos breus en català i castellà amb un llenguatge molt informal escrits per nens i adolescents. Les categories de classificació són les següents: agressió i violència, substàncies, sexualitat i trastorns (ansietat, depressió o angoixa). Comptem amb un petit conjunt de dades supervisat, molt desequilibrat, d'aproximadament 200.000 exemples. Primer vam afegir un preprocessament robust a la nostra base de dades i després vam crear i provar diversos processos, explorant tècniques de vectorització (TF-IDF, Doc2Vec) i de classificació IA (RF, SVM, BERT). El millor procés és la multilingüe de BERT amb la nostra proposta de preprocessament sense "stemming". Un altre procés va obtenir resultats similars (superant BERT en una de les categories) amb un temps de computació molt més ràpid, i és la que utilitza un model BERT per extreure "embeddings" dels nostres textos breus i classificar-los mitjançant SVM.

The following document will drive the reader through the whole development of a project consisting in the investigation of the feasibility and development of an access control security system that uses voice biometrics as its cornerstone to make rooms as safe and controlled as possible in a two-factor authentication approach using open software. For that, an initial decision is presented, in which the technology that is going to be used to make the Speaker Recognition functionality possible is chosen. A detailed explanation of it is included so that the reader will know and understand the basics to follow the project development. With this, the document will go step by step through the different stages that I have faced and the requirements that came up and I had to adapt to, including the integration of the system that is nowadays up and running at IIT. The User Interface of the final application is presented together with an explanation of every step that users will have to follow to use the system correctly. Last, an estimation of the costs associated to this project is presented, which will give the reader an idea of how much starting this project from scratch would cost if the same hardware is used. Also, for those developers that would like to get some of this functionality in their systems, a link to a GitHub repository where they can find the code is also given.

Nowadays, the incidence of the communications systems in companies have acquire a vital importance, especially when it comes to: mistakes, problems and catastrophic situation that show up even in the most unexpected moments. This facts drives the creation of a good monitoring system that constantly observes the system and service availability of the remote host. The aim of the project is to avoid errors in the systems in order to detect and analyze the critical points before they cause a communication incident. These project invite the reader to know the design and implantation of a monitoring tool that has been created by the author of the project. One’s has worked as an analyst, developer and infrastructure network designer. It will be released step by step the monitoring tool implementation and the configuration of the system. Actualmente los problemas de sistemas de comunicación en las empresas son de vital importancia, especialmente cuando se trata de: fallos, problemas y situaciones catastróficas que suelen surgir hasta en las situaciones menos esperadas. Por este motivo es esencial un buen sistema de monitorización que observe constantemente la disponibilidad de sistemas y servicios de la red monitorizada. La realización de este proyecto es impulsada para evitar dichos fallos en los sistemas con el fin de detectar y analizar los puntos críticos antes de provocar una incidencia. El presente proyecto invita al lector a conocer el diseño y la implantación de un sistema de monitorización, creado desde sus inicios por la autora del proyecto que asume roles de analista, desarrolladora y diseñadora de infraestructuras de red. También se dará a conocer paso a paso el despliegue de la herramienta de monitorización tanto en la instalación como en la configuración del sistema. Actualment els problemes dels sistemes de comunicació en les empreses són de vital importància, especialment quan es tracta de: fallades, problemes i situacions catastròfiques que solen sorgir fins i tot en les situacions menys esperades. Per aquest motiu és essencial un bon sistema de monitoratge que observi constantment la disponibilitat de sistemes i serveis de la xarxa monitoritzada. La realització d'aquest projecte és impulsada per evitar aquestes fallades en els sistemes amb la finalitat de detectar i analitzar els punts crítics abans de provocar una incidència. El present projecte convida al lector a conèixer el disseny i la implantació d'un sistema de monitoratge, creat des dels seus inicis per l'autora del projecte que assumeix rols d'analista, desenvolupadora i dissenyadora d'infraestructures de xarxa. També es donarà a conèixer pas a pas el desplegament de l'eina de monitoratge tant en la instal·lació com en la configuració del sistema

In this project, a chorus effect for audio signals will be developed. Factors to analyze: - Number of voices - Number and waveshape of oscillators - Frequency control based on input signal parameters. Design and implementation of a chorus effect in a real time embedded system has been devised, introducing novel concepts in the canonical architecture of such effects. Se ha llevado a término el diseño e implementación de un efecto de tipo chorus en un sistema empotrado en tiempo real, introduciendo algunas novedades en la arquitectura canónica de este tipo de efectos. El disseny i implementació d'un efecte de chorus en un sistema encastat en temps real s'ha dut a terme, introduint algunes novetats en l'arquitectura canònica d'aquest tipus d'efectes.