Search

Tese (doutorado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2019. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). As métricas objetivas de avaliação de qualidade de sinais tem o objetivo de prever a qualidade dos sinais percebida pelo ser humano. Uma das áreas de qualidade de maior interesse nos últimos anos é o desenvolvimento de métricas de qualidade para sinais áudio-visuais. A maioria das propostas nesta área estão baseadas na aferição da qualidade individual das componentes de áudio e vídeo. Porém, o modelamento da complexa interação existente entre as componentes de áudio e vídeo ainda é um grande desafio. Nesta tese, o objetivo é desenvolver uma métrica, baseado em ferramentas de aprendizado de máquina (Machine Learning - ML), para a aferição da qualidade de sinais áudio-visuais. A proposta utiliza como entrada um conjunto de características descritivas das componentes de áudio e vídeo e aplica Deep Autoencoders para gerar um novo conjunto de características descritivas que representa a interação entre as componentes de áudio e vídeo. O modelo está composto por várias fases, que realizam diferentes tarefas. Primeiramente, são extraídos um conjunto de características descritivas que descrevem características das componentes de áudio e vídeo. Na próxima fase, um autoencoder de duas camadas produz um novo conjunto de características descritivas. Em seguida, uma função de classificação mapeia as características descritivas em escores de qualidade audiovisual. Para garantir a precisão nos resultados, o modelo é treinado utilizando um conjunto de dados que representa todos os artefatos considerados no modelo. O modelo foi testado tanto com no banco de dados gerado neste trabalho, como em uma base de dados extensa e pública. Os resultados mostraram que esta abordagem obtém predições de qualidade, cujos valores estão altamente correlacionadas com os escores de qualidade obtidos em experimentos subjetivos. The development of models for quality prediction of both audio and video signals is a fairly mature field. But, although several multimodal models have been proposed, the area of audiovisual quality prediction is still an emerging area. In fact, despite the reasonable performance obtained by combination and parametric metrics, currently there is no reliable pixel-based audiovisual quality metric. The approach presented in this work is based on the assumption that autoencoders, fed with descriptive audio and video features, might produce a set of features that is able to describe the complex audio and video interactions. Based on this hypothesis, we propose a set of multimedia quality metrics: video, audio and audiovisual. The visual features are natural scene statistics (NSS) and spatial-temporal measures of the video component. Meanwhile, the audio features are obtained by computing the spectrogram representation of the audio component. The model is formed by a 2-layer framework that includes an autoencoder layer and a classification layer. These two layers are stacked and trained to build the autoencoder network model. The model is trained and tested using a large set of stimuli, containing representative audio and video artifacts. The model performed well when tested against the UnB-AV and the LiveNetflix-II databases.

Nesta dissertação é estudada a avaliação da qualidade em sinais áudio-visuais, especificamente a avaliação subjetiva e objetiva de sinais em alta definição. O procedimento mais preciso para a aferição da qualidade é a avaliação utilizando experimentos psico-físicos (subjetivos) com observadores humanos. Esta metodologia demanda um longo período de tempo e um elevado custo operacional. Uma alternativa consiste em utilizar métricas objetivas para obter uma estimação da qualidade do sinal multimídia. As métricas objetivas podem ser classificadas segundo a quantidade de informação necessária para estimar a qualidade do sinal: (1) Referência Completa (FullReference (FR)), (2) Referência Reduzida (ReduceReference (RR)), e (3) Sem Referência (No-Reference(NR)). O objetivo desta dissertação é propor modelos de qualidade objetivos e subjetivos para sinais multimídia (áudio e vídeo), ou seja modelos áudio-visuais. Os modelos subjetivos são baseados nos dados experimentais, enquanto que os modelos objetivos (métricas FR e NR) são obtidos através de uma função de combinação de métricas de áudio e vídeo. São descritos os três experimentos psico-físicos realizados com o fim de estudar a relação entre as componentes de áudio e vídeo. Com o objetivo de obter um modelo áudio-visual objetivo, duas métricas sem-referência (NR) de áudio e vídeo foram propostas. Ao todo, são propostos neste trabalho três modelos subjetivos, três modelos objetivos com-referência (FR) e três modelos objetivos sem-referência (NR). Os resultados apresentados mostram que os modelos conseguem estimar os valores de qualidade áudio-visual de forma aceitável. O desempenho destes modelos foi comparado com o desempenho de propostas existentes na literatura. ________________________________________________________________________________________ ABSTRACT In this work, we studied audio-visual quality assessment models, focusing on the subjective and objective quality assessment of high de nition signals. The most accurate method to determine the quality of a video is by using psychophysical experiments with human subjects (subjective metrics). However, these kinds of methods are expensive and time-consuming. Objective metrics represent a good alternative for measuring video quality. They can be classi ed according to the amount of reference (original) information used to stimate the signal quality: Full Reference (FR), Reduced Reference (RR), and No-Reference (NR) metrics. The main objective of this dissertation is to propose subjective and objective quality models to calculate the quality of multimedia (audio and video) signals, i.e. audio-visual signals. Subjective models are designed by collecting data from psychophysical experiments; meanwhile, objective models (FR and NR metrics) use quality measures of audio and video (from an audiovisual signal) and combine them into a single measure. Three psychophysical experiments were performed, with the goal of studing the relation between the audio and video components of an audio-visual signal. Moreover, in order to model the audio-visual quality metrics, two quality metrics (NR) for audio and video were proposed. In sumary, we introduce three subjective models, three FR objective models, and three NR objective models to estimate the audio-visual quality of a signal. The performance of these models was compared with the performance of other metrics available in the literature.