Search

Esta dissertação tem como objetivo avaliar algoritmos de segmentação para imagens de sensoriamento remoto. Quatro algoritmos de segmentação foram considerados neste estudo. Esses algoritmos têm abordagens diferentes tais como baseado em agrupamento, em crescimento de regiões, em modelos bayesianos e em grafos. Como cada algoritmo tem os seus próprios parâmetros, o processo de encontrar seus parâmetros ótimos foi feito usando um algoritmo de otimização, Nelder - Mead. O algoritmo Nelder - Mead procura os melhores parâmetros para cada algoritmo de segmentação, isto é, os parâmetros que proporcionam os resultados mais exatos com respeito a uma referência dada. A função objetivo foi definida a partir de sete métricas diferentes. Eles avaliam qualitativamente o resultado da segmentação baseadas na sua referência. Os experimentos foram realizados ao longo de três imagens de sensoriamento remoto de diferentes localidades do Brasil. Isso envolveu um total de 84 experimentos. Os resultados mostraram que as abordagens baseadas em grafos produzem os melhores resultados baseados em todas as métricas. As abordagens baseadas no crescimento de regiões e agrupamento apresentaram-se como boas opções para imagens de sensoriamento remoto. This dissertation aims to evaluate segmentation algorithms for remote sensing images. Four segmentation algorithms were considered in this study. These algorithms have different approaches such as clustering-based, region growing-based, bayesian-based and graph-based. As each algorithm has its own parameters, the process to find their optimum values was done using an optimization algorithm, Nelder - Mead. Nelder - Mead algorithm looks for the best parameters for each segmentation algorithm, i.e. the parameters that provide the most accurate results with respect to a given reference. The objective function was defined by seven different metrics. These metrics assess qualitatively the segmentation result based on its reference. The experiments were performed over three remote sensing images from different locations of Brazil. A total of 84 experiments have been performed. The results have shown that graph-based approaches produce the best results based on each metric. The region growing- and clustering-based approaches have shown to be good alternatives for remote sensing images.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR PROGRAMA DE EXCELENCIA ACADEMICA A captura de cenas de cobertura da Terra com sensores óticos de satélite é frequentemente limitada pela presença de nuvens que corrompem as imagens coletadas. Entre os métodos para recuperar imagens óticas de satélite corrompidas por nuvens, várias abordagens de tradução de imagemimagem usando Redes Adversárias Generativas (GANs) têm surgido com bons resultados, conseguindo criar imagens óticas realistas a partir de imagens de Radar de Abertura Sintética (SAR). Os métodos baseados em GANs condicionais (cGAN) propostos até agora para a síntese de imagens SAR-óticas tendem a produzir imagens ruidosas e com pouca nitidez. Neste trabalho, propomos a atrous-cGAN, uma nova arquitetura que melhora a transformação de imagem SAR em ótica. As redes propostas para o gerador e discriminador contam com convolusões dilatadas (atrous) e incorporam o módulo Pirâmide Espacial Atrous Pooling (ASPP) para realçar detalhes finos na imagem ótica gerada, explorando o contexto espacial em várias escalas. Este trabalho apresenta experimentos realizados para avaliar o desempenho da atrous-cGAN na síntese de imagens Landsat a partir de dados Sentinel-1A, usando quatro bases de dados públicas. A análise experimental indicou que a atrous-cGAN supera o modelo clássico pix2pix como uma ferramenta de aprendizado de atributos para segmentação semântica. A proposta também gera imagens com maior qualidade visual, e em geral com maior semelhança com a verdadeira imagem ótica. The capture of land cover scenes with optical satellite sensors is often constrained by the presence of clouds that corrupt the collected images. Among the methods for recovering satellite optical images corrupted by clouds, several image to image translation approaches using Generative Adversarial Networks (GANs) have emerged with profitable results, managing to create realistic optical images from Synthetic Aperture Radar (SAR) data. Conditional GAN (cGAN) based methods proposed so far for SAR-to-optical image synthesis tend to produce noisy and unsharp optical outcomes. In this work, we propose the atrous-cGAN, a novel cGAN architecture that improves the SAR-to-optical image translation. The proposed generator and discriminator networks rely on atrous convolutions and incorporate the Atrous Spatial Pyramid Pooling (ASPP) module to enhance fine details in the generated optical image by exploiting spatial context at multiple scales. This work reports experiments carried out to assess the performance of atrouscGAN for the synthesis of Landsat images from Sentinel-1A data based on four public datasets. The experimental analysis indicated that the atrouscGAN overcomes the classical pix2pix model as a feature learning tool for semantic segmentation. The proposal also generates higher visual quality images, in general with higher similarity with the true optical image.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO O desmatamento é uma das principais causas de redução da biodiversidade, mudança climática e outros fenômenos destrutivos. Assim, a detecção antecipada de desmatamento é de suma importância. Técnicas baseadas em imagens de satélite são uma das opções mais iteresantes para esta aplicação. No entanto, muitos trabalhos desenvolvidos incluem algumas operações manuais ou dependência de um limiar para identificar regiões que sofrem desmatamento ou não. Motivado por este cenário, a presente dissertação apresenta uma avaliação de métodos para detecção automática de desmatamento, especificamente de Early Fusion (EF) Convolutional Network, Siamese Convolutional Network (SN), Convolutional Support Vector Machine (CSVM) e Support Vector Machine (SVM), o último tomado como baseline. Todos os métodos foram avaliados em regiões dos biomas brasileiros Amazônia e Cerrado. Duas imagens Landsat 8 adquiridas em diferentes datas foram utilizadas nos experimentos, e também o impacto do tamanho do conjunto de treinamento foi analisado. Os resultados demonstraram que as abordagens baseadas no Deep Learning superaram claramente o baseline SVM em termos de pontuação F1-score e Overrall Accuracy, com uma superioridade de SN e EF sobre CSVM e SVM. Da mesma forma, uma redução do efeito sal e pimenta nos mapas de mudança gerados foi notada devido, principalmente ao aumento de amostras nos conjuntos de treinamento. Finalmente, realizou-se uma análise visando avaliar como os métodos podem reduzir o esforço humano na inspeção visual das áreas desmatadas. Deforestation is one of the main causes of biodiversity reduction, climate change, among other destructive phenomena. Thus, early detection of deforestation processes is of paramount importance. Techniques based on satellite images are one of the most attractive options for this application. However, many works developed include some manual operations or dependency on a threshold to identify regions that suffer deforestation or not. Motivated by this scenario, the present dissertation presents an evaluation of methods for automatic deforestation detection, specifically Early Fusion (EF) Convolutional Network, Siamese Convolutional Network (SN), Convolutional Support Vector Machine (CSVM) and Support Vector Machine (SVM), taken as the baseline. These methods were evaluated in regions of Brazilian Amazon and Cerrado Biomes. Two Landsat 8 images acquired at different dates were used in the experiments, and the impact of training set size was also analyzed. The results demonstrated that Deep Learning-based approaches clearly outperformed the SVM baseline in our approaches, both in terms of F1-score and Overall Accuracy, with the superiority of SN and EF over CSVM and SVM. In the same way, a reduction of the salt-and-pepper effect in the generated probabilistic change maps was noticed due, mainly, to the increase of samples in the training sets. Finally, an analysis was carried out to assess how the methods can reduce the time invested in the visual inspection of deforested areas.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO Este trabalho propõe e avalia arquiteturas profundas para o reconhecimento de culturas agrícolas a partir de seqüências de imagens multitemporais de sensoriamento remoto. Essas arquiteturas combinam a capacidade de modelar contexto espacial prórpia de redes totalmente convolucionais com a capacidade de modelr o contexto temporal de redes recorrentes para a previsão prever culturas agrícolas em cada data de uma seqüência de imagens multitemporais. O desempenho destes métodos é avaliado em dois conjuntos de dados públicos. Ambas as áreas apresentam alta dinâmica espaçotemporal devido ao clima tropical/subtropical e a práticas agrícolas locais, como a rotação de culturas. Nos experimentos verificou-se que as arquiteturas propostas superaram os métodos recentes baseados em redes recorrentes em termos de Overall Accuracy (OA) e F1-score médio por classe. This work proposes and evaluates deep learning architectures for multi-date agricultural crop recognition from remote sensing image sequences. These architectures combine the spatial modelling capabilities of fully convolutional networks and the sequential modelling capabilities of recurrent networks into end-to-end architectures so-called fully convolutional recurrent networks, configured to predict crop type at multiple dates from a multitemporal image sequence. Their performance is assessed over two publicly available datasets. Both datasets present highly spatio-temporal dynamics due to their tropical/sub-tropical climate and local agricultural practices such as crop rotation. The experiments indicated that the proposed architectures outperformed state of the art methods based on recurrent networks in terms of Overall Accuracy (OA) and per-class average F1 score.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO O crescimento da população do planeta tem aumentado continuamente a demanda por produtos agrícolas. Assim, a informação quanto a áreas cultivadas e estimativas de produção se tornam cada vez mais importantes. Técnicas baseadas em imagens satelitais constituem uma das opções mais atrativas para o monitoramento agrícola sobre grandes áreas. A maior parte dos trabalhos científicos voltados a esta aplicação foram desenvolvidos para regiões temperadas do planeta, que apresentam um dinâmica muito mais simples da que se tem em regiões tropicais. Neste contexto, a presente tese propõe um novo método automático baseado em Campos Aleatórios Condicionais (CRF) para o reconhecimento de culturas agrícolas em regiões tropicais a partir de sequências de imagens multi-temporais e multiresolução produzidas por diferentes sensores orbitais. Experimentos foram realizados para validar diversas variantes do método proposto. Utilizaramse bases de dados públicas de duas regiões do Brasil que compreendem sequências de imagens óticas e de radar com diferentes resoluções espaciais. Os experimentos realizados demonstraram que o método proposto atingiu acurácias maiores do que métodos baseados em uma única imagem ou sensor. Particularmente, notou-se a redução do efeito sal-e-pimenta nos mapas gerados devido, mormente, à capacidade do método de capturar informação contextual. The earth population growth has continuously increased the demand for agricultural production. Thus, acreage and crop yield information become increasingly important. Techniques based on satellite images are one of the most attractive options for agricultural monitoring over large areas. Most of the scientific works on this application were developed for temperate regions of the planet, which present a much simpler dynamics than those in tropical regions. In this context, the present thesis proposes a new automatic method based on Conditional Random Fields (CRF) for the crop recognition in tropical regions from multi-temporal and multi-resolution image sequences from orbital multi-sensors. Experiments were performed to validate several variants of the proposed method. We used public databases from two regions of Brazil that comprise sequences of optical and radar images with different spatial resolutions. The experiments demonstrated that the proposed method achieved a higher accuracy than methods based on a single image or sensor. Particularly, the reduction of the salt-and-pepper effect in the generated maps was noticed due, mainly, to the capacity of the method to capture contextual information.

As vulnerabilidades dos Sistemas de Reconhecimento Facial (FRS) aos Ataques de Apresentação (PA) foram recentemente reconhecidas pela comunidade biométrica, mas ainda existe a falta de técnicas faciais de Detecção de Ataque de Apresentação (PAD) baseadas em software que apresentam desempenho robusto em cenários de autenticação realistas. O objetivo principal desta dissertação é analisar, avaliar e comparar alguns dos métodos baseados em atributos do estado-da-arte para PAD facial em uma variedade de condições, considerando três dos bancos de dados de fraude facial publicamente disponíveis 3DMAD, REPLAY-MOBILE e OULU-NPU. No presente trabalho, os métodos de PAD baseados em descritores de texturas LBP-RGB, BSIF-RGB e IQM foram investigados. Ademais, um Autoencoder Convolucional (CAE), um descritor de atributos aprendidos, também foi implementado e avaliado. Também, abordagens de classificação de uma e duas classes foram implementadas e avaliadas. Os experimentos realizados neste trabalho foram concebidos para medir o desempenho de diferentes esquemas de PAD em duas condições: (i) intra-banco de dados e (ii) inter-banco de dados. Os resultados revelaram que a eficácia dos atributos aprendidos pelo CAE em esquemas de PAD baseados na abordagem de classificação de duas classes fornece, em geral, o melhor desempenho em protocolos de avaliação intra-banco de dados. Os resultados também indicam que os esquemas de PAD baseados na abordagem de classificação de uma classe não são inferiores em comparação às suas contrapartes de duas classes nas avaliações inter-banco de dados. The vulnerabilities of Face Recognition Systems (FRS) to Presentation Attacks (PA) have been recently recognized by the biometric community, but there is still a lack of generalized software-based facial Presentation Attack Detection (PAD) techniques that perform robustly in realistic authentication scenarios. The main objective of this dissertation is to analyze, evaluate and compare some of the most relevant, state-of-the-art feature-based methods for facial PAD in a variety of conditions, considering three of the facial spoofing databases publicly available 3DMAD, REPLAYMOBILE and OULU-NPU. In the current work, PAD methods based on LBP-RGB, BSIF-RGB and IQM hand-crafted texture descriptors were investigated. Additionally, a Convolutional Autoencoder (CAE), a learned feature descriptor, was also implemented and evaluated. Furthermore, oneclass and two-class classification approaches were implemented and evaluated. The experiments conducted in this work were designed to measure the performance of different PAD schemes in two conditions, namely: (i) intradatabase and (ii) inter-database (or cross-database). The results revealed the effectiveness of the features learned by CAE in two-class classification PAD schemes provide, in general, the best performance in intra-database evaluation protocols. The results also indicate that PAD schemes based on one-class classification approach are not inferior as compared to their twoclass counterpart in the inter-database evaluations.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR PROGRAMA DE EXCELENCIA ACADEMICA A presente dissertação tem como objetivo avaliar um conjunto de técnicas de aprendizado profundo para o reconhecimento de culturas agrícolas a partir de sequências multitemporais de imagens SAR. Três métodos foram considerados neste estudo: Autoencoders (AEs), Convolutional Neural Networks (CNNs) and Fully Convolutional Networks (FCNs). A avaliação experimental baseou-se em duas bases de dados contendo sequências de imagens geradas pelo sensor Sentinel- 1A. A primeira base cobre uma região tropical e a segunda uma região de clima temperado. Em todos os casos, utilizouse como referência para comparação um classificador Random Forest (RF) operando sobre atributos de textura derivados de matrizes de co-ocorrência. Para a região de clima temperado que apresenta menor dinâmica agrícola as técnicas de aprendizado profundo produziram consistentemente melhores resultados do que a abordagem via RF, sendo AEs o melhor em praticamente todos os experimentos. Na região tropical, onde a dinâmica é mais complexa, as técnicas de aprendizado profundo mostraram resultados similares aos produzidos pelo método RF, embora os quatro métodos tenham se alternado como o de melhor desempenho dependendo do número e das datas das imagens utilizadas nos experimentos. De um modo geral, as RNCs se mostraram mais estáveis do que os outros métodos, atingindo o melhores resultado entre os métodos avaliados ou estando muito próximos destes em praticamente todos os experimentos. Embora tenha apresentado bons resultados, não foi possível explorar todo o potencial das RTCs neste estudo, sobretudo, devido à dificuldade de se balancear o número de amostras de treinamento entre as classes de culturas agrícolas presentes na área de estudo. A dissertação propõe ainda duas estratégias de pós-processamento que exploram o conhecimento prévio sobre a dinâmica das culturas agrícolas presentes na área alvo. Experimentos demonstraram que tais técnicas podem produzir um aumento significativo da acurácia da classificação, especialmente para culturas menos abundantes. The present dissertation aims to evaluate a set of deep learning (DL) techniques for crop mapping from multitemporal sequences of SAR images. Three methods were considered in this study: Autoencoders (AEs), Convolutional Neural Networks (CNNs) and Fully Convolutional Networks (FCNs). The analysis was based on two databases containing image sequences generated by the Sentinel-1A. The first database covers a temperate region that presents a comparatively simpler dynamics, and second database of a tropical region that represents a scenario with complex dynamics. In all cases, a Random Forest (RF) classifier operating on texture features derived from co-occurrence matrices was used as baseline. For the temperate region, DL techniques consistently produced better results than the RF approach, with AE being the best one in almost all experiments. In the tropical region the DL approaches performed similar to RF, alternating as the best performing one for different experimental setups. By and large, CNNs achieved the best or next to the best performance in all experiments. Although the FCNs have performed well, the full potential was not fully exploited in our experiments, mainly due to the difficulty of balancing the number of training samples among the crop types. The dissertation also proposes two post-processing strategies that exploit prior knowledge about the crop dynamics in the target site. Experiments have shown that such techniques can significantly improve the recognition accuracy, in particular for less abundant crops.

Esta dissertação visa investigar técnicas de segmentação semântica para a análise de dados de observação da Terra. Dois são os objetivos perseguidos neste estudo. O primeiro é avaliar o potencial de técnicas de segmentação semântica como opção aos métodos tradicionais de segmentação de imagens que tipicamente ignoram a informação semântica. O segundo objetivo consiste em comparar a segmentação semântica com a abordagem típica baseada em objeto (OBIA). O estudo apoia-se numa implementação de segmentação semântica baseada em Campos Aleatórios Condicionais. A estratégia baseada em objeto é representada neste estudo pelo algoritmo de segmentação conhecido como Multiresolução. O classificador Florestas Aleatórias (Random Forests) é utilizado para gerar os chamados potenciais de associação dos campos aleatórios condicionais, bem como para realizar a tarefa de classificação na cadeia de processamento típico da abordagem baseada em objeto. Experimentos realizados sobre duas imagens de altíssima resolução espacial (8 cm) indicaram uma clara superioridade da segmentação semântica, tanto em termos de acurácia espacial quanto de acurácia temática. Embora carentes de uma análise mais aprofundada que permita a generalização de suas conclusões, os resultados obtidos no presente estudo provêm elementos suficientes para encorajar a pesquisa futura sobre a aplicação da segmentação semântica na composição de estratégias sofisticadas de classificação de imagens, em particular sendo parte de modelos baseadas em objeto. This dissertation investigates semantic segmentation techniques for the analysis of Earth observation data. This study has two main task. The first one is to assess the potential of semantic segmentation techniques as an option to traditional image segmentation methods that typically ignore the semantic information. The second objective is to compare the semantic segmentation with the typical objectbased approach (OBIA). The study is based on an implementation of semantic segmentation based on Conditional Random Fields. The object-based approach is represented in this study by the segmentation algorithm known as Multiresolution. The Random Forests classifier is used to generate the association potentials for the conditional random fields and to perform the classification task in a representative implementation of the typical object-based approach. Experiments carried out on two high spatial resolution images (8 cm) indicated a clear superiority of semantic segmentation, both in terms of spatial accuracy and thematic accuracy. Although a more extensive analysis is required for the generalization of the aforementioned conclusions, the results of this study provide enough evidence to encourage a future research on the use of semantic segmentation to compose sophisticated image classification models, in particular being part of models inspired in the OBIA approach.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO O objetivo genérico desta tese foi o desenvolvimento de uma arquitetura computacional distribuída para a interpretação automática, baseada em objetos, de grandes volumes de dados de imagem de sensoriamento remoto, com foco na distribuição de dados e processamento em um ambiente de computação em nuvem. Dois objetivos específicos foram perseguidos: (i) o desenvolvimento de uma nova arquitetura distribuída para análise de imagens que é capaz de lidar com vetores e imagens ao mesmo tempo; e (ii) a modelagem e implementação de uma plataforma distribuída para a interpretação de grandes volumes de dados de sensoriamento remoto. Para validar a nova arquitetura, foram realizados experimentos com dois modelos de classificação – um de cobertura da terra e outro de uso do solo – sobre uma imagem QuickBird de uma área do município de São Paulo. Os modelos de classificação, propostos por Novack (Novack09), foram recriados usando as estruturas de representação do conhecimento da nova plataforma. Nos experimentos executados, a plataforma foi capaz de processar todo o modelo de classificação de cobertura da terra para uma imagem de 32.000x32.000 pixels (aproximadamente 3,81 GB), com aproximadamente 8 milhões de objetos de imagem (aproximadamente 23,2 GB), em apenas 1 hora, utilizando 32 máquinas em um serviço de nuvem comercial. Resultados igualmente interessantes foram obtidos para o modelo de classificação de uso do solo. Outra possibilidade de paralelismo oferecida pelas estruturas de representação de conhecimento da plataforma também foi avaliada. The general objective of this thesis was the development of a distributed computational architecture for the automatic, object-based interpretation of large volumes of remote sensing image data, focusing on data and processing distribution in a cloud computing environment. Two specific objectives were pursued: (i) the development of a novel distributed architecture for image analysis that is able to deal with vectors and rasters at the same time; and (ii) the design and implementation of an open-source, distributed platform for the interpretation of very large volumes of remote sensing data. In order to validate the new architecture, experiments were carried out using two classification models – land cover and land use – on a QuickBird image of an area of the São Paulo municipality. The classification models, proposed by Novack (Novack09), were recreated using the knowledge representation structures available in the new platform. In the executed experiments, the platform was able to process the whole land cover classification model on a 32,000x32,000-pixel image (approximately 3.81 GB), with approximately 8 million image objects (approximately 23.2 GB), in just one hour, using 32 machines in a commercial cloud computing service. Equally interesting results were obtained for the land use classification model. Another possibility of parallelism provided by the platform s knowledge representation structures was also evaluated.

INSTITUTO MILITAR DE ENGENHARIA Independente da metodologia adotada para realizar análise de fácies sísmicas, a segmentação temporal e espacial da região do reservatório deve ser realizada cuidadosamente. A confiança no resultado da interpretação depende da complexidade do sistema geológico, da qualidade dos dados sísmicos, e da experiência do intérprete. Portanto, qualquer erro de interpretação pode levar a resultados incoerentes. Especialmente, a análise de fácies sísmicas utilizando formas de onda do sinal na região do reservatório é bastante sensível a ruídos de interpretação. Sabe-se que variações no conteúdo de freqüência dos traços sísmicos podem estar associadas às informações de refletividade da sub-superfície. Conseqüentemente, análises conjuntas em tempo - freqüência podem levar a formas não convencionais para a caracterização de reservatórios. Especificamente, esta tese propõe o uso das propriedades em tempo - freqüência, obtidas através do algoritmo de matching pursuit, e das singularidades detectadas e caracterizadas via transformada wavelet, como ferramenta para detecção de eventos sísmicos e para análise não supervisionada de fácies sísmicas quando associadas ao agrupamento dos mapas auto organizáveis de Kohonen. Independent of the adopted methodology to perform the seismic facies analysis, the geological oriented spatial and temporal segmentation of the reservoir region should be carefully done. Depending on the complexity of the reservoir system, seismic data quality, and the experience of the interpreter, the level of confidence in an interpretation can vary from very high to very low. Therefore, any interpretation error could lead to wrong or noisy results. Specially, when using seismic trace shapes, defined by the values of the seismic samples along each segmented trace, as the seismic input attributes to the chosen seismic facies algorithm. These facies analysis artifacts are introduced because seismic waveform in the reservoir delimited area changes quickly as a function of the interpretation, then waveforms with almost the same shape could be assigned to different classes due only to their different phases. It is known that variations of the frequency content of a seismic trace with time carry information about the properties of the subsurface reflectivity sequence. Consequently, seismic trace time- frequency analyses could provide an unconventional way to reservoir characterization. Specifically, in this work we propose to use the time-frequency properties of the atoms obtained after the matching pursuit signal representation and the singularities identified by wavelet transform, jointly with Self Organizing Maps as an unsupervised seismic facies analyses system.

Esta dissertação investiga a aplicação de Redes Neurais Artificiais no reconhecimento de imagens bi-dimensionais. O trabalho de tese foi dividido em quatro partes principais: um estudo sobre a importância da Visão Computacional e sobre os benefícios da aplicação das técnicas da Inteligência Computacional na área; um estudo da estrutura dos sistemas de reconhecimento de imagens encontrados na literatura; o desenvolvimento de dois sistemas de reconhecimento de imagens baseados em redes neurais; e o estudo de caso e a análise de desempenho dos sistemas desenvolvidos. A Visão Computacional tem se beneficiado das principais técnicas de Inteligência Computacional (redes neurais, algoritmos genéticos e lógica nebulosa) na implementação de sistemas de reconhecimento de imagens. Neste trabalho estudou-se a aplicação de diversos tipos de redes neurais na classificação de imagens Back-Propagation, Competitivas, RBF e Hierárquicas. Além disso, foi realizado um estudo das áreas de aplicação da Visão Computacional. A estrutura básica utilizada por diversos sistemas de Visão Computacional encontrada na literatura foi analisada. Esta estrutura é tipicamente composta por três módulos principais: um pré-processador, um extrator de características e um classificador. Dois sistemas de reconhecimento de imagens, denominados de XVision e SimpleNet, foram desenvolvidos neste trabalho. O sistema XVision segue a estrutura descrita acima, enquanto que o sistema SimpleNet utiliza a informação da imagem bruta para realizar a classificação. O módulo de pré-processamento do sistema XVision executa uma série de transformações na imagem, extraindo suas características intrínsecas para que seja obtida uma representação da imagem invariante a aspectos como rotação, translação e escalonamento. Este Pré- Processador é baseado em um trabalho previamente realizado no campo de Processamento de Sinais. A etapa de extração de características visa detectar as informações mais relevantes contidas na representação da imagem intrínseca obtida na etapa anterior. Foram investigados extratores baseados em técnicas estatísticas (utilizando o discriminante de Fisher) e em técnicas inteligentes (utilizando algoritmos genéticos). Para o módulo de classificação das imagens foram utilizados diversos tipos de redes neurais artificiais: Back-Propagation, Competitivas, RBFs e Hierárquicas. No sistema SimpleNet, o pré-processamento limita-se à redução das dimensões da imagem a ser classificada. Como os próprios pixels da imagem são utilizados para a classificação, não foi implementado um módulo de extração de características. Na etapa de classificação foram empregadas redes neurais Back- Propagation e Competitivas. O sistema XVision apresentou resultados promissores para dois conjuntos distintos de objetos bi-dimensionais: o primeiro composto por peças mecânicas e o segundo por objetos triviais. As amostras utilizadas nos testes apresentavam características diferentes daquelas com as quais as redes neurais foram treinadas - não apenas com rotações, translações e escalonamentos, mas com diferenças estruturais. O classificador conseguiu taxas de acerto superiores a 83% em ambos os conjuntos de objetos. O sistema SimpleNet também mostrou-se eficiente na diferenciação de imagens semelhantes (cartões telefônicos e radiografias de pulmões), obtendo taxas de acerto superiores a 80%. O desenvolvimento destes sistemas demonstrou a viabilidade da aplicação de redes neurais na classificação de objetos bi- dimensionais. Devido ao grande interesse na utilização de sistemas de Visão em aplicações de tempo real, mediu-se o tempo gasto nos processos de reconhecimento. Desta forma foram detectados os garagalos dos sistemas, facilitando assim sua otimização. This work investigates the use of Artificial Neural Networks in the recognition of bi-dimensional images. The work was divided in four main parts: a survey on the importance of Computational Vision and on the benefits of the application of intelligent techniques in the fiels; a survey on the structure of image recognition systems found in the literature; the development of two image recognition systems based on neural networks; and an analysis of the performance of the developed systems. Computational Vision has benefited from the main Computational Intelligence techniques (neural networks, genetic algoritms and fuzzy logic) to implement image recognition systems. In this work, the usage of different Kinds of neural networks in image classification was studied: Back-Propagation, Competitive, RBF and Hierarchical. Besiades that, a survey on the fields of application of Computational Vision was made. The basic structure is typically composed of three modules: a pre-processor, a characteristics extractor and a classifier. In this work, two image recognition systems, called Xvision and SimpleNet, were developed. The XVision system follows the structure described above, while the SimpleNet system performs the classification using the information present in the raw picture. The pre-processing module of the Xvision system executes a series of transforms over the image, extracting its essential characteristics so that an invariant representation of the image can be obtained. This pre- processor is based on a previous work in the fiels of Signal Processing. The characteristcs extractor aims to detect the most relevant information present in the image representation obtained after the previous step. Two kinds of extractors were investigated: one based on statistical tecniques (applyng the Fisher`s discriminant) and another based on intelligent techniques (applyng genetic algorithms). The classification module was implementede through several Kinds of neural networks: Back-Propagation, Competitive, RBF and Hierarchical. The pre-processing of the SimpleNet system simply reduces the image`s dimensions. Since the image`s pixels are used for the classification process, no characteristics extractor module was implemented. In the classification module, Back-Propagation and Competitive neural networks were employed. The Xvision system yielded promising results for two sets of objects: the first one composed of mechanical parts and the second one composed of trivial objects. The samples used during the tests presented different characteristics from those samples used during the training process - not only rotated, translated and scaled, but also with structural differences. The classifier obtained a hit ratio above 83% with both sets. The SimpleNet system also showed a good performance in the differentiation of similar objects (telephone cards and X-rays of lungs), achieving hit ratios of more than 80%. The development of both systems demonstrated the viability of the use of neural networks in the classification of bi- dimensional objects. Due to the interest of applying Vision systems in real-time, the time spent in the recognition process was measured. This allowed the detection of the systems` bottlenecks, making their optimization easier.

Este trabalho tem por objetivo apresentar uma melhoria à técnica estado-daarte de composição de imagens usando Renderização Diferencial. Uma aplicação é desenvolvida usando imagens HDR, na qual combinar elementos virtuais e reais em uma única cena produz melhores resultados do que os obtidos pela técnica original. Inicialmente, este trabalho apresenta algumas técnicas de composição de imagens e conceitos sobre imagens HDR e iluminação baseada em imagens. Em seguida, a técnica original de Paul Debevec é apresentada através de seus cálculos e exemplos de composição de imagens. A melhoria proposta resume-se a adicionar mais uma imagem da cena ao conjunto de imagens utilizado pela técnica original. Esta melhoria é de grande importância para aplicações que necessitam de um alto grau de realismo, porque permite uma melhor integração entre as partes virtual e real de uma cena. Vários testes são apresentados que comprovam a eficácia da melhoria proposta. This work aims to present an improvement to the image compositing stateof- the-art technique using Differential Rendering. An application is developed using HDR images, in which combining virtual and real elements into a single scene produces better results than the ones obtained by the original technique. Firstly, this work presents some techniques of image compositing, and concepts on HDR images and image-based lighting. Next, the original technique by Paul Debevec is presented through its calculations and examples of image compositing. The proposed improvement adds one more image to the set of images used by the original technique. This improvement is of great importance for applications that need a high degree of realism, because it allows a better integration between the virtual and real parts of a scene. Several tests are presented that prove the effectiveness of the proposed improvement.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO FUNDAÇÃO DE APOIO À PESQUISA DO ESTADO DO RIO DE JANEIRO Esta tese apresenta o desenvolvimento e os resultados deste projeto de doutorado, cujo objetivo, de caráter multidisciplinar, foi desenvolver uma metodologia e uma ferramenta para segmentação de redes vasculares a partir de imagens de tomografia computadorizada, utilizando procedimentos de segmentação automática de imagens e visualização tridimensional de dados. A metodologia sugerida segmenta a rede vascular iterativamente utilizando um único ponto de partida. A abordagem utiliza um modelo de amostragem cônico composto de várias camadas esféricas concêntricas ordenadas. Cada ponto amostrado é avaliado utilizando-se uma medida de vascularidade proposta nesta tese, que busca identificar pontos que pertencem a vasos. Um grafo dirigido é então construído com os pontos selecionados e analisado para que se encontre localmente cadeias de pontos conectados que compõem pedaços de ramos da rede vascular. Cada segmento da rede vascular gera uma nova semente a partir da qual uma nova amostragem é realizada e desta forma o procedimento iterativo se repete até que toda a estrutura vascular seja segmentada. A metodologia foi testada utilizando-se imagens sintéticas e reais. Dentre as imagens reais foram segmentadas estruturas vasculares coronárias, carótidas, hepáticas, pulmonares além de uma rede de fibras nervosas do sistema olfativo. Também foram extraídas as topologias das redes vasculares. A avaliação foi quando possível quantitativa, embora este tipo de dado muito raramente ofereça uma segmentação de referência, e nestes casos a avaliação foi qualitativa e visual. Os resultados obtidos confirmam o potencial do método e indicam direções para promover desenvolvimentos futuros. This thesis presents the development and results of this PhD project, which objective, multidisciplinary, was to develop a methodology and a tool for segmenting vascular networks from CT images, using automatic segmentation procedures and visualization of three-dimensional images data. The suggested methodology tracks a vascular network iteratively using a single starting point. The approach uses a conical sampling model composed of multiple concentric and ordered spherical layers. Each sampled point is evaluated using a measurement of vascularity proposed in this thesis, which seeks to identify points that belong to vessels. A directed graph is then built with the selected points and analyzed to find chains of connected points that make up pieces of branches of the vascular network. Each vascular segment found generates a new seed from which a new sampling is performed, and in this way the iterative procedure is repeated until the entire vascular structure is segmented. The methodology was tested using synthetic and real images. Among the real images several different vascular structures were segmented, such as coronary, carotid, hepatic, pulmonary and even a network of nerve fibers in the olfactory system. Vascular network topologies were also identified. The evaluation was quantitative where possible, although this type of data rarely provides a segmentation of reference, and apart from these cases the assessment was qualitative and visual. The results confirm the potential of the method and suggest directions for further developments.

COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR Este trabalho apresenta uma proposta de solução do problema de deteção de tomada de câmera de vídeos MPEG-1 e MPEG-2. A abordagem proposta está baseada na aplicação de diversas heurísticas para eliminação de quadros semelhantes, de forma a extrair um conjunto de quadros que representam os cortes entre tomadas de câmera vizinhas. Essas heurí­sticas analisam informações no domínio compactado, obtidas diretamente do fluxo de dados codificado dos ví­deos, como forma de eliminar o processo de descompressão MPEG e diminuir o volume de dados manipulados durante a análise. A observação dos valores assumidos pelas diversas métricas utilizadas demonstrou a existência de padrões falsos de corte relacionados à história do processo de codificação do ví­deo. Por esta razões, as análises das informações codificadas para detecção das tomadas de câmera procuram identificar padrões estabelecidos pelo processo de codificação, considerados assinaturas dos codificadores. Para distinção entre quadros com características de corte, de quadros com características influenciadas pelo codificador, são propostas filtragens para suavizar a influência dessas assinaturas nos valores obtidos pelas métricas de caracterização de similaridade. This works presents a proposal for finding shot cuts in MPEG-1 and MPEG-2 videos. The proposed approach is based on heuristics for eliminating similar frames and thus extracting a set of frames positioned at cuts points. These heuristics analyze the compressed data, retrieved from MPEG video streams, without any decompression, thus saving time and space during the shot finding process. The existence of false cut patterns is noticed by studying the data returned by the chosen metrics. In face of such false positives (related to choices made during the history of the video encoding process), the analysis of the compressed data tries to identify patterns in the encoded stream, considered as compressor signatures. To distinguish between cut frames and frames characterized by the encoding process, some filters are proposed in order to alleviate the compressor influence on the similarity metrics results.

COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR Muitos dos robôs industriais utilizados atualmente seguem uma programação baseada em rastreamento de trajetórias. O robô é guiado por um operador humano para localizações fixas onde ele atuará. Esses movimentos são, então, gravados na linguagem de programação residente no controlador do robô, de forma que este seja capaz de repetir as tarefas. Este método pode ser suficiente para, por exemplo, movimentar objetos entre locais fixos. Como o robô está treinado para se movimentar em posições fixas, todas as partes do manipulador, bem como todos os objetos que serão manipulados devem estar em posições bem definidas, ou uma nova programação deverá ser feita. Outra metodologia é a de teleoperação, na qual a movimentação de sistemas robóticos é executada em modo manual, no qual o operador trabalha em uma arquitetura mestre-escravo controlando direta e continuamente as posições do manipulador. Para essas tarefas é necessário apenas que o sistema possua um alto grau de repetibilidade, uma vez que quaisquer erros absolutos de posicionamento são visualmente compensados pelo operador humano. Porém em certas aplicações robóticas essas técnicas de programação de manipuladores são impraticáveis ou insatisfatórias. A primeira vem a ser impraticável no caso de alta variabilidade do ambiente onde a tarefa está sendo feita. O segundo método atribui ao robô uma precisão absoluta baixa, devido a própria deficiência da percepção humana. Este trabalho segue pelas tendências modernas de automação, as quais vêm colocando uma crescente ênfase em robôs guiados por sensores e programação off-line, automatizando total ou parcialmente muitas das tarefas a serem executadas. Sensores, como câmeras ligadas a um sistema de visão computacional, detectam diferenças entre a posição real do manipulador e a posição desejada. Estas diferenças são então enviadas para os controladores, para que estes corrijam a trajetória pré-programada. Os comandos de movimento do manipulador são programados off-line por um sistema de CAD, sem a necessidade de ativar o robô, permitindo maior velocidade em sua validação e na resolução de problemas. Apresentam-se neste trabalho metodologias e técnicas para o posicionamento do manipulador utilizando-se, para tanto, câmeras em sua extremidade. Uma vez posicionado o manipulador em relação ao espaço de coordenadas do mundo, é possível deslocá-lo com segurança e precisão em sua área de trabalho, o que é imprescindível para automatização de tarefas complexas. O trabalho está concentrado nas aplicações de técnicas de visão computacional à calibração de manipuladores. Como estudo de caso utiliza-se uma situação real, de um manipulador submarino de seis graus de liberdade, para intervenções submarinas em plataformas de petróleo. Abordam-se a calibração de câmeras, reconhecimento de padrões, correlação de padrões em imagens distintas, estereoscopia, cinemática direta e inversa de manipuladores e a união de todas estas técnicas para o posicionamento do manipulador em sua área de trabalho. Many of today´s industrial robots are still programmed to follow trajectories. The robot is guided by a human operator to the desired fixed application locations. These motions are recorded and are later edited, within the robotic language residing in the robot controller, and played back, for the robot to be able to repetitively perform its task. This methodology is enough to move objects between fixed locations. As the robot is trained to move within fixed positions, all manipulator parts, as well as all the objects which will be manipulated need to be in well defined positions, otherwise another program is needed. Another methodology would be teleoperation, where the robotic system`s movements are executed in manual mode, having the operator working in a master-slave architecture, controlling direct and continuously the positions of the robot. For these tasks it is needed only for the system to have enough repeatability, once any absolute positioning errors can be visually compensated by the human operator. On the other side, in certain robotic applications, both programming techniques are either not practical or inefficient. The first, where the human operator teaches the trajectories to the robot, is not possible when there is high variance in the environment where the task is being performed. The second method, the teleoperation, has low absolute accuracy, due the deficiencies of human perception. This project follows modern tendencies of automation, which give increasing emphasis on robots guided by sensors and off-line programming, partially or completely automating many of the tasks to be executed. Sensors such as cameras eloed to a system of computational vision detect differences between the actual and desired position of the manipulator. This information is sent to controllers to correct the pre-programated trajectory. The manipulator movement commands are programmed off-line by a CAD system, without need even to turn on the robot, allowing for greatest speed on its validation, as well as problem solving. This work presents methodologies and techniques which allow the precise positioning of the manipulator using cameras in its end-effector. Once it is positioned in relation with the world frame, it is possible to move the manipulator with safety and precision its work area, as is needed for automation of complex tasks. This work is focused on computational vision techniques applied for manipulator calibration. It is based on a real case of a subsea manipulator of six degrees of freedom, used for underwater interventions in oil exploring platforms. The subjects treated in this work include camera calibration, pattern recognition, position tracking, stereopsis, direct and inverse manipulator kinematics and the union of all techniques for manipulator positioning in the work area.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO A indústria de cinema e TV tem usado amplamente a técnica de Chroma Key, também conhecida por Blue Screen Matting. Esta técnica revolucionou, ao longo do tempo, a indústria do entretenimento, permitindo que cenas impossíveis de serem criadas se tornassem realidade. A evolução dessa técnica permitiu que produções complexas passassem a ter melhor controle e custos mais baixos. Porém, essa técnica conta com uma série de etapas de preparação, que demandam recursos financeiros elevados e planejamento preciso. Ademais, erros de continuidade costumam criar sérios problemas na pós-produção. Atualmente, a indústria de entretenimento está procurando outras técnicas de matting que funcionem com fundos variados. O uso destas técnicas ainda está restrita a trabalhos acadêmicos e a softwares de manipulação de imagens estáticas. O presente trabalho tem como objetivos fazer uma análise dos processos atuais de chroma key e partir para a proposta de uma técnica de matting com fundos variados em imagens de alta definição (HD – High Definition). Dois métodos para o cálculo de valores de alpha são apresentados: um método global baseado em clusters e um método local baseado em potencial elétrico. The film and broadcast industry have been massively using the Chroma Key technique, also known as Blue Screen Matting. This technique deeply transformed the entertainment industry, allowing impossible scenes become reality. The evolution of this technique allowed that complex productions could have better control and lower costs. However, this technique needs a sequence of preparation stages, which require high budgets and precise planning. Furthermore, continuity errors usually cause serious post-production problems. Currently, the entertainment industry is searching for other matting techniques that work on any kind of background. The use of these techniques is still restricted to academic works and softwares of still image manipulation. The present work has the goal of making an analysis of the current chroma key processes and aims to propose a matting technique over any type of background in High Definition images. Two methods of calculating alpha values are presented: a local method based on clusters and a local one based on electric potential.

CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO Esta dissertação apresenta uma metodologia para medição visual de campos de deformações (2D) em materiais, por meio da aplicação da técnica SIFT (Scale Invariant Feature Transform). A análise de imagens capturadas é feita por uma câmera digital em estágios diferentes durante o processo de deformação de um material quando este é submetido a esforços mecânicos. SIFT é uma das técnicas modernas de visão computacional e um eficiente filtro para extração e descrição de pontos de características relevantes em imagens, invariantes a transformações em escala, iluminação e rotação. A metodologia é baseada no cálculo do gradiente de funções que representam o campo de deformações em um material durante um ensaio mecânico sob diferentes condições de contorno. As funções são calibradas com a aplicação da análise inversa sobre o conjunto de pontos homólogos de duas imagens extraídos pelo algoritmo SIFT. A formulação da solução ao problema inverso combina os dados experimentais fornecidos pelo SIFT e o método linear de mínimos quadrados para estimação dos parâmetros de deformação. Os modelos propostos para diferentes corpos de prova são avaliados experimentalmente com a ajuda de extensômetros para medição direta das deformações. O campo de deformações identificado pelo sistema de visão computacional é comparado com os valores obtidos pelos extensômetros e por simulações feitas no programa de Elementos Finitos ANSYS. Os resultados obtidos mostram que o campo de deformações pode ser medido utilizando a técnica SIFT, gerando uma nova ferramenta visual de medição para ensaios mecânicos que não se baseia nas técnicas tradicionais de correlação de imagens. This thesis presents a methodology for measurement of strain fields in materials by applying the SIFT technique (Scale Invariant Feature Transform). The images analyzed are captured by a digital camera at different stages during the deformation process of a material when it is subjected to mechanical stress. SIFT is one of the modern computer vision techniques and an efficient filter for extraction and description of relevant feature points in images. These interest points are largely invariant to changes in scale, illumination and rotation. The methodology is based on the calculation of the gradient of the functions that represents the corresponding strain field in the material during a mechanical test under different boundary conditions. The functions are calibrated with the application of inverse analysis on the set of homologous points of two images extracted by the SIFT algorithm. The formulation of the solution to the inverse problem combines the experimental data processed by the SIFT and linear least squares method for the estimation of strain parameters. The proposed models for different specimens are evaluated experimentally with strain gauges for direct measurement of the deformations. The strain field identified by the computer vision system is compared with values obtained by strain gauges and simulations with the ANSYS finite element program. The proposed models for different types of measurements are experimentally evaluated with strain gages, including the estimation of mechanical properties. The results show that the strain field can be measured using the SIFT technique, developing a new visual tool for measurement of mechanical tests that are not based on traditional techniques of image correlation.