Search

Navigation is a broad topic that has been receiving considerable attention from the mobile robotic community. In order to execute a safe navigation on outdoors it is necessary to identify parts of the terrain that can be traversed by the robot and parts that should be avoided. This paper describes an analyses of an image-based terrain identification based on different visual information using a multi-layer perceptron neural network. Experimental tests using an outdoor robot and a video camera have been conducted in real scenarios to evaluate the proposed methods.

The main goal of this paper is to describe the modeling, implementation and evaluation of the Genetic Algorithm's (GA) efficiency when applied to robotic group formation and coordination. The robotic task in this paper is performed over a natural disaster, simulated as a forest fire. The robot squad mission is to surround the fire and avoid fire's propagation. Experiments have been made with different chromosome models and several parameter's variation. This paper describes all performed experiments detailing all sets of parameters, including positive and negative results. The simulation's results showed that with an adequate set of parameters is possible to get satisfactory strategic positions for a multi-robotic system's operation; furthermore, this GA solution can be applied on similar activities.

This paper describes our research and experiments with autonomous robots, in which were used genetic algorithms to evolve stable gaits of simulated legged robots in a physically based simulation environment. In our approach, the gait is defined using a finite state machine based on the joint angles of the robot legs, and the parameters are optimized using genetic algorithms. The proposed model also allows the evolution of the robot body morphology. The model validation was performed by several experiments and a valid statistical analysis, and the results show that it is possible to generate fast and stable gaits using genetic algorithms in an efficient manner.

Driving backwards and parking articulated vehicles represent a hard procedure also for skilled drivers. If a vehicle is semi-automated in a way that a computer can command the steering wheel, a driver assistance system may help the conductor to perform such maneuvers easily. This work presents a solution for this problem. A self constructed prototype was developed to analyze the effectiveness of the proposed control strategies that include a stabilizing controller for the joint angle and a path tracking controller. The results show that the stabilizing controller permits an untrained driver to steer the vehicle backwards by setting up the joint angle reference signal with an external human machine interface while the path tracking controller allows the vehicle to follow a predetermined route autonomously.

This work proposes and evaluates the use of linguistic information in the pre-processing phase for text mining tasks applied to Portuguese texts. We present several experiments comparing our proposal to the usual techniques applied in the field. The results show that the use of linguistic information in the pre-processing phase brings some improvements for both text categorization and clustering.

Aprendizado de Máquina (Machine Learning - ML - em inglês) tem se tornado a principal tecnologia para automação de diversos casos de usos na indústria; desde detecção de caracteres (OCR - Optical Character Recognition) até veículos autônomos. Entretanto, desenvolver e gerenciar esses modelos de aprendizado de máquina em produção é complexo. Especialmente porque quem desenvolve os modelos não necessariamente tem as habilidades para colocá-los em produção e monitorá-los. Este trabalho propõe o Flowi: uma plataforma de gerenciamento do ciclo de vida de aprendizado de máquina. Ela é baseada em componentes para capacitar cientistas de dados a trazer seus conhecimentos aos modelos com escalabilidade, rastreio de experimentos, deploy, monitoramento e otimização de hiper-parâmetros por padrão. Machine Learning (ML) is becoming a leading technology for several industry automation use cases, from optical character recognition (OCR) to autonomous vehicles. However, developing and managing these machine learning models in production is complex, specially because the one developing the model may not have the skills to deploy and monitor it. This work proposes Flowi as a component based ML lifecycle platform that empowers data scientists to bring their knowledge to the model with built-in scalability, experiment tracking, deploy, monitoring and parameter optimization.

Interpretable and explainable Artificial Intelligence (AI) is projected as one of the most important topics for the community in the next years. In addition to developing effective AI approaches that can help humans solving problems, it might be necessary to understand the reasons behind the decisions of such approaches to finally trust in their behavior. Search and learning-based algorithms represent the current state-of-the-art approaches for planning in zero-sum real-time games. The problem with those approaches is that usually the behavior of their resulting agents is not interpretable. On the other hand, hard-coded programs usually are not as effective as searchbased methods but have an important vantage; they can be more easily interpretable. In this thesis, we present a collection of works where we approach the problem of synthesizing effective interpretable scripts for planning in zero-sum real-time domains. First, we approach the problem of generating a set of scripts that can be used as an action abstraction to reduce search action spaces in zero-sum real-time strategy games. Namely, we present an evolutionary approach that can generate action abstractions that search-based algorithms can use for planning. Search-based systems that use action abstractions generated by our system outperformed the state-of-the-art search-based methods we use for experiments and won the 2018 mRTS competition. We also present Gesy and LS2, two systems focused on synthesizing scripts that can plan by themselves in zero-sum real-time strategy games. Gesy is a system that uses a Genetic Programming (GP) approach to synthesize interpretable scripts. LS2 is a system that combines a novel method to reduce Domain-Specific Languages (DSLs), and a local-search algorithm that uses self play to synthesize interpretable scripts. The scripts Gesy and LS2 synthesize are competitive with complex search-based methods and scripts designed by professional programmers. We also show that the scripts synthesized by both systems can be used to discover possible optimizations that programmers could include in their implementations. A Inteligência Artificial (IA) interpretável e explicável é projetada como um dos temas mais importantes para a comunidade nos próximos anos. Além de desenvolver abordagens eficazes de IA que possam ajudar aos humanos a resolver problemas, pode ser necessário entender as razões por trás das decisões de tais abordagens para finalmente confiar em seu comportamento. Os algoritmos baseados em busca e aprendizagem representam o estado da arte para o planejamento em jogos de soma zero em tempo real. O problema com essas abordagens é que geralmente o comportamento de seus agentes resultantes não é interpretável. Por outro lado, scripts geralmente não são tão eficazes quanto os métodos de busca, mas têm uma vantagem importante; eles podem ser mais facilmente interpretáveis. Nesta tese, apresentamos uma coleção de trabalhos onde abordamos o problema de sintetizar scripts interpretáveis e eficazes para o planejamento em domínios de tempo real de soma zero. Primeiro, abordamos o problema de gerar um conjunto de scripts que pode ser usado como uma abstração de ação para reduzir os espaços de busca de ações em jogos em tempo real de soma zero. Apresentamos uma abordagem evolutiva que pode gerar abstrações de ação que algoritmos baseados em busca podem usar para o planejamento. Sistemas baseados em busca que usam abstrações de ação geradas por nosso sistema superaram os métodos de busca do estado da arte que usamos nos experimentos, e venceram a competição mRTS do 2018. Também apresentamos o Gesy e o LS2, dois sistemas focados em sintetizar scripts que podem ser usados por si sós para planejamento em jogos em tempo real de soma zero. Gesy é um sistema que usa uma abordagem de Programação Genética (GP) para sintetizar scripts interpretáveis. LS2 é um sistema que combina um novo método para reduzir Linguagens Específicas de Domínio (DSLs) e um algoritmo de busca local que usa a self-play para sintetizar scripts interpretáveis. Os scripts que Gesy e LS2 sintetizam são competitivos com métodos complexos baseados em busca e scripts codificados por programadores profissionais. Também mostramos que os scripts sintetizados pelos dois sistemas podem ser usados para descobrir possíveis otimizações que os programadores poderiam incluir em suas implementações.

Medir a profundidade de imagens é um problema inverso fundamental dentro do campo da Visão Computacional, uma vez que as informações de profundidade são obtidas por meio de imagens 2D, as quais podem ser geradas a partir de infinitas possibilidades de cenas reais observadas. Ademais, tal problema é não bem-posto, pois os valores estimados de profundidade são fortemente dependentes das imagens de espaços do mundo real adquiridas. Outras importantes tarefas da área de Robótica recorrem a medidas de profundidade, como a Localização e Mapeamento Simultâneos (SLAM) e Structure from Motion (SfM). Beneficiando-se do progresso de Redes Neurais Convolucionais Profundas (DCNNs) para explorar características estruturais e informações espaciais de imagens, a Estimação de Profundidade a partir de Uma Única Imagem (SIDE) é frequentemente destacada em meios de inovação científica e tecnológica, já que este conceito proporciona vantagens relacionadas ao seu baixo custo de implementação, menores restrições de uso e robustez a condições ambientais. No contexto de veículos autônomos, as DCNNs otimizam a tarefa de SIDE através da predição de mapas com dados precisos de profundidade, os quais são indispensáveis durante o processo de navegação autônoma em locais distintos. No entanto, essas redes geralmente são treinadas em mapas de profundidade esparsos e ruidosos, gerados por varreduras de Light Detection and Ranging laser (LiDAR) ou structured-light e time-of-flight devices (Kinect), e são executadas com alto custo computacional, exigindo Unidades de Processamento Gráfico (GPUs) de alto desempenho. Sendo assim, este trabalho propõe uma nova arquitetura de DCNN supervisionada e funções de custo baseadas em atenção para solucionar problemas de SIDE. Inova-se também ao incorporar múltiplas técnicas de Visão Computacional, como a utilização de algoritmos de densificação e informações adicionais de semântica, de profundidade e de normais de superfície ao treinamento de tal DCNN. O método introduzido neste trabalho tem foco em aplicações de veículos autônomos em ambientes internos e externos. Measuring the depth of images is a fundamental inverse problem within the field of Computer Vision since the depth information is obtained through 2D images, which can be generated from infinite possibilities of observed real scenes. Furthermore, this problem is ill-posed, since the estimated depth values are strongly dependent on the acquired images of real-world spaces. Other important tasks in the area of Robotics use depth measurements, such as Simultaneous Localization and Mapping (SLAM) and Structure from Motion (SfM). Benefiting from the progress of Deep Convolutional Neural Networks (DCNNs) to explore structural features and spatial image information, Single Image Depth Estimation (SIDE) is often highlighted in means of scientific and technological innovation, as such a concept provides advantages related to its low-cost implementation, fewer restrictions on use and robustness to environmental conditions. In the context of autonomous vehicles, DCNNs optimize the task of SIDE by predicting maps with accurate depth data, which are indispensable during the autonomous navigation process in different locations. However, these networks are usually trained on sparse and noisy depth maps, generated by scans of Light Detection and Ranging laser (LiDAR) or structured-light and time-of-flight devices (Kinect), and are executed with high computational cost, requiring powerful Graphic Processing Units (GPUs). Therefore, this work proposes a new supervised DCNN architecture and attention-based loss functions to solve SIDE problems. It is also innovative by incorporating multiple Computer Vision techniques, such as the use of densification algorithms and additional information on semantics, depth and surface normals to the training of such DCNN. The method introduced in this work focuses on autonomous vehicles applications in indoor and outdoor environments.

Este trabalho caracteriza dados cinemáticos de membros superiores de pessoas com lesão medular durante um protocolo de alcance com o objetivo de desenvolver um ambiente de realidade virtual personalizado para treinar atividades de vida diária. Quatro pacientes com nível neurológico de lesão de C5 a C8 alcançaram cinco pontos sobre a mesa para simular uma atividade da vida diária que utiliza ombro e flexão de cotovelo. Eles estavam usando clusters com marcadores ao lado de câmeras VICON para capturar ângulos de flexão de ombros e cotovelo. Os dados cinemáticos coletados são usados juntamente com a antropometria em um ambiente de realidade virtual parametrizado para treinar membros superiores This work characterizes kinematic data from upper limbs of people with spinal cord injury during a reach protocol in order to develop a personalized virtual reality environment to train activities of daily living. Four patients with neurological level of lesion from C5 to C8 reached five points over table to simulate an activity of daily living that uses shoulder and elbow flexion. They were using clusters with markers alongside VICON cameras to capture flexion angles from shoulders and elbow. The kinematic data collected is used alongside anthropometry in a parameterized virtual reality environment to train upperlimbs.

Home automation projects have been developed for some time, having evolved into the socalled smart environments. These environments are characterised by the presence of sets of sensors and actuators, connected in order to respond appropriately and proactively to different situations. The integration of intelligent environments with robots allows for the introduction of additional sensing capabilities, besides performing tasks with greater flexibility and less mechanical complexity than traditional monolithic robots. To endow such environments with truly autonomous behaviours, algorithms must extract semantically meaningful information from whichever sensor data is available. Human activity recognition is one of the most active fields of research within this context. In this project, the design and evaluations of learning techniques for human activity recognition was addressed, considering different sensor modalities. Two types of neural networks, based on combinations of Convolutional Neural Networks to Recurrent Networks with Long Short-Term Memory or Temporal Convolutional Networks, were proposed and evaluated on two public datasets for multimodal activity recognition from videos and inertial sensors. The resulting framework was then introduced to a new dataset, the HWU-USP activities dataset, collected as part of this work, in an actual environment endowed with videos, inertial units, and ambient sensors. This design allowed for assessing the influence of ambient sensors, synchronised to the inertial and video data, to the accuracy of the results, which has proven to be a promising approach. Also, the new dataset provided complex activities with long-term dependencies, evaluated through segment-wise classifiers simulating the results for real-time applications. In a second moment, works were developed on neurophysiological data from primates induced to Parkinsons disease. Those studies ranged from data analysis and classification, using neural networks, to the construction of a computational model of the affected structures within the brain. Although different from the studies on activity recognition and assistive technologies, which were the focus of this thesis, these works were related in the nature of the techniques used, and their results were part of the application scenario developed next. Finally, an application scenario was designed and implemented as a robot simulation, so that the developed module could be evaluated in practical situations. For the behaviour selection mechanism, a bioinspired approach based on computational models of the basal ganglia-thalamus-cortex circuit was evaluated and compared to non-bioinspired approaches based on simple heuristics. Projetos de automação residencial têm sido desenvolvidos há algum tempo, tendo evoluído para os chamados ambientes inteligentes. Esses ambientes são caracterizados pela presença de conjuntos de sensores e atuadores, conectados de forma a responder adequada e proativamente a diferentes situações. A integração de ambientes inteligentes com robôs permite a introdução de capacidades adicionais de sensoriamento, além da realização de tarefas com maior flexibilidade e menor complexidade mecânica do que os robôs monolíticos tradicionais. Para dotar tais ambientes de comportamentos verdadeiramente autônomos, algoritmos devem extrair informações semanticamente significativas de quaisquer dados sensoriais disponíveis. Reconhecimento de atividade humana é um dos campos de pesquisa mais ativos dentro deste contexto. Neste projeto, foi abordado o projeto e avaliação de técnicas de aprendizado para reconhecimento da atividade humana, considerando diferentes modalidades de sensores. Dois tipos de redes neurais, baseadas em combinações de Redes Neurais Convolucionais com Redes Recorrentes com Memória de Curto e Longo Prazo ou Redes Convolucionais Temporais, foram propostas e avaliadas em duas bases de dados públicas para reconhecimento de atividade multimodal de vídeos e sensores inerciais. A estrutura resultante foi então empregada a um novo conjunto de dados, o HWU-USP activities dataset, coletado como parte deste trabalho, em um ambiente real dotado de vídeos, unidades inerciais e sensores ambientais. Foi avaliada a influência dos sensores ambientais, sincronizados aos dados inerciais e de vídeo, na acurácia dos resultados, tendo se mostrado uma abordagem promissora. Além disso, o novo conjunto de dados foi provido de atividades complexas com dependências de longo prazo, avaliadas por meio de classificadores baseados em segmentos de comprimento limitado, simulando os resultados para aplicações de tempo real. Em um segundo momento, foram desenvolvidos trabalhos sobre dados neurofisiológicos de primatas induzidos à doença de Parkinson, indo de análises e classificação dos dados, com uso de redes neurais, até a construção de um modelo computacional das estruturas acometidas dentro do cérebro. Embora distinta dos estudos sobre reconhecimento de atividades e tecnologias assistivas, focos desta tese, esses trabalhos foram relacionados na natureza das técnicas empregadas, e seus resultados fizeram parte do cenário de aplicação desenvolvido em seguida. Por fim, foi projetado e implementado um cenário de aplicação na forma de simulação robótica, de modo que o módulo desenvolvido pudesse ser avaliado em situações práticas. Para o mecanismo de seleção de comportamento, uma abordagem bioinspirada baseada em modelos computacionais do circuito núcleos da base-tálamo-córtex foi avaliada e comparada a abordagens não bioinspiradas baseadas em heurísticas simples.

A evolução das plataformas digitais, bem como a geração massiva de dados, possibilitou um cenário mundial orientado por dados. Por exemplo, decisões profissionais, processos físicos, emocionais e produtivos têm sido feitos baseados em dados. Nesta dissertação, apresenta-se o MADCS, que serve para alcançar o compartilhamento de conteúdo sensível e envolver questões de privacidade e segurança, especialmente, ao alterar ou infringir conteúdo confidencial. MADCS é um middleware para sistemas baseados em redes descentralizadas, como o Blockchain, para o compartilhamento de conteúdo sensível. Devido ao avanço das redes descentralizadas e às diversas criações de moedas virtuais, o trabalho teve como foco o estudo das tecnologias, sistemas e plataformas que compõem essas criptomoedas para verificar a possibilidade de utilizá-las em outros contextos como o compartilhamento de conteúdo sensível. Apesar dessas plataformas oferecerem vantagens em termos de imutabilidade, privacidade, segurança e confiabilidade, algumas lacunas ainda persistem para tornar tais plataformas mais seguras e confiáveis. Diante disso, o middleware MADCS tem o objetivo de detectar anomalias no compartilhamento de conteúdos sensíveis tendo como foco o experimento de verificar o conteúdo de cada transação dentro de uma organização e, a partir de clusters criados com base em transações históricas, detectar se existe alguma fora do fluxo de normalidade e que possa distinguir as transações válidas e inválidas. Dessa forma, conseguimos verificar anomalias impostas pelas próprias partes interessadas que visam se beneficiar da rede. Para validar o middleware, construímos um conjunto de dados de prescrição médica seguindo o modelo de prescrições médicas genérico, e aplicou-se o algoritmo K-means para identificar anomalias simuladas no middleware proposto. O teste de zero conhecimento foi utilizado para a conduta confidencial da etapa de negociação entre os usuários, de modo que, para que uma transação possa ser confirmada, o detector de anomalias deve investigar e aprovar suas informações e, posteriormente, o consenso deverá permitir o envio da transação à estrutura. Os resultados das experiências demonstram uma acurácia e precisão de 75 % e 85 % na identificação de anormalidades no processo de compartilhamento de conteúdo. Realizou-se o estudo de caso com e sem MADCS cujos resultados demonstraram que o uso da blockchain combinado com nosso middleware pode contribuir para um compartilhamento mais seguro do conteúdo da rede. Foi verificado que o middleware associado ao ledger não produz um ruído grande em termos de latência e processamento, levando a crer que a inserção de um mecanismo para aumentar a confiança em sistemas distribuídos não alterará a vazão do sistema de forma significativa. The evolution of digital platforms, as well as the massive generation of data, has enabled a common data-driven scenario. For example, professional decisions, physical, emotional, and productive processes have been made based on data. In this dissertation, we present MADCS, to achieve the sharing of sensitive content and to involve privacy and security issues, especially when altering or infringing confidential content. MADCS is a middleware for systems based on decentralized networks, such as blockchain, for sharing sensitive content. Due to the advancement of decentralized nets and the various creations of virtual currencies, the work focused on studying the technologies, systems, and platforms that make up these cryptocurrencies to verify the possibility of using them in other contexts, such as sharing sensitive content. Although these platforms offer advantages in terms of immutability, privacy, security, and reliability, some gaps persist in making such platforms secure and reliable. Therefore, MADCS middleware aims to detect anomalies in the sharing of sensitive content, focusing on the experiment of verifying the content of each transaction within an organization and, based on clusters created based on in actual sales, detect if there is one outside the normal flow and that can distinguish between valid and invalid transactions. In this way, we were able to verify anomalies imposed by the interested parties themselves aim to benefit from the network. To validate the middleware, we built a medical prescription data set following a generic medical prescription model. We applied the K-means algorithm to identify simulated anomalies in the proposed middleware. The zero-knowledge test was used for the confidential conduct of the negotiation stage between users, so that, for a transaction to be confirmed, the anomaly detector must investigate and approve its information. Subsequently, the consensus must allow the sending of the sale to the structure. The results of the experiments demonstrate the accuracy and precision of 75 % and 85 % in the identification of abnormalities in the content sharing process. We carried out the case study with and without MADCS, and the results demonstrated that the use of blockchain combined with our middleware could contribute to a more secure sharing of the networks content. It was verified that the middleware associated with ledger does not produce a big noise in terms of latency and processing, leading to the belief that the insertion of a mechanism to increase the confidence in distributed systems will not alter the system flow significantly.

The study and development of autonomous vehicles have become more relevant at each day. For the intelligent vehicle to be able to navigate through a real urban environment it is necessary a high degree of reliability to ensure the passenger and pedestrians safety. Therefore, sensors and algorithms used to help the decision making during the autonomous navigation need the maximum amount of information available, for the environment analysis to be most complete as possible. As an human driver, the computer should analyze the surrounding environment and evaluate the possible actions to execute in order to reach the final destination safely. However, despite the high precision data collected by the sensors, computational methods has a disadvantage when compared to the human cognition. A human driver can analyze the surrounding environment and deduce occluded information, more specifically information related to the environment behind objects and structures. For computational methods extract this missing data is a challenge. Recent works on image processing propose methods to estimate the area behind specified regions. Yet, those methods are applied on RGB images, where the focus is a visually satisfactory result. When dealing with disparity images, which codify depth data, it is necessary a coherent and precise estimation, since any noise on the image will be intensified in the tridimensional reconstruction, and will influence on the decision making algorithms environment interpretation. In this work we deal with the hypothesis of, by using specific disparity and depth features as guideline for the disparity image estimation, it is possible to achieve a coherent environment reconstruction of the area behind a masked region. Our results point out to this hypothesis validation, since we achieve - at the end of this work - a continuous environment reconstruction without significant noise. O estudo e desenvolvimento de veículos autônomos vem se tornando cada vez mais relevante. Para que estes veículos possam trafegar em um ambiente urbano real é necessário alto grau de confiabilidade para garantir a segurança dos passageiros e dos pedestres. Para isso, os sensores e algoritmos utilizados para auxiliar na tomada de decisão durante a direção autônoma necessitam do máximo de informação disponível, para que a análise do ambiente seja o mais ampla possível. Assim como um motorista humano, o computador deve analisar o ambiente ao seu redor e avaliar as possíveis medidas a serem tomadas afim de alcançar o destino final do trajeto de modo seguro. Contudo, apesar dos sensores coletarem informações com alta precisão, métodos computacionais possuem uma desvantagem em relação à cognição humana. Um motorista humano pode analisar as informações do ambiente ao seu redor e deduzir informações oclusas, mais especificamente informações sobre o ambiente por de trás de diferentes objetos e estruturas. Para métodos computacionais, extrair esta informação omissa é um desafio. Trabalhos recentes na área de processamento de imagens propõe métodos para estimar a área por trás de regiões especificadas. Porém, estes métodos são aplicados a imagens RGB, onde o foco é um resultado visualmente satisfatório. Ao lidarmos com imagens de disparidade, que codificam dados de profundidade, é necessária uma estimativa coerente e precisa, uma vez que quaisquer ruídos na imagem, serão intensificados na reconstrução tridimensional e influenciarão na interpretação do ambiente ao redor pelos algoritmos de tomada de decisão. Neste trabalho lidamos com a hipótese de que, utilizando aspectos específicos dos dados de disparidade e profundidade como orientação para a estimativa de disparidade, é possível alcançar uma reconstrução coerente do ambiente por de trás de uma região demarcada. Os resultados apontam para a validação dessa hipótese, uma vez que alcançamos - ao fim deste trabalho - uma reconstrução contínua do ambiente com poucos ruídos.

Os Veículos Robóticos Inteligentes são aplicados principalmente em beneficio da redução de acidentes de trânsito, possibilitando então reduzir falhas e imprudências humanas com sistemas que utilizam Visão Computacional, Inteligência Artificial, Automação e outras tecnologias, para auxiliar o condutor em sua tarefa de dirigir. Aplicando a robotização, também é possível o aumento do nível da segurança viária por meio do desenvolvimento de veículos autônomos totalmente livres do controle humano e que são programados para navegarem dentro das leis de trânsito. Sendo que as falhas humanas são a causa de mais de 90% para acidentes fatais em todo o mundo. Esta pesquisa de doutorado teve como objetivo principal o estudo, proposta, desenvolvimento, adaptações e testes de um conjunto de técnicas e métodos de Visão Computacional e Inteligência Artificial, com vistas para um sistema de percepcão com fusão de imagens 2D e 3D mais robusto para detecção de sinais de trânsito verticais. Também foi desenvolvido um modelo de Atenção Visual Fuzzy, capaz de analisar a prioridade de cada informação detectada por meio do sistema de percepção, possibilitando então dar suporte para a tomada de decisão do veículo envolvendo situações de emergência (acidentes e obras na via), utilizando como base, os valores de prioridade de cada regra de trânsito. O sistema de Visão Computacional Robótica deve ser capaz de detectar, classificar e analisar a prioridade dos sinais de trânsito verticais utilizados atualmente e, que são funcionais para o trânsito envolvendo motoristas humanos no mundo real, não exigindo adaptações da sinalização. O sistema de visão deve então auxiliar um veículo totalmente autônomo, ou semi-autônomo, a navegar dentro das regras de trânsito locais, assim, detectando informações de grande importância, como: velocidade máxima, parada obrigatória, cones de emergência e cores do semáforo. Em casos de navegação autônoma, apenas o sistema de percepção e análise de sinais de trânsito verticais deve ser utilizado. Já para a navegação semi-controlada, ou seja, com auxílio de um humano, o sistema de visão externo deve trabalhar em conjunto com a análise do condutor e dos dados de controle do veículo, ativando rotinas automáticas corretivas com base nos erros detectados na tarefa de dirigir, possibilitando evitar graves acidentes relacionados com o desrespeito as sinalizações de trânsito e que são gerados por falha humana e imprudência. Intelligent Robotic Vehicles are mainly applied for the benefit of the traffic accidents reduction, thus enabling to reduce human faults and recklessness with systems that use Computer Vision, Artificial Intelligence, Automation and other technologies to assist the driver in his driving task. By applying robotization, it is also possible to increase the level of road safety by developing autonomous vehicles totally free of human control and which are programmed to navigate within traffic laws. Human failures in driving take responsability over 90% for fatal accidents worldwide. The main objective of this doctoral research was the study, proposal, development, adaptations and tests of a set of techniques and methods of Computer Vision and Artificial Intelligence, aiming at a 2D and 3D image fusion perception system, being more robust for detecting vertical road signs. A Fuzzy Visual Attention model was also developed, capable of analyzing the priority of each information detected through the perception system, thus enabling the decision making of the vehicle involving emergency situations (accidents and road works) to be supported. The Fuzzy Visual Attention model uses the priority values of each traffic sign as a basis. The Robotic Computer Vision system shall be capable of detecting, classifying and analyzing the priority of currently used vertical traffic signs that are functional for traffic involving human drivers in the real world and do not require signaling adaptations. The vision system should then assist a fully autonomous or semi-autonomous vehicle to navigate within local traffic rules, thus detecting important information such as maximum speed, mandatory stop, emergency cones and traffic light colors. In cases of autonomous navigation, only the system of perception and analysis of vertical traffic signs should be used. For semi-controlled navigation, that is, with the help of a human, the external vision system should work in conjunction with driver analysis and vehicle control data, activating automatic corrective routines based on errors detected in the task execution. Thus making it possible to avoid serious accidents related to disregarding traffic signs, due mainly to human errors and recklessness.

No Brasil, entre 2008 e 2018, foram registrados 1,5 milhão de acidentes em rodovias federais. Acidentes do tipo colisão frontal representaram 3,2% do total de acidentes e em relação às mortes registradas, a colisão frontal foi responsável por 31% das mortes: 25 mil mortes, 17 mil feridos graves e 25 mil feridos leves. Estes dados mostram que a ultrapassagem em rodovias de pista simples é uma das manobras mais complexas e arriscadas das rodovias brasileiras. Devido a estes valores, as atividades de pesquisa e análise de dados da acidentalidade rodoviária, juntamente com a influência de diversos fatores – infraestrutura rodoviária, componente veicular e comportamento do condutor – constituem uma parte essencial do projeto geométrico da rodovia e da segurança viária. O processo de ultrapassagem envolve manobras de mudança de faixa, aceleração, desaceleração, ações e estimativa da velocidade relativa dos veículos ultrapassados e o comportamento do condutor. O principal objetivo desta tese foi analisar as manobras de ultrapassagem em rodovias de pesquisa simples bidirecional. Para isso, foram formuladas três hipóteses e um método para confrontar os parâmetros que compõem o modelo de distância de visibilidade de ultrapassagem (AASHTO e DNIT), através de um experimento fatorial de medidas repetidas que contou com oitenta voluntários, que dirigiram num trecho virtual de rodovia no simulador de direção. O experimento possibilitou investigar as fases da manobra de ultrapassagem; caracterizar o perfil do condutor a partir do nível de risco mensurado nas ultrapassagens realizadas; o grau de confiança – realismo – do simulador de direção de base fixa para as pesquisas sobre fatores humanos em manobra de ultrapassagem e mensurar as distâncias e tempos das fases da manobra de ultrapassagem em ambiente simulado e compará-las ao modelo de distância de visibilidade normatizado. In Brazil, between 2008 and 2018, 1.5 million accidents were recorded on federal highways. The frontal collision represented 3.2% of all accidents and, in relation to recorded deaths, the frontal collision was responsible for 31% of deaths – 25,000 deaths, 17,000 serious injuries, and 25,000 minor injuries. These data show that overtaking on two-lane highways is one of the most complex and riskiest maneuvers on Brazilian highways. Because of these values, research and analysis of road accident data, coupled with the influence of various factors - road infrastructure and driver behavior - are an essential of road geometric design and road safety. The overtaking process involves maneuvers of the lane change, acceleration, deceleration, actions, and estimation of the relative speed of outdated vehicles and driver behavior. The main objective of this thesis was to analyze the maneuvers of overtaking on twolane highways. Three hypotheses and one method were used to compare the parameters that compose the passing sight distance model (AASHTO and DNIT), through a factorial experiment of repeated measures that counted with eighty volunteers. The participants drove on a virtual highway in the driving simulator. The experiment allowed to investigate the phases of the overtaking maneuver; characterize the profile of the driver from the level of risk measured in the overtakes performed; the degree of confidence - realism - of the fixed base driving simulator for the research of human factors in the overtaking maneuver, and to measure the distances and times of the overtravel maneuver phases in a simulated environment and compare them with the standardized passing sight distance model.

O reconhecimento de faces é aplicado em várias tecnologias de segurança, como desbloqueios de celular, autenticação de entradas e saídas de estabelecimentos, meios de pagamentos via aplicativos móveis e outros. Para melhorar a confiança nos sistemas de segurança, foi desenvolvido também um reconhecedor de vida, com o uso do espectrograma da voz do usuário. Esse projeto propõe a criação de um sistema de segurança de autenticação de portas de residências e de acesso a salas e ambientes restritos (p.ex. laboratórios de pesquisa), com a aplicação das técnicas de reconhecimento de faces e de prova de vida, através de Deep Learning e Aprendizagem de Máquina, com o auxílio da ferramenta Tensorflow (um framework de aprendizado de máquina bastante utilizado no mercado), e com isso, criar um protótipo do sistema de reconhecimento facial e de vida, que pode ser facilmente convertido em um produto comercial. O projeto foi dividido em quatro redes neurais(RN-1, 2, 3, 4). A primeira, RN-1, consiste em treinar a rede com a base LFW ( Face Dataset ) para obter a melhor arquitetura de Aprendizado de Máquina. Então a aplicação realiza a captura da imagem e da voz do usuário. Na segunda rede, RN-2, utilizou-se dessa arquitetura selecionada para treinar a rede em base própria de reconhecimento de face (de complexidade 1:N), que foi criada especificamente para este trabalho. A terceira, RN-3, corresponde ao Reconhecimento da Prova de Vida (de complexidade 1:N), pois o sistema verifica se a voz (áudio) se refere à mesma pessoa da RN-2, evitando que o sistema seja enganado com a simples apresentação de uma foto/imagem no lugar da face humana real ou mesmo de um gravador de voz. Isso aumenta muito o grau de confiabilidade da aplicação, pois a verificação é dupla. A quarta rede, RN-4,(de complexidade 1:1) verifica também a voz da pessoa, porém há somente 2 classes: a do indivíduo em questão e a classe outros (outros usuários), portanto, haverá uma rede separada para cada usuário. Essa análise aumenta ainda mais o grau de confiabilidade da aplicação. Os resultados mostraram que: dentre 9 arquiteturas testadas, na RN-1, apenas a mobilenet_1.0_128 obteve os melhores resultados; a acurácia da rede, com a base própria na RN-2, obteve resultados muito melhores do que na RN-1 com a base LFW; o espectrograma de voz analisado na RN-3 obteve resultados muito satisfatórios com acurácia chegando a 92%; já na RN-4 as acurácias das redes chegaram a 100%. Face recognition is applied in lot of security technologies, such as mobile unlocking, authentication of station inputs and outputs, payment options by mobile applications, and more. To improve confidence in security systems, a life recognizer has also been developed with the use of the user\'s voice spectrogram. This project proposes creation of a door entry security system and access to classrooms and restricted environments, with an application of face recognition and Life-Proof techniques, through the Deep Learning and Machine Learning, using Tensorflow tool, a framework of machine learning, the most famous of the market, with the objective of creating a prototype to a commercial product. The project was divided into four neural networks (RN-1, 2, 3, 4). The first, RN-1, consists in training a network with LFW (Face Dataset) to get the best architecture. Then the application makes a capture of the image and the voice of the user. In the second network, RN-2, we used this selected architecture to train the network based on its own face recognition dataset (1: N complexity), which was created specifically for this project. The third, RN-3, corresponds to the \"Life-Proof\" Recognition (of complexity 1: N), since the system checks if the voice refers to the same person as the RN-2, with the simple presentation of a photo / image in place of the actual human face or even of a voice recorder. This greatly increases the degree of reliability of the application, since the verification is double. The fourth network, RN-4 (1: 1 complexity) also verifies the person\'s voice, but there are only 2 classes: one of the individual in question and the class \"other\" (other users), so there will be a separate network for each person. This analysis improve the degree of reliability of the application. The results showed the best architecture was the mobilenet_1.0_128; the network with the own dataset (RN-2) obtained much better results than the network with the LFW base (RN-1); the voice spectrogram analyzed in RN-3 obtained very satisfactory results with accuracy reaching 92%; already in RN-4 the accuracy of the networks reached 100%.

A Robótica tem avançando significativamente nas últimas décadas, chegando a apresentar produtos comerciais, como robôs aspiradores de pó e quadricópteros. Com a integração cada vez maior de robôs em nossa sociedade, mostra-se necessário o desenvolvimento de métodos de interação entre pessoas e robôs para gerenciar o convívio e trabalho mútuo. Existem alguns trabalhos na literatura que consideram o posicionamento socialmente aceitável de um robô, acompanhando um indivíduo, mas não consideram o caso de uma equipe de robôs navegando com uma pessoa considerando aspectos de proxêmica. Nesta tese, são propostas várias estratégias de acompanhamento de um humano por um time de robôs social, que são bioinspiradas por serem baseadas em técnicas de inteligencia coletiva e comportamento social. Experimentos simulados são apresentados visando comparar as técnicas propostas em diversos cenários, destacando-se as vantagens e desvantagens de cada uma delas. Experimentos reais permitiram uma análise da percepção das pessoas em interagir com um ou mais robôs, demonstrando que nenhuma diferença na impressão dos indivíduos foi encontrada. The field of Robotics have been advancing significantly on the last few decades, presenting commercial products like vacuum cleaning robots and autonomous quadcopter drones. With the increasing presence of robots in our routine, it is necessary to develop human-robot interaction schemes to manage their relationship. Works that deal with a single robot doing a socially acceptable human following behavior are available, but do not consider cases where a robot team walks with a human In this thesis, it is presented a solution for social navigation between a human and a robot team combining socially aware human following techniques with a multirobot escorting method, generating four bioinspired navigation strategies based on collective intelligence and social behavior. Experiments comparing these four strategies on a simulated environment in various scenarios highlighted advantages and disadvantages of each strategy. Moreover, an experiment with real robots was made to investigate the difference on perception of people when interacting with one or three robots, and no difference was found.

Curbs and road markings were designed to provide a visual low-level spatial perception of road environments. In this sense, a perception system capable of detecting those road features is of utmost importance for an autonomous vehicle. In vision-based approaches, few works have been developed for curb detection, and most of the advances on road marking detection have aimed lane markings only. Therefore, to detect all these road features, multiple algorithms running simultaneously would be necessary. Alternatively, as the main contribution of this work, it was proposed to employ an architecture of Fully Convolutional Neural Network (FCNN), denominated as 3CSeg-Multinet, to detect curbs and road markings in a single inference. Since there was no labeled dataset available for training and validation, a new one was generated with Brazilian urban scenes, and they were manually labeled. By visually analyzing experimental results, the proposed approach has shown to be effective and robust against most of the clutter present on images, running at around 10 fps in a Graphics Processing Unit (GPU). Moreover, with the intention of granting spatial perception, stereo vision techniques were used to project the detected road features in a point cloud. Finally, as a way to validate the applicability of the proposed perception system on a vehicle, it was also introduced a vision-based metric localization model for the urban scenario. In an experiment, compared to the ground truth, this localization method has revealed consistency on its pose estimations in a map generated by LIDAR. Guias e sinalizações horizontais foram projetados para fornecer a percepção visual de baixo nível do espaço das vias urbanas. Deste modo, seria de extrema importância para um veículo autônomo ter um sistema de percepção capaz de detectar tais características visuais. Em abordagens baseadas em visão, poucos trabalhos foram desenvolvidos para detecção de guias, e a maioria dos avanços em detecção de sinalizações horizontais foi focada na detecção de faixas apenas. Portanto, para que fosse possível detectar todas essas características visuais, seria necessário executar diversos algoritmos simultaneamente. Alternativamente, como sendo a principal contribuição deste trabalho, foi proposto a adoção de uma Rede Neural Totalmente Convolutiva, denominado 3CSeg-Multinet, para detectar guias e sinalizações horizontais em apenas uma inferência. Como não havia um conjunto de dados rotulados disponível para treinar e validar a rede, foi gerado um novo conjunto com imagens capturadas em ambiente urbano brasileiro, e foi realizado a rotulação manual. Através de uma análise visual dos resultados experimentais obtidos, o método proposto mostrou-se eficaz e robusto contra a maioria dos fatores que causam confusão nas imagens, executando a aproximadamente 10 fps em uma GPU. Ainda, com o intuito de garantir a percepção espacial, foram usados métodos de visão estéreo para projetar as características detectadas em núvem de pontos. Finalmente, foi apresentado também um modelo de localização métrica baseado em visão para validar a aplicabilidade do sistema de percepção proposto em um veículo. Em um experimento, este método de localização revelou-se capaz de manter as estimativas consistentes com a verdadeira pose do veículo em um mapa gerado a partir de um sensor LIDAR.

Unmanned aerial vehicles (UAV) have become increasingly popular and their ability to analyze images collected in real time has drawn the attention of researchers regarding their use in several tasks, as surveillance of environments, persecution, collection of images, among others. This dissertation proposes a vehicle tracking system through which UAVs can recognize a vehicle and monitor it in highways. The system is based on a combination of bio-inspired machine learning algorithms VOCUS2, CNN and LSTM and was tested with real images collected by an aerial robot. The results show it is simpler and outperformed other complex algorithms, in terms of precision. Veículos aéreos não tripulados têm se tornado cada vez mais populares e sua capacidade de analisar imagens coletadas em tempo real tem chamado a atenção de pesquisadores quanto ao seu uso em diversas tarefas, como vigilância de ambientes, perseguição, coleta de imagens, entre outros. Esta dissertação propõe um sistema de rastreamento de veículos através do qual os UAV podem reconhecer um veículo e monitorá-lo em rodovias. O sistema é baseado em uma combinação de algoritmos de aprendizado de máquina bio-inspirados VOCUS2, CNN e LSTM e foi testado com imagens reais coletadas por um robô aéreo. Os resultados mostram que é mais simples e superou outros algoritmos complexos, em termos de precisão.

Este trabalho apresenta um sistema que se utiliza de características extraídas de dados provenientes de um sensor Kinect v2 para monitorar o motorista, dados de sensores inerciais, da telemetria do veículo e dados sobre a estrada/faixa de rodagem para reconhecer o estilo de direção, permitindo ao sistema detectar o uso do celular no trânsito, um motorista embriagado e a direção sonolenta, evitando assim, riscos relacionados com a direção. De fato, quando veículos são conduzidos por pessoas em ligações telefônicas, o risco de acidente aumenta de 4 a 6 vezes. Motoristas embriagados causaram 10:497 mortes nas rodovias dos Estados Unidos da América em 2016, segundo o órgão local responsável pela segurança no trânsito (NHTSA). Um Conjunto de Dados Naturalista do Comportamento do Motorista (NDBD) foi criado especificamente para este trabalho e utilizado para o teste e validação do sistema proposto. A solução proposta emprega duas análises dos dados do motorista, os subsistemas de reconhecimento de padrões de Curto e Longo prazos. Assim, pode-se detectar situações de risco na direção. O sistema possui 3 níveis de alerta: sem alerta, alerta baixo e alerta alto. O subsistema de Curto Prazo detecta situações de sem alerta e de algum nível de alerta. Já o subsistema de Longo Prazo é responsável por determinar o nível de alerta: baixo ou alto. Classificadores baseados em Aprendizado de Máquina e Redes Neurais Artificiais (RNA) foram utilizados. Um Algoritmo Genético foi empregado para otimizar e selecionar um conjunto de valores que ajustam a entrada de características, função de ativação dos neurônios e topologia/treino da rede neural. O sistema proposto alcançou 79;5% de acurácia nos frames do NDBD (conjunto de treinamento e validação obtidos utilizando um simulador veicular próprio), para a detecção conjunta de risco em situações de uso de celular, embriaguez ou condução normal. Para o classificador de Curto Prazo, utilizou-se períodos de 5 frames e uma janela de 140 frames para o Longo Prazo. Considerando a detecção individualizada dos problemas de condução, no caso específico da embriaguez (usados dados de embriaguez e direção normal) o sistema obteve 98% de acurácia, e especificamente para o uso de celular obteve 95% de acurácia. Na classificação de sem alerta (situações sem risco), o sistema obteve apenas 1;5% de predições erradas (falsos positivos), contribuindo assim para o conforto do motorista ao utilizar o sistema. In this work, a system has been developed using features from a frontal Kinect v2 sensor to monitor the driver, from inertial sensors, car telemetry, and road lane data to recognize the driving style, enabling to recognize the use of a cell phone while driving, a drunk driver, and drowsy driving, avoiding driving risks. In fact, cars driven by people on phone calls, increases the risk of crash between 4 and 6 times. Drunk drivers caused 10;497 deaths on USA roads in 2016 according to NHTSA. The Naturalistic Driver Behavior Dataset (NDBD) was created specifically for this work and it was used to test the proposed system. The proposed solution uses two analysis of the drivers data, the Short-Term and Long-Term pattern recognition subsystems, thus it could detect the risk situations while driving. The system has 3 levels of alarm: no alarm, lowest alarm, and highest alarm. Short-Term detects between no alarm or some level alarm. Long-Term is responsible for determining the risk alarm level, low or high. The classifiers are based on Machine Learning and Artificial Neural Networks (ANN), furthermore, the values set to adjust input features, neuron activation functions, and network topology/training parameters were optimized and selected using a Genetic Algorithm. The proposed system achieved 79:5% of accuracy in NDBD frames (training and validation sets obtained using a driving simulator), for joint detection of risk in situations of cellphone usage, drunkenness, or normal driving. For the Short-Term classifier, it was used length periods of 5 frames and a window of 140 frames for Long-Term. Considering the individualized detection of driving problems, in the specific case of drunkenness (using data of drunkenness and normal driving), the system achieved 98% of accuracy, and specifically for cell phone usage 95% of accuracy. The best results achieved obtained only 1:5% of no risk situation having a wrong prediction (false positives with alarm activation), contributing to the driver comfort when he/she is using the system.

The present research proposes two procedural content generation approaches for missions and play space in a game with dungeons, and a game prototype developed as a proof of concept for the feasibility of the algorithm and as a test framework for user-based experiments. The first approach will define missions by generating dungeon maps together with locked doors and keys through the use of an evolutionary algorithm. The second approach will populate the generated dungeon space by filling the content of dungeon rooms using space-filling curves and cellular automata algorithms. The evolutionary algorithm evolves tree structures encoding information about the dungeon. The goal is to converge the generated dungeons as close as possible to satisfy the set of parameter inputs provided by a game designer. The dungeon holds information about the amount of rooms, the connections between them and their position in a 2D map. There are also relevant semantic information in the content for the generation of narrative, which presents itself by the placement of unique pairs of keys and locks throughout it. Thus, a feasible way to finish the dungeon can be procedurally generated. The content of rooms are generated using space-filling curves algorithms such as Hilbert and Moore curves as well as Conways Game of Life Cellular Automata. Computational results report that the evolutionary algorithm provides dungeons with up to a 100 rooms very close to the desired ones for a range of different parameter inputs. The early validation tests with humans show no statistical difference between levels procedurally generated and those made by humans. Further user-centred validation tests with the game prototype show the algorithm-generated levels are perceived as equally or even more human-made than their human-authored counterparts, as well as funnier and more difficult. Thus, the research aims to generate gameplay elements combining different algorithms for a single solution, which could be easily adapted to a range of different games. O projeto propõe duas abordagens de geração de conteúdo para missões e mapas em um jogo com calabouços, e um protótipo de jogo desenvolvido como prova de conceito da factibilidade do algoritmo e também como plataforma de testes para experimentos com usuários. A primeira abordagem define missões ao gerar mapas de calabouço em conjunto com chaves e portas trancadas através do uso de um algoritmo evolutivo. Já a segunda abordagem irá popular o espaço do calabouço criado ao preencher o conteúdo de suas salas usando algoritmos de curvas de preenchimento de espaço e autômatos celulares. O algoritmo evolutivo evolui uma estrutura em árvore que codifica informações sobre o calabouço. O objetivo é convergir os calabouços gerados para se aproximar ao máximo da configuração de entrada fornecida por um designer de jogos. O calabouço possui informação sobre as salas, como a quantidade das mesmas, as conexões entre elas e suas posições em um mapa 2D. Também contam com informações semânticas relevantes para a geração de narrativa no calabouço, que são o posicionamento de pares únicos de chaves e fechaduras através do calabouço. Portanto, uma maneira factível para o término do mesmo pode ser gerada proceduralmente. O conteúdo das salas é gerado usando curvas de preenchiment de espaço como as de Hilbert e Moore, além do autômato celular do Jogo da Vida de Conway. Resultados computacionais demonstram que o algoritmo evolutivo é capaz de criar calabouços com propriedades muito próximas às desejadas para uma grande variedade de entradas para calabouços com até 100 salas. Resultados preliminares de validação com humanos mostraram não haver diferença estatística entre os níveis gerados proceduralmente daqueles feitos por humanos. Testes posteriores de validação centrados em humanos com o protótipo de jogo mostram que os níveis gerados pelo algoritmo são percebidos como feitos por humanos de maneira semelhante ou até em maior grau do que suas contrapartidas geradas de fato por humanos, assim como são percebidos como mais divertidos e difíceis do que estas. Portanto, esta pesquisa objetiva gerar elementos de jogabilidade combinando diferentes algoritmos em uma única solução, que pode ser facilmente adaptada para uma variedade de jogos diferentes.

Veículos autônomos são importantes para a execução de missões dos mais variados tipos, reduzindo riscos aos seres humanos e executando as missões de uma maneira mais eficiente. Neste contexto existem os veículos aéreos não tripulados que são cada vez mais utilizados em missões de vigilância, reconhecimento, resgate, entre outras. Uma das características destes veículos é realizar as missões de maneira autônoma, sem a intervenção de operadores humanos. Desta forma, é necessário que existam formas de detectar aproximações perigosas com outras aeronaves e objetos que possam causar risco de colisão e, consequentemente a perda de ativos de alto valor ou até mesmo vidas humanas e, posteriormente realizar o desvio necessário. Neste cenário foi proposto o MOSAIC, um sistema de detecção e desvio de obstáculos utilizando visão monocular para veículos aéreos de pequeno porte. Para isto, foi desenvolvido um método de estimativa da posição tridimensional dos obstáculos a partir de imagens monoculares e propostas melhorias em algoritmos de detecção. A validação do sistema foi obtida por meio de experimentos simulados e reais sobre cada módulo e os resultados obtidos foram promissores, apresentando um erro de apenas 9,75% em ambientes sem restrições e distâncias de até 20 metros. Com isto, os resultados se mostram melhores que os demais algoritmos encontrados no estado da arte em que o erro é menor que 10% apenas em ambientes controlados e distâncias de até 5 metros. Autonomous vehicles can be used for different kinds of missions reducing risks to human life and being more efficient. In this context, unmanned aerial vehicles play an important role on surveillance, recognition and rescue missions, among others. Due to the mission nature, these vehicles need to perform actions without human intervention, which requires that dangerous approximations to others aerial vehicles or objects to be detected and properly avoided. This leads to the creation of MOSAIC, an obstacle avoidance system based on monocular vision designed to meet the requirements of miniature air vehicles. A novel approach to estimate obstacle three-dimensional position based on monocular vision was developed and some improvements in the detection algorithm were proposed. The system validation was obtained through simulated and real experiments in which each module could be validated. Promising results were obtained showing an error under 9.75% in unconstrained environments and distance up to 20 meters. This results were better than the algorithms and approaches described in the state of the art where errors are under 10% only on constrained environments and distance up to 5 meters.

A disseminação do uso de robôs na sociedade moderna é uma realidade. Do começo restrito às operações fabris como pintura e soldagem, até o início de seu uso nas residências, apenas algumas décadas se passaram. A robótica social é uma área de pesquisa que visa desenvolver modelos para que a interação direta de robôs com seres humanos ocorra de forma natural. Um dos fatores que compromete a rápida evolução da robótica social é a dificuldade em integrar sistemas cognitivos e robóticos, principalmente devido ao volume e complexidade da informação produzida por um mundo caótico repleto de dados sensoriais. Além disso, a existência de múltiplas configurações de robôs, com arquiteturas e interfaces distintas, dificulta a verificação e repetibilidade dos experimentos realizados pelos diversos grupos de pesquisa. Esta tese contribui para a evolução da robótica social ao definir uma arquitetura, denominada Cognitive Model Development Environment (CMDE) que simplifica a conexão entre sistemas cognitivos e robóticos. Essa conexão é formalizada com uma ontologia, denominada OntPercept, que modela a percepção do ambiente a partir de informações sensoriais captadas pelos sensores presentes no agente robótico. Nos últimos anos, diversas ontologias foram propostas para aplicações robóticas, mas elas não são genéricas o suficiente para atender completamente às necessidades das áreas de robótica e automação. A formalização oferecida pela OntPercept facilita o desenvolvimento, a reprodução e a comparação de experimentos associados a robótica social. A validação do sistema proposto ocorre com suporte do simulador Robot House Simulator (RHS), que fornece um ambiente onde, o agente robótico e o personagem humano podem interagir socialmente com níveis crescentes de processamento cognitivo. A proposta da CMDE viabiliza a utilização de qualquer sistema cognitivo, em particular, o experimento elaborado para validação desta pesquisa utiliza Soar como arquitetura cognitiva. Em conjunto, os elementos: arquitetura CMDE, ontologia OntPercept e simulador RHS, todos disponibilizados livremente no GitHub, estabelecem um ambiente completo que propiciam o desenvolvimento de experimentos envolvendo sistemas cognitivos dirigidos para a área de robótica social. The use of robots in modern society is a reality. From the beginning restricted to the manufacturing operations like painting and welding, until the beginning of its use in the residences, only a few decades have passed. Social robotics is an area that aims to develop models so that the direct interaction of robots with humans occurs naturally. One of the factors that compromises the rapid evolution of social robotics is the difficulty in integrating cognitive and robotic systems, mainly due to the volume and complexity of the information produced by a chaotic world full of sensory data. In addition, the existence of multiple configurations of robots, with different architectures and interfaces, makes it difficult to verify and repeat the experiments performed by the different research groups. This research contributes to the evolution of social robotics by defining an architecture, called Cognitive Model Development Environment (CMDE), which simplifies the connection between cognitive and robotic systems. This connection is formalized with an ontology, called OntPercept, which models the perception of the environment from the sensory information captured by the sensors present in the robotic agent. In recent years, several ontologies have been proposed for robotic applications, but they are not generic enough to fully address the needs of robotics and automation. The formalization offered by OntPercept facilitates the development, reproduction and comparison of experiments associated with social robotics. The validation of the proposed system occurs with support of the Robot House Simulator (RHS), which provides an environment where the robotic agent and the human character can interact socially with increasing levels of cognitive processing. All together, the elements: CMDE architecture, OntPercept ontology and RHS simulator, all freely available in GitHub, establish a complete environment that allows the dev

O aumento da demanda por sistemas computacionais mais eficientes para obter alto desempenho impôs novos desafios à comunidade de pesquisa, que precisou buscar por novas plataformas heterogêneas para grandes aplicações. Para utilizar todo o potencial dessas plataformas, podese agrupar a aplicação em grupos menores de modo que cada grupo seja executado em uma unidade de processamento específica, para reduzir o gargalo de comunicação, de acordo com o comportamento de comunicação durante a execução da aplicação. Com o propósito de oferecer um agrupamento mais eficiente, este projeto propõe a análise de agrupamento de uma aplicação levando em consideração não só o volume total de dados, mas também a distribuição desse volume durante o tempo de execução associado à restrição da banda e da taxa de transmissão. Embora alguns trabalhos considerem o volume total de dados para o agrupamento, não é evidenciado como esse volume é distribuído e como a restrição de banda afeta o agrupamento. Assim, neste projeto foi implementado um framework para sugerir um agrupamento considerando a distribuição do volume de comunicação e restrições de banda. Além disso, foi desenvolvido um módulo de extensão para a ferramenta externa MCProf (Memory and Communication Profiler) com o objetivo de obter a distribuição do volume de comunicação. A validação do framework foi realizada por meios de testes de agrupamentos de aplicações nos quais foram comparados o tempo de comunicação do agrupamento gerado pela execução do framework em relação aos resultado dos agrupamentos considerando os trabalhos da literatura. O uso desta abordagem apresentou um aumento no desempenho que variou de 1,117X a 2,621X para as aplicações usadas nos experimentos. The increased demand for more efficient computing systems to achieve high performance proposed new challenges to the research community, which needed to search for new heterogeneous platforms for large applications. To utilize the full potential of these platforms, the application can be grouped into small groups that runs on a specific processing unit to reduce the communication bottleneck according to the communication behavior during application execution . With the purpose of offering a more efficient clustering, this project proposes the analysis of clustering of an application taking into account not only the total volume of data, but also the distribution of that volume during the execution time associated to the band and restriction of rate transmission. Although some studies consider the total volume of data for the cluster, it is not clear how this volume is distributed and how the band constraint affects clustering. Thus, in this project was implemented a framework to suggest a cluster considering the distribution of the volume of communication and band restrictions. In addition, an extension module was developed for the external tool MCProf (Memory and Communication Profiler) in order to obtain the distribution of the communication. The validation of the framework was performed by clsutering tests which used applications in which the communication time of the cluster generated by the execution of framework was compared to the results of the clusters considering the literature. The use of this approach showed an increase in performance ranging from 1.117X to 2.621X for the applications used in the experiments.

O emprego de veículos terrestres autônomos tem se tornado cada vez mais comum nos últimos anos em aplicações civis e militares. Eles podem ser úteis para as pessoas com necessidades especiais e para reduzir os acidentes de trânsito e o número de baixas em combate. Esta tese aborda o problema da classificação de obstáculos e da localização do veículo em relação a um mapa topológico, sem fazer uso de GPS e de mapas digitais detalhados. Um sensor laser 3D é usado para coletar dados do ambiente. O sistema de classificação de obstáculos extrai as features da nuvem de pontos e usam-nas para alimentar um classificador que separa os dados em quatro classes: veículos, pessoas, construções, troncos de árvores e postes. Durante a extração de features, um método original para transformar uma nuvem 3D em um grid 2D é proposto, o que ajuda a reduzir o tempo de processamento. As interseções de vias de áreas urbanas são detectadas e usadas como landmarks em um mapa topológico. O sistema consegue obter a localização do veículo, utilizando os pontos de referência, e identifica as mudanças de direção do veículo quando este passa pelos cruzamentos. Os experimentos demonstraram que o sistema foi capaz de classificar corretamente os obstáculos e localizar-se sem o uso de sinais de GPS. The employment of autonomous ground vehicles, both in civilian and military applications, has become increasingly common over the past few years. Those vehicles can be helpful for disabled people and also to reduce traffic accidents. In this thesis, approaches to the problem of obstacles classification and the localization of the vehicle in relation to a topologic map are presented. GPS devices and previous digital maps are not employed. A 3D laser sensor is used to collect data from the environment. The obstacle classification system extracts features from point clouds and uses them to feed a classifier which separates data into four classes: vehicle, people, building and light poles/ trees. During the feature extraction, an original method to transform 3D to 2D data is proposed, which helps to reduce the processing time. Crossing roads are detected and used as landmarks in a topological map. The vehicle performs self-localization using the landmarks and identifying direction changes through the crossing roads. Experiments demonstrated that system was able to correctly classify obstacles and to localize itself without using GPS signals.

A robótica social representa um ramo da interação humano-robô que visa desenvolver robôs para atuar em ambientes não estruturados em parceria direta com seres humanos. O relatório A Roadmap for U.S. Robotics From Internet to Robotics, de 2013, preconiza a obtenção de resultados promissores em 12 anos desde que condições apropriadas sejam disponibilizadas para a área. Uma das condições envolve a utilização de ambiente de referência para desenvolver, avaliar e comparar o desempenho de sistemas cognitivos. Este ambiente é denominado Robot City com atores, cenários (casas, ruas, cidade) e auditores. Até o momento esse complexo ambiente não se concretizou, possivelmente devido ao elevado custo de implantação e manutenção de uma instalação desse porte. Nesta dissertação é proposto um caminho alternativo através da definição e implementação do simulador de sistemas cognitivos denominado Robot House Simulator (RHS). O simulador RHS tem como objetivo disponibilizar um ambiente residencial composto por sala e cozinha, no qual convivem dois agentes, um robô humanoide e um avatar humano. O agente humano é controlado pelo usuário do sistema e o robô é controlado por uma arquitetura cognitiva que determina o comportamento do robô. A arquitetura cognitiva estabelece sua percepção do ambiente através de informações sensoriais supridas pelo RHS e modeladas por uma ontologia denominada OntSense. A utilização de uma ontologia garante rigidez formal aos dados sensoriais além de viabilizar um alto nivel de abstração. O RHS tem como base a ferramenta de desenvolvimento de jogos Unity sendo aderente ao conceito de código aberto com disponibilização pelo repositório online GitHub. A validação do sistema foi realizada através de experimentos que demonstraram a capacidade do simulador em prover um ambiente de validação para arquiteturas cognitivas voltadas à robótica social. O RHS é pioneiro na integração de um simulador e uma arquitetura cognitiva, além disto, é um dos poucos direcionados para robótica social provendo rica informação sensorial, destacando-se o modelamento inédito disponibilizado para os sentidos de olfato e paladar. Social robotics represents a branch of human-robot interaction that aims to develop robots to work in unstructured environments in direct partnership with humans. The Roadmap for Robotics from the Internet to Robotics, 2013, predicts achieving promising results in 12 years as long as appropriate conditions are made available to the area. One of the conditions involves the use of a reference environment to develop, evaluate and compare the performance of cognitive systems. This environment is called Robot City with actors, scenarios (houses, streets, city) and auditors. To date, this complex environment has not been materialized, possibly due to its high cost of installing and maintaining. In this dissertation an alternative way is proposed through the definition and implementation of the simulator of cognitive systems called Robot House Simulator (RHS). The RHS simulator aims to provide a residential environment composed of living room and kitchen, in which two agents live together, a humanoid robot and a human avatar. The human avatar is controlled by the user of the system and the robot is controlled by a cognitive architecture that determines the behavior of the robot. The cognitive architecture establishes its perception of the environment through sensorial information supplied by the RHS and modeled by an ontology called OntSense. The use of an ontology guarantees formal rigidity to the sensory data in addition to enabling a high level of abstraction. The RHS simulator is based on the Unity game engine and is adheres to the open source concept, available on the GitHub online repository. The validation of the system was performed through experiments that demonstrated the simulators ability to provide a validation environment for cognitive architectures aimed at social robotics. The RHS simulator is a pioneer in the integration of a simulator and a cognitive architecture. In addition, it is one of the few for social robotics to provide rich sensory information where it is worth noting the unprecedented modeling available to the senses of smell and taste.

Computer vision is a research field in which images are the main object of study. One of its category of problems is shape description. Object classification is one important example of applications using shape descriptors. Usually, these processes were performed on 2D images. With the large-scale development of new technologies and the affordable price of equipment that generates 3D images, computer vision has adapted to this new scenario, expanding the classic 2D methods to 3D. However, it is important to highlight that 2D methods are mostly dependent on the variation of illumination and color, while 3D sensors provide depth, structure/3D shape and topological information beyond color. Thus, different methods of shape descriptors and robust attributes extraction were studied, from which new attribute extraction methods have been proposed and described based on 3D data. The results obtained from well known public datasets have demonstrated their efficiency and that they compete with other state-of-the-art methods in this area: the RPHSD (a method proposed in this dissertation), achieved 85:4% of accuracy on the University of Washington RGB-D dataset, being the second best accuracy on this dataset; the COMSD (another proposed method) has achieved 82:3% of accuracy, standing at the seventh position in the rank; and the CNSD (another proposed method) at the ninth position. Also, the RPHSD and COMSD methods have relatively small processing complexity, so they achieve high accuracy with low computing time. Visão computacional é uma área de pesquisa em que as imagens são o principal objeto de estudo. Um dos problemas abordados é o da descrição de formatos (em inglês, shapes). Classificação de objetos é um importante exemplo de aplicação que usa descritores de shapes. Classicamente, esses processos eram realizados em imagens 2D. Com o desenvolvimento em larga escala de novas tecnologias e o barateamento dos equipamentos que geram imagens 3D, a visão computacional se adaptou para este novo cenário, expandindo os métodos 2D clássicos para 3D. Entretanto, estes métodos são, majoritariamente, dependentes da variação de iluminação e de cor, enquanto os sensores 3D fornecem informações de profundidade, shape 3D e topologia, além da cor. Assim, foram estudados diferentes métodos de classificação de objetos e extração de atributos robustos, onde a partir destes são propostos e descritos novos métodos de extração de atributos a partir de dados 3D. Os resultados obtidos utilizando bases de dados 3D públicas conhecidas demonstraram a eficiência dos métodos propóstos e que os mesmos competem com outros métodos no estado-da-arte: o RPHSD (um dos métodos propostos) atingiu 85:4% de acurácia, sendo a segunda maior acurácia neste banco de dados; o COMSD (outro método proposto) atingiu 82:3% de acurácia, se posicionando na sétima posição do ranking; e o CNSD (outro método proposto) em nono lugar. Além disso, os métodos RPHSD têm uma complexidade de processamento relativamente baixa. Assim, eles atingem uma alta acurácia com um pequeno tempo de processamento.

Detecção de pedestres é uma importante área em visão computacional com o potencial de salvar vidas quando aplicada em veículos. Porém, essa aplicação exige detecções em tempo real, com alta acurácia e menor quantidade de falsos positivos possível. Durante os últimos anos, diversas ideias foram exploradas e os métodos mais recentes que utilizam arquiteturas profundas de redes neurais possibilitaram um grande avanço nesta área, melhorando significativamente o desempenho das detecções. Apesar desse progresso, a detecção de pedestres que estão distantes do veículo continua sendo um grande desafio devido às suas pequenas escalas na imagem, sendo necessária a avaliação da eficácia dos métodos atuais em evitar ou atenuar a gravidade dos acidentes de trânsito que envolvam pedestres. Dessa forma, como primeira proposta deste trabalho, foi realizado um estudo para avaliar a aplicabilidade dos métodos estado-da-arte para evitar colisões em cenários urbanos. Para isso, a velocidade e dinâmica do veículo, o tempo de reação e desempenho dos métodos de detecção foram considerados. Através do estudo, observou-se que em ambientes de tráfego rápido ainda não é possível utilizar métodos visuais de detecção de pedestres para assistir o motorista, pois nenhum deles é capaz de detectar pedestres que estão distantes do veículo e, ao mesmo tempo, operar em tempo real. Mas, ao considerar apenas pedestres em maiores escalas, os métodos tradicionais baseados em janelas deslizantes já conseguem atingir um bom desempenho e rápida execução. Dessa forma, com a finalidade de restringir a operação dos detectores apenas para pedestres em maiores escalas e assim, possibilitar a aplicação de métodos visuais em veículos, foi proposta uma configuração de câmeras que possibilitou obter imagens para um maior intervalo de distância à frente do veículo com pedestres em resolução quase duas vezes maior em comparação à uma câmera comercial. Resultados experimentais mostraram considerável melhora no desempenho das detecções, possibilitando superar a dificuldade causada pelas pequenas escalas dos pedestres nas imagens. Pedestrian detection is an important area in computer vision with the potential to save lives when applied on vehicles. This application requires accurate detections and real-time operation, keeping the number of false positives as minimal as possible. Over the past few years, several ideas were explored, including approaches with deep network architectures, which have reached considerably better performances. However, detecting pedestrians far from the camera is still challenging due to their small sizes on images, making it necessary to evaluate the effectiveness of existing approaches on avoiding or reducing traffic accidents that involves pedestrians. Thus, as the first proposal of this work, a study was done to verify the state-of-the-art methods applicability for collision avoidance in urban scenarios. For this, the speed and dynamics of the vehicle, the reaction time and performance of the detection methods were considered. The results from this study show that it is still not possible to use a vision-based pedestrian detector for driver assistance on urban roads with fast moving traffic, since none of them is able to handle real-time pedestrian detection. However, for large-scale pedestrians on images, methods based on sliding window approach can already perform reliably well with fast inference time. Thus, in order to restrict the operation of detectors only for pedestrians in larger scales and enable the application of vision-based methods in vehicles, it was proposed a camera setup that provided to get images for a larger range of distances in front of the vehicle with pedestrians resolution almost twice as large compared to a commercial camera. Experimental results reveal a considerable enhancement on detection performance, overcoming the difficulty caused by the reduced scales that far pedestrians have on images.

A tarefa de planejamento de trajetórias de robôs móveis autônomos consiste em determinar objetivos intermediários para que um robô seja capaz de partir de sua localização inicial e alcançar seu objetivo final. Além do planejamento, é importante definir um método de controle da navegação (seguimento da trajetória) do robô para que ele seja capaz de realizar seu trajeto de forma segura. Este projeto propõe uma abordagem híbrida para planejamento exploratório e execução de trajetórias de robôs móveis autônomos em ambientes indoor. Para o planejamento de trajetória, foram investigados algoritmos de busca em espaço de estados, dando ênfase ao uso de algoritmos evolutivos e algoritmos de otimização por colônia de formigas para a descoberta e otimização da trajetória. O controle da navegação é realizado por meio de comportamentos locais reativos, baseado na exploração e uso de mapas topológicos, os quais permitem uma maior flexibilidade em termos de definição da localização da posição do robô móvel e sobre os detalhes do mapa do ambiente (mapas com informações aproximadas e não métricos). Assim, foi proposto e desenvolvido um método robusto capaz de planejar, mapear e explorar um caminho ótimo ou quase ótimo para que o robô possa navegar e alcançar seu objetivo de forma segura, com pouca informação prévia do ambiente ou mesmo sobre sua localização. Além disso, o robô pode reagir a ambientes com alterações dinâmicas em sua estrutura, considerando por exemplo, elementos dinâmicos como portas que possam ser abertas ou fechadas e passagens que são obstruídas. Por fim, foram realizados diversos testes e simulações a fim de validar o método proposto, com a avaliação da qualidade das soluções encontradas e comparação com outras abordagens tradicionais de planejamento de trajetórias (algoritmos A* e D*). The task of planning path for autonomous mobile robots consists in determine intermediary goals in order to allow a robot be able to leave its initial location and reach its final goal. Besides the planning, it is important to define a method of navigation control (the trajectory following) of the robot for it be able to do its path safely. This project proposes a hybrid approach to path planning and execution of an autonomous mobile robot in indoor environments. For the path planning, search algorithms in state space have been investigated, with emphasis in evolutionary algorithms and ant colony optimization algorithms for the trajectory search and optimization. The navigation control is done by local reactive behaviors, based on topological maps, which allow more flexibility concerning localization definition of position of the mobile robot and about the details of the environment map (maps with approximate information and not metric). Thus, a robust method able to plan an optimum or almost optimum path for the robot to reach its goal safely has been proposed, with little previous information of the environment. Furthermore, the robot can react to dynamic elements in the environment structure, concerning, for example, dynamic elements such as doors that can be opened or closed and ways that are blocked. Finally, several tests and simulations has been carried out to validate the proposed method, with evaluation of the solutions quality and comparison with others traditional approaches for the path planning task (A* and D* algorithms).

A detecção e reconhecimento de objetos é uma tarefa fundamental em aplicações relacionadas à navegação autônoma de robôs móveis e veículos inteligentes. Com a evolução tecnológica nos sistemas sensoriais, surgiram equipamentos capazes de detectar e representar os elementos presentes no ambiente de forma tridimensional, em estruturas chamadas nuvem de pontos. Os sensores 3D geralmente capturam um grande volume de pontos em curtos intervalos de tempo, o que demanda técnicas robustas para processamento dessa informação além de tolerância a eventuais ruídos nos dados. Uma abordagem frequentemente utilizada na área de Visão Computacional para redução de dimensionalidade é a extração de features robustas, armazenando um subconjunto de informações representativas e simplificadas do conjunto de dados. Esta tese apresenta uma metodologia de classificação de objetos em nuvens de pontos 3D através da extração de features 3D globais. Foi desenvolvido um novo descritor 3D invariante à escala, translação e rotação denominado 3D-CSD (3D-Contour Sample Distances) para representação da superfície dos objetos presentes no ambiente, e utilizado um método de aprendizado supervisionado para reconhecimento de padrões. Os experimentos realizados envolveram o uso de Redes Neurais Artificiais para o reconhecimento de diferentes classes de objetos, avaliando e validando a metodologia proposta. Os resultados obtidos demostraram a viabilidade da aplicação desta abordagem para o reconhecimento de objetos em sistemas de percepção 3D. Objects detection and recognition is a critical task in applications for mobile robots and intelligent vehicles autonomous navigation. With the advent of many 3D sensors, environment elements can be detected and represented in three-dimensional mode, in structures known as point clouds. 3D sensors usually capture a large amount of points at high rates, requiring robust techniques to process this information and also deal with noise on input data. A common approach in the Computer Vision field for dimensionality reduction is the use of robust features extraction techniques. This way, only a subset with representative and simplified information from the dataset is processed. This thesis presents a methodology for objects recognition in 3D point clouds using global 3D features extraction. A novel 3D descriptor invariant to scale, translation and rotation named 3D-CSD (3D-Contour Sample Distances) was developed to represent the objects surface, and a supervised learning method used for pattern recognition. The experiments were performed using Artificial Neural Networks for the recognition of different classes of objects, evaluating and validating the proposed methodology. Obtained results demonstrated the feasibility of this approach application for object recognition in 3D perception systems.

O presente trabalho apresenta um benchmark para avaliar o desempenho de uma plataforma embarcada WandBoard Quad no processamento de imagens, considerando o uso da sua GPU Vivante GC2000 na execução de rotinas usando OpenGL ES 2.0. Para esse fim, foi tomado por base a execução de filtros de imagem em CPU e GPU. Os filtros são as aplicações mais comumente utilizadas em processamento de imagens, que por sua vez operam por meio de convoluções, técnica esta que faz uso de sucessivas multiplicações matriciais, o que justifica um alto custo computacional dos algoritmos de filtros de imagem em processamento de imagens. Dessa forma, o emprego da GPU em sistemas embarcados é uma interessante alternativa que torna viável a realização de processamento de imagem nestes sistemas, pois além de fazer uso de um recurso presente em uma grande gama de dispositivos presentes no mercado, é capaz de acelerar a execução de algoritmos de processamento de imagem, que por sua vez são a base para aplicações de visão computacional tais como reconhecimento facial, reconhecimento de gestos, dentre outras. Tais aplicações tornam-se cada vez mais requisitadas em um cenário de uso e consumo em aplicações modernas de sistemas embarcados. Para embasar esse objetivo foram realizados estudos comparativos de desempenho entre sistemas e entre bibliotecas capazes de auxiliar no aproveitamento de recursos de processadores multicore. Para comprovar o potencial do assunto abordado e fundamentar a proposta do presente trabalho, foi realizado um benchmark na forma de uma sequência de testes, tendo como alvo uma aplicação modelo que executa o algoritmo do Filtro de Sobel sobre um fluxo de imagens capturadas de uma webcam. A aplicação foi executada diretamente na CPU e também na GPU embarcada. Como resultado, a execução em GPU por meio de OpenGL ES 2.0 alcançou desempenho quase 10 vezes maior com relação à execução em CPU, e considerando tempos de readback, obteve ganho de desempenho total de até 4 vezes. This work presents a benchmark for evaluating the performance of an embedded WandBoard Quad platform in image processing, considering the use of its GPU Vivante GC2000 in executing routines using OpenGL ES 2.0. To this goal, it has relied upon the execution of image filters in CPU and GPU. The filters are the most commonly applications used in image processing, which in turn operate through convolutions, a technique which makes use of successive matrix multiplications, which justifies a high computational cost of image filters algorithms for image processing. Thus, the use of the GPU for embedded systems is an interesting alternative that makes it feasible to image processing performing in these systems, as well as make use of a present feature in a wide range of devices on the market, it is able to accelerate image processing algorithms, which in turn are the basis for computer vision applications such as facial recognition, gesture recognition, among others. Such applications become increasingly required in a consumption and usage scenario in modern applications of embedded systems. To support this goal were carried out a comparative studies of performance between systems and between libraries capable of assisting in the use of multicore processors resources. To prove the potential of the subject matter and explain the purpose of this study, it was performed a benchmark in the form of a sequence of tests, targeting a model application that runs Sobel filter algorithm on a stream of images captured from a webcam. The application was performed directly on the embbedded CPU and GPU. As a result, running on GPU via OpenGL ES 2.0 performance achieved nearly 10 times higher with respect to the running CPU, and considering readback times, achieved total performance gain of up to 4 times.

Este trabalho apresenta um sistema de auxilio à navegação autônoma para veículos terrestres com foco em ambientes estruturados em um cenário agrícola. É gerada a estimativa das posições dos obstáculos baseado na fusão das detecções provenientes do processamento dos dados de duas câmeras, uma estéreo e outra térmica. Foram desenvolvidos três módulos de detecção de obstáculos. O primeiro módulo utiliza imagens monoculares da câmera estéreo para detectar novidades no ambiente através da comparação do estado atual com o estado anterior. O segundo módulo utiliza a técnica Stixel para delimitar os obstáculos acima do plano do chão. Por fim, o terceiro módulo utiliza as imagens térmicas para encontrar assinaturas que evidenciem a presença de obstáculo. Os módulos de detecção são fundidos utilizando a Teoria de Dempster-Shafer que fornece a estimativa da presença de obstáculos no ambiente. Os experimentos foram executados em ambiente agrícola real. Foi executada a validação do sistema em cenários bem iluminados, com terreno irregular e com obstáculos diversos. O sistema apresentou um desempenho satisfatório tendo em vista a utilização de uma abordagem baseada em apenas três módulos de detecção com metodologias que não tem por objetivo priorizar a confirmação de obstáculos, mas sim a busca de novos obstáculos. Nesta dissertação são apresentados os principais componentes de um sistema de detecção de obstáculos e as etapas necessárias para a sua concepção, assim como resultados de experimentos com o uso de um veículo real. This work presents a support system to the autonomous navigation for ground vehicles with focus on structured environments in an agricultural scenario. The estimated obstacle positions are generated based on the fusion of the detections from the processing of data from two cameras, one stereo and other thermal. Three modules obstacle detection have been developed. The first module uses monocular images of the stereo camera to detect novelties in the environment by comparing the current state with the previous state. The second module uses Stixel technique to delimit the obstacles above the ground plane. Finally, the third module uses thermal images to find signatures that reveal the presence of obstacle. The detection modules are fused using the Dempster-Shafer theory that provides an estimate of the presence of obstacles in the environment. The experiments were executed in real agricultural environment. System validation was performed in well-lit scenarios, with uneven terrain and different obstacles. The system showed satisfactory performance considering the use of an approach based on only three detection modules with methods that do not prioritize obstacle confirmation, but the search for new ones. This dissertation presents the main components of an obstacle detection system and the necessary steps for its design as well as results of experiments with the use of a real vehicle.

Modelos de arquitetura têm sido utilizados para permitir o desenvolvimento mais adequado e estruturado de sistemas, desde os mais simples até os mais complexos. A utilização desses modelos em sistemas embarcados, principalmente quando se trata de sistemas embarcados críticos, como é o caso de veículos aéreos não tripulados (VANT), visam a permitir conformidades de padrões, redução no tempo de produção, redução e facilidade no processo de manutenção e desenvolvimento. Sistemas embarcados críticos possuem requisitos específicos, tais como alta confiabilidade e resposta em tempo real, segurança e desempenho. A definição de um modelo arquitetural que permita que esses quesitos sejam levados em consideração, propicie o atendimento aos padrões, além de permitir o desenvolvimento correto e acelerado é inovador, permitindo que não só a comunidade científica venha a ter benefícios com a sua concepção, mas também a indústria brasileira possa ganhar. Nesse sentido, este trabalho desenvolveu um modelo de arquitetura para a interconexão de sistemas aéreos não tripulados (SANTs) em Unified Modeling Language (UML)/System Modelling Language (SysML) denominado LARISSA (Layered ARchitecture model for Interconnection of SystemS in uAs). Como resultado deste trabalho foi possível a modelagem e especificação completa de um SANT fazendo uso desse modelo e a realização de diversos experimentos que permitiram validar o LARISSA. Os experimentos, focados na parte de comunicação, permitiram a concepção de um simulador de redes de VANTs. Os resultados obtidos demonstraram a eficiência e a eficácia do modelo de arquitetura LARISSA, além da sua flexibilidade em permitir que diferentes experimentos possam ser realizados, o que auxilia na obtenção de dados que facilitam o processo de certificação desses VANTs. Architecture models have been used to allow more adequate and structured development of systems, from the simplest to the most complex. The use of models in embedded systems are used to enable compliance standards, reduction in production time and ease of maintenance and development, especially when it comes to critical embedded systems such as unmanned aerial vehicles. Critical embedded systems have specific requirements, such as high reliability and real-time response, security and performance. The definition of an architectural model that deals with these requirements and standards and provides the service to standards allowing the correct and fast development is innovative and will provide benefits to the scientific and industrial communities. In this sense, this work developed an architectural model for the interconnection of Unmanned Aerial Systems (UAS) in Unified Modeling Language (UML)/System Modelling Language (SysML) called LARISSA (Layered ARchitecture model for Interconnection of SystemS in uAs). As a result of this development it was possible the modelling and specification of a complete UAS and the conduction of several experiments that allowed LARISSA validation. The experiments focused on the communication enabled the design of a UAV networks simulator. The results showed the efficiency and effectiveness of LARISSA architecture model, as well as its flexibility in carrying out different experiments, which helps in getting data to facilitate the certification process of these UAVs.

O número de acidentes veiculares têm aumentado mundialmente e a principal causa associada a estes acidentes é a falha humana. O desenvolvimento de veículos autônomos é uma área que ganhou destaque em vários grupos de pesquisa do mundo, e um dos principais objetivos é proporcionar um meio de evitar estes acidentes. Os sistemas de navegação utilizados nestes veículos precisam ser extremamente confiáveis e robustos o que exige o desenvolvimento de soluções específicas para solucionar o problema. Devido ao baixo custo e a riqueza de informações, um dos sensores mais utilizados para executar navegação autônoma (e nos sistemas de auxílio ao motorista) são as câmeras. Informações sobre o ambiente são extraídas por meio do processamento das imagens obtidas pela câmera, e em seguida são utilizadas pelo sistema de navegação. O objetivo principal desta tese consiste do projeto, implementação, teste e otimização de um comitê de Redes Neurais Artificiais utilizadas em Sistemas de Visão Computacional para Veículos Autônomos (considerando em específico o modelo proposto e desenvolvido no Laboratório de Robótica Móvel (LRM)), em hardware, buscando acelerar seu tempo de execução, para utilização como classificadores de imagens nos veículos autônomos desenvolvidos pelo grupo de pesquisa do LRM. Dentre as contribuições deste trabalho, as principais são: um hardware configurado em um FPGA que executa a propagação do sinal em um comitê de redes neurais artificiais de forma rápida com baixo consumo de energia, comparado a um computador de propósito geral; resultados práticos avaliando precisão, consumo de hardware e temporização da estrutura para a classe de aplicações em questão que utiliza a representação de ponto-fixo; um gerador automático de look-up tables utilizadas para substituir o cálculo exato de funções de ativação em redes MLP; um co-projeto de hardware/software que obteve resultados relevantes para implementação do algoritmo de treinamento Backpropagation e, considerando todos os resultados, uma estrutura que permite uma grande diversidade de trabalhos futuros de hardware para robótica por implementar um sistema de processamento de imagens em hardware. The number of vehicular accidents have increased worldwide and the leading associated cause is the human failure. Autonomous vehicles design is gathering attention throughout the world in industry and universities. Several research groups in the world are designing autonomous vehicles or driving assistance systems with the main goal of providing means to avoid these accidents. Autonomous vehicles navigation systems need to be reliable with real-time performance which requires the design of specific solutions to solve the problem. Due to the low cost and high amount of collected information, one of the most used sensors to perform autonomous navigation (and driving assistance systems) are the cameras.Information from the environment is extracted through obtained images and then used by navigation systems. The main goal of this thesis is the design, implementation, testing and optimization of an Artificial Neural Network ensemble used in an autonomous vehicle navigation system (considering the navigation system proposed and designed in Mobile Robotics Lab (LRM)) in hardware, in order to increase its capabilites, to be used as image classifiers for robot visual navigation. The main contributions of this work are: a reconfigurable hardware that performs a fast signal propagation in a neural network ensemble consuming less energy when compared to a general purpose computer, due to the nature of the hardware device; practical results on the tradeoff between precision, hardware consumption and timing for the class of applications in question using the fixed-point representation; a automatic generator of look-up tables widely used in hardware neural networks to replace the exact calculation of activation functions; a hardware/software co-design that achieve significant results for backpropagation training algorithm implementation, and considering all presented results, a structure which allows a considerable number of future works on hardware image processing for robotics applications by implementing a functional image processing hardware system.

Nas ciências de computação, o estudo de emoções tem sido impulsionado pela construção de ambientes interativos, especialmente no contexto dos dispositivos móveis. Pesquisas envolvendo interação humano-robô têm explorado emoções para propiciar experiências naturais de interação com robôs sociais. Um dos aspectos a serem investigados é o das abordagens práticas que exploram mudanças na personalidade de um sistema artificial propiciadas por alterações em um estado emocional inferido do usuário. Neste trabalho, é proposto um ambiente para interação humano-robô baseado em emoções, reconhecidas por meio de análise de expressões faciais, para plataforma Android. Esse sistema consistiu em um agente virtual agregado a um aplicativo, o qual usou informação proveniente de um reconhecedor de emoções para adaptar sua estratégia de interação, alternando entre dois paradigmas discretos pré-definidos. Nos experimentos realizados, verificou-se que a abordagem proposta tende a produzir mais empatia do que uma condição controle, entretanto esse resultado foi observado somente em interações suficientemente longas. In computer sciences, the development of interactive environments have motivated the study of emotions, especially on the context of mobile devices. Research in human-robot interaction have explored emotions to create natural experiences on interaction with social robots. A fertile aspect consist on practical approaches concerning changes on the personality of an artificial system caused by modifications on the users inferred emotional state. The present project proposes to develop, for Android platform, an environment for human-robot interaction based on emotions. A dedicated module will be responsible for recognizing emotions by analyzing facial expressions. This system consisted of a virtual agent aggregated to an application, which used information of the emotion recognizer to adapt its interaction strategy, alternating between two pre-defined discrete paradigms. In the experiments performed, it was found that the proposed approach tends to produce more empathy than a control condition, however this result was observed only in sufficiently long interactions.

Segundo relatório disponibilizado pela World Health Organization (WHO) (WHO, 2015), 1,3 milhões de pessoas morrem todos os anos no mundo devido à acidentes de trânsito. Veículos inteligentes se mostram como uma proeminente solução para reduzir esse drástico número. Por isso, diversos grupos de pesquisa no mundo têm concentrado esforços para o desenvolvimento de pesquisa que viabilize o desenvolvimento desse tipo de tecnologia. Diversos são os requisitos necessários para que um veículo possa circular de forma completamente autônoma. Localização, mapeamento, reconhecimento de semáforos e placas de trânsito são apenas alguns dentre tantos. Para que um veículo trafegue nas vias de forma segura, ele precisa saber onde estão os agentes que coabitam o mesmo espaço. Depois que esses agentes são detectados é necessário predizer suas movimentações de forma a reduzir os riscos de colisão. Neste projeto propôs-se a construção de um sistema que visa detectar agentes (obstáculos) e realizar o rastreamento deles para estimar suas velocidades e localizações enquanto estiverem no campo de visão do veículo autônomo, assim possibilitando realizar o cálculo da chance de colisão de cada um desses obstáculos com o veículo autônomo. O sistema utiliza unicamente a informação provida por uma câmera estereoscópica. Os pontos da cena são agrupados utilizando a informação da 24-vizinhança, disparidade e um valor que corresponde a chance de fazerem parte de um obstáculo. Após o agrupamento, cada grupo é dado como um possível obstáculo, após checar a consistência desses obstáculos por dois frames consecutivos, o grupo, agora considerado um obstáculo passa a ser rastreado utilizando filtro de Kalman (WELCH; BISHOP, 1995) e para checar a correspondência de obstáculos ao longo de toda a sequência é utilizado o algoritmo de Munkres (MUNKRES, 1957). A detecção e o rastreamento foram avaliados quantitativamente e qualitativamente utilizando dados coletados no Campus II da USP de São Carlos, bem como o conjunto de dados KITTI (GEIGER; LENZ; URTASUN, 2012). Os resultados demonstram a eficiência do algoritmo tanto na detecção dos obstáculos como no rastreamento dos mesmos. According to a report provided by the WHO (World Health Organization) in 2015 (WHO, 2015), 1.3 million people die every year worldwide due to traffic accidents. Intelligent vehicles appear as a prominent solution to reduce this number. Many research groups in the world have been focussing efforts on the development of research in order to enable the development of such technology. There are several requirements for a vehicle be completely autonomous on the roads. Location, mapping, recognition of traffic lights and traffic signs are just a few among many. For safety the vehicle needs to detect all the other elements that are present in the same environment and to estimate their velocity in order to know where they are planning to go to avoid any kind of collision. This project proposes a system to detect obstacles and perform their tracking to estimate their speeds and locations enabling the calculation of the chance of collision of each of these obstacles with the autonomous vehicle. The system only uses the information provided by a stereoscopic camera. The points in the scene are clustered using the 24-neighborhood information, disparity and a value related to the chance of it being part of an obstacle. After the clustering, each cluster is considered a possible obstacle, when the consistence is checked in two frames the cluster becames an obstacle and starts being tracked using Kalman filter (WELCH; BISHOP, 1995), to match obstacles being tracked in the whole sequence the Munkres algorithm (MUNKRES, 1957) is used. The detection and tracking were evaluated qualitatively and quantitatively using data collected in the Campus II of USP in São Carlos and data from KITTI dataset (GEIGER; LENZ; URTASUN, 2012). The results show the algorithms efficiency in obstacle detection and tracking.

As plantações de eucaliptos representam grande potencial econômico para a indústria de papel, celulose, entre outras, além de apresentar uma série de características positivas como alta produtividade, grande potencial de adaptação e ampla diversidade de espécies. Em consequência a tais vantagens, há décadas diversas pesquisas vem sendo realizadas com o intuito de monitorar e detectar diversas doenças que aferem este tipo de cultura. O monitoramento rápido das doenças em eucaliptos torna-se um requisito para evitar grandes perdas econômicas. Neste projeto de pesquisa utilizou-se imagens aéreas obtidas por VANTs (Veículos Aéreos Não-Tripulados) para detectar um tipo específico de estresse que afeta as plantações de eucaliptos: a Murcha de Ceratocyst is. Após rotular eucaliptos doentes e saudáveis e outras estruturas em imagens aéreas, técnicas de Aprendizado de Máquina Supervisionado foram desenvolvidas para generalizar o conhecimento e possibilitar uma rápida detecção através das imagens RGB e multiespectrais. Dentre as técnicas utilizadas, destacou-se a arquitetura de Redes Neurais Convolucional chamada de Custom- CNN, inspirada no modelo da tradicional arquitetura Lenet -5 agregando-se melhorias do estado-da-arte, como a camada convolucional 1x1. Na classificação do conjunto RGB, a Custom-CNN obteve o maior F-score, de 0,81, sendo que a técnica SVM-rbf obteve 0,67. No conjunto de dados com imagens multiespectrais, a Lenet -5 e a Custom-CNN at ingiram, respectivamente, 0,63 e 0,66 de F-score, enquanto o SVM-rbf obteve 0,46. Esta dissertação apresenta a metodologia utilizada para a classificação, elencando as principais características dos algoritmos utilizados, bem como os resultados experimentais obtidos. Há ainda uma aplicação do classificador Regressão Logística para o planejamento de trajetória com VANTs. Eucalypt us plantations represent great economic potential for t he paper, pulp, among others, in addition to presenting a number of positive characteristics such as high productivity, great potential for adaptaion and wide diversity of species. In consequence of t hese advantages, there are several decades research has been conducted in order to monitor and detect various diseases that affect s this type of culture. The rapid monitoring of diseases in eucalyptus becomes a requirement to avoid major economic losses. In t his research project we used aerial images obtained by UAVs (Unmanned Aerial Vehicles) to detect an specific type of stress t hat a effect s eucalyptus plantations: the Ceratocyst is wilt . After labeling diseased eucalyptus, healthy eucalyptus and other structures in aerial images, Supervised Machine Learning techniques were developed to generalize knowledge and enable rapid detection through RGB and multispectral images. Among the techniques used, stood out t he Convolutional Neural Network architecture called Custom-CNN, that was inspired by the model of t raditional Lenet -5 architecture and with state-of-the-art improvements, such as t he 1x1 convolution layer. In t he classification of RGB dataset , the Custom-CNN obtained the highest F-score of 0.81, and SVM-RBF technique obtained 0.67. In t he dataset with multispectral images, Lenet -5 and Custom-CNN obtained, respectively, 0.63 and 0.66 of F-score, while SVM-rbf obtained 0.46. This paper presents the methodology used for classification, listing the main features of the algorithms and the experimental results. There is also an application of Logistic Regression classifier for path planning with UAVs.

De acordo com a Organização Mundial da Saúde,cerca de 1,2milhões de pessoas no mundo morrem em acidentes de trânsito. Sistemas de assistência ao motorista e veículos autônomos podem diminuir o número de acidentes. Dentre as várias demandas existentes para viabilizar essa tecnologia, sistemas computacionais de percepção ainda permanecem sem uma solução definitiva. Dois deles, detecção de obstáculos e de via navegável, normalmente fazem uso de algoritmos sofisticados como técnicas de aprendizado supervisionado, que mostram resultados impressionantes quando treinados com bases de dados bem definidas e diversificadas.Entretanto, construir, manter e atualizar uma base de dados com exemplos de vários lugares do mundo e em diversas situações é trabalhoso e complexo. Assim, métodos adaptativos e auto-supervisionados mostram-se como boas alternativas para sistemas de detecção do futuro próximo. Neste contexto, esta tese apresenta um método para estimar obstáculose via navegável através de sensores de baixo custo (câmeras estereoscópicas), sem o uso de técnicas de aprendizado de máquina e de diversas suposições normalmente utilizadas por trabalhos já disponíveis na literatura. Esses métodos utilizando sensor estereoscópico foram comparados fazendo uso de sensores do tipo 3D-LIDAR e mostraram resultados semelhantes. Este sistema poderá ser usado como uma fase pré-processamento de dados para melhorar ou viabilizar métodos adaptativos de aprendizado. World wide, an estimated 1.2million lives are lostin road crashes each year and Advanced Driver Assistance Systems (ADAS) and Self-driving cars promise to reduce this number. Among the various issues to complete this technology, perception systems are still an unsolved issues. Normally two of them, obstacle detection and road detection, make use of sophisticated algorithms such as supervised machine learning methods which can perform with impressive results if it was trained with good data sets. Since it is a complex and an expensive job to create and maintain data bases of scenarios from the entire world, adaptive and/or self-supervised methods are good candidates for detection systems in the near future. Due that, this thesis present a method to estimate obsta- cles and estimate the road terrain using low cost sensors (stereo camera), avoiding supervised machine learning techniques and the most common assumptions used by works presented in literature. These methods were compared with 3D-LIDAR approaches achieving similar results and thus it can be used as a pre-processing step to improve or allow adaptive methods with machine learning systems.

O projeto de mestrado, denominado de forma abreviada como GPUServices, se insere no contexto da pesquisa e do desenvolvimento de métodos de processamento de dados de sensores tridimensionais aplicados a robótica móvel. Tais métodos serão chamados de serviços neste projeto e incluem algoritmos de pré-processamento de nuvens de pontos 3D com segmentação dos dados, a separação e identificação de zonas planares (chão, vias), e detecção de elementos de interesse (bordas, obstáculos). Devido à grande quantidade de dados a serem tratados em um curto espaço de tempo, esses serviços utilizam processamento paralelo por GPU para realizar o processamento parcial ou completo destes dados. A área de aplicação em foco neste projeto visa prover serviços para um sistema ADAS: veículos autônomos e inteligentes, forçando-os a se aproximarem de um sistema de processamento em tempo real devido ao contexto de direção autônoma. Os serviços são divididos em etapas de acordo com a metodologia do projeto, mas sempre buscando a aceleração com o uso de paralelismo inerente: O pré-projeto consiste de organizar um ambiente que seja capaz de coordenar todas as tecnologias utilizadas e que explore o paralelismo; O primeiro serviço tem a responsabilidade de extrair inteligentemente os dados do sensor que foi usado pelo projeto (Sensor laser Velodyne de múltiplos feixes), que se mostra necessário devido à diversos erros de leitura e ao formato de recebimento, fornecendo os dados em uma estrutura matricial; O segundo serviço em cooperação com o anterior corrige a desestabilidade espacial do sensor devido à base de fixação não estar perfeitamente paralela ao chão e devido aos amortecimentos do veículo; O terceiro serviço separa as zonas semânticas do ambiente, como plano do chão, regiões abaixo e acima do chão; O quarto serviço, similar ao anterior, realiza uma pré-segmentação das guias da rua; O quinto serviço realiza uma segmentação de objetos do ambiente, separando-os em blobs; E o sexto serviço utiliza de todos os anteriores para a detecção e segmentação das guias da rua. Os dados recebidos pelo sensor são na forma de uma nuvem de pontos 3D com grande potencial de exploração do paralelismo baseado na localidade das informações. Porém, sua grande dificuldade é a grande taxa de dados recebidos do sensor (em torno de 700.000 pontos/seg.), sendo esta a motivação deste projeto: usar todo o potencial do sensor de forma eficiente ao usar o paralelismo de programação GPU, disponibilizando assim ao usuário serviços de tratamento destes dados. The master\'s project, abbreviated hence forth as GPUServices, fits in the context of research and development of three-dimensional sensor data processing methods applied to mobile robotics. Such methods will be called services in this project, which include a 3D point cloud preprocessing algorithms with data segmentation, separation and identification of planar areas (ground track), and also detecting elements of interest (borders, barriers). Due to the large amount of data to be processed in a short time, these services should use parallel processing, using the GPU to perform partial or complete processing of these data. The application area in focus in this project aims to provide services for an ADAS system: autonomous and intelligent vehicles, forcing them to get close to a real-time processing system due to the autonomous direction of context.The services are divided into stages according to the project methodology, but always striving for acceleration using inherent parallelism: The pre-project consists of organizing an environment for development that is able to coordinate all used technologies, to exploit parallelism and to be integrated to the system already used by the autonomous car; The first service has a responsibility to intelligently extract sensor data that will be used by the project (Laser sensor Velodyne multi-beam), it appears necessary because of the many reading errors and the receiving data format, hence providing data in a matrix structure; The second service, in cooperation with the above, corrects the spatial destabilization due to the sensor fixing base not perfectly parallel to the ground and due to the damping of the vehicle; The third service separates the environment into semantics areas such as ground plane and regions below and above the ground; The fourth service, similar to the above, performs a pre-segmentation of street cruds; The fifth service performs an environmental objects segmentation, separating them into blobs; The sixth service uses all prior to detection and segmentation of street guides.The received sensor data is structured in the form of a cloud of points. They allow processing with great potential for exploitation of parallelism based on the location of the information. However, its major difficulty is the high rate of data received from the sensor (around 700,000 points/sec), and this gives the motivation of this project: to use the full potential of sensor to efficiently use the parallelism of GPU programming, therefore providing data processing services to the user, providing services that helps and make the implementation of ADAS systems easier and/or faster.

Os robôs móveis e de serviço vêm assumindo um papel cada vez mais amplo e importante junto à sociedade moderna. Um tipo importante de robô móvel autônomo são os robôs voltados para a vigilância e segurança em ambientes internos (indoor). Estes robôs móveis de vigilância permitem a execução de tarefas repetitivas de monitoramento de ambientes, as quais podem inclusive apresentar riscos à integridade física das pessoas, podendo assim ser executadas de modo autônomo e seguro pelo robô. Este trabalho teve por objetivo o desenvolvimento dos principais módulos que compõem a arquitetura de um sistema robótico de vigilância, que incluem notadamente: (i) a aplicação de sensores com percepção 3D (Kinect) e térmica (Câmera FLIR), de relativo baixo custo, junto a este sistema robótico; (ii) a detecção de intrusos (pessoas) através do uso conjunto dos sensores 3D e térmico; (iii) a navegação de robôs móveis autônomos com detecção e desvio de obstáculos, para a execução de tarefas de monitoramento e vigilância de ambientes internos; (iv) a identificação e reconhecimento de elementos do ambiente que permitem ao robô realizar uma navegação baseada em mapas topológicos. Foram utilizados métodos de visão computacional, processamento de imagens e inteligência computacional para a realização das tarefas de vigilância. O sensor de distância Kinect foi utilizado na percepção do sistema robótico, permitindo a navegação, desvio de obstáculos, e a identificação da posição do robô em relação a um mapa topológico utilizado. Para a tarefa de detecção de pessoas no ambiente foram utilizados os sensores Kinect e câmera térmica FLIR, integrando os dados fornecidos por ambos sensores, e assim, permitindo obter uma melhor percepção do ambiente e também permitindo uma maior confiabilidade na detecção de pessoas. Como principal resultado deste trabalho foi desenvolvido um iii sistema, capaz de navegar com o uso de um mapa topológico global, capaz de se deslocar em um ambiente interno evitando colisões, e capaz de detectar a presença de seres humanos (intrusos) no ambiente. O sistema proposto foi testado em situações reais com o uso de um robô móvel Pioneer P3AT equipado com os sensores Kinect e com uma Câmera FLIR, realizando as tarefas de navegação definidas com sucesso. Outras funcionalidades foram implementadas, como o acompanhamento da pessoa (follow me) e o reconhecimento de comandos gestuais, onde a integração destes módulos com o sistema desenvolvido constituem-se de trabalhos futuros propostos Mobile robots and service robots are increasing their applications and importance in our modern society. An important type of autonomous mobile robot application is indoor monitoring and surveillance tasks. The adoption of mobile robots for indoor surveillance tasks allows the execution of repetitive environment patrolling, which may even pose risks to the physical integrity of persons. Thus these activities can be autonomously and safely performed by security robots. This work aimed at the development of key modules and components that integrates the general architecture of a surveillance robotic system, including: (i) the development and application of a 3D perception sensor (Kinect) and a thermal sensor (FLIR camera), representing a relatively low-cost solution for mobile robot platforms; (ii) the intruder detection (people) in the environment, through the joint use of 3D and thermal sensors; (iii) the autonomous navigation of mobile robots within obstacle detection and avoidance, performing the monitoring and surveillance tasks of indoor environments; (iv) the identification and recognition of environmental features that allow the robot to perform a navigation based on topological maps. We used methods from Computer Vision, Image Processing and Computational Intelligence to carry out the implementation of the mobile robot surveillance modules. The proximity and distance measurement sensor adopted in the robotic perception system was the Kinect, allowing navigation, obstacle avoidance, and identifying key positions of the robot with respect to a topological map. For the intruder detection task we used a Kinect sensor together with a FLIR thermal camera, integrating the data obtained from both sensors, and thus allowing a better understanding of the environment, and also allowing a greater reliability in people detection. As a main result of this work, it has been v developed a system capable of navigating using a global topological map, capable of moving itself autonomously into an indoor environment avoiding collisions, and capable of detect the presence of humans (intruders) into the environment. The proposed system has been tested in real situations with the use of a Pioneer P3AT mobile robot equipped with Kinect and FLIR camera sensors, performing successfully the defined navigation tasks. Other features have also been implemented, such as following a person and recognizing gestures, proposed as future works to be integrated into the developed system

A integração de sistemas de Visão Computacional com a Robótica Móvel é um campo de grande interesse na pesquisa. Este trabalho demonstra um método de localização global para Robôs Móveis Autônomos baseado na criação de uma memória visual, através da detecção e descrição de pontos de referência de imagens capturadas, com o método SURF, associados a dados de odometria, em um ambiente interno. O procedimento proposto, associado com conhecimento específico sobre o ambiente, permite que a localização seja obtida posteriormente pelo pareamento entre quadros memorizados e a cena atual observada pelo robô. Experimentos são conduzidos para mostrar a efetividade do método na localização robótica. Aprimoramentos para situações difíceis como travessia de portas são apresentados. Os resultados são analisados, e alternativas para navegação e possíveis futuros refinamentos discutidos Integration of Computer Vision and Mobile Robotics systems is a field of great interest in research. This work demonstrates a method of global localization for Autonomous Mobile Robots based on the creation of a visual memory map, through detection and description of reference points from captured images, using the SURF method, associated to odometer data in a specific environment. The proposed procedure, coupled with specific knowledge of the environment, allows for localization to be achieved at a later stage through pairing of these memorized features with the scene being observed in real time. Experiments are conducted to show the effectiveness of the method for the localization of mobile robots in indoor environments. Improvements aimed at difficult situations such as traversing doors are presented. Results are analyzed and navigation alternatives and possible future refinements are discussed

Este trabalho de pesquisa tem por objetivo o desenvolvimento de um coprojeto de hardware/software para o algoritmo de correlação de imagens visando atingir um ganho de desempenho com relação à implementação totalmente em software. O trabalho apresenta um comparativo entre um conjunto bastante amplo e significativo de configurações diferentes do soft-processor Nios II implementadas em FPGA, inclusive com a adição de novas instruções dedicadas. O desenvolvimento do co-projeto foi feito com base em uma modificação do método baseado em profiling adicionando-se um ciclo de desenvolvimento e de otimização de software. A comparação foi feita com relação ao tempo de execução para medir o speedup alcançado durante o desenvolvimento do co-projeto que atingiu um ganho de desempenho significativo. Também analisou-se a influência de estruturas de hardware básicas e dedicadas no tempo de execução final do algoritmo. A análise dos resultados sugere que o método se mostrou eficiente considerando o speedup atingido, porém o tempo total de execução ainda ficou acima do esperado, considerando-se a necessidade de execução e processamento de imagens em tempo real dos sistemas de navegação robótica. No entanto, destaca-se que as limitações de processamento em tempo real estão também ligadas as restrições de desempenho impostas pelo hardware adotado no projeto, baseado em uma FPGA de baixo custo e capacidade média This work presents a FPGA based hardware/software co-design for image normalized cross correlation algorithm. The main goal is to achieve a significant speedup related to the execution time of the all-software implementation. The co-design proposed method is a modified profiling-based method with a software development step. The executions were compared related to execution time resulting on a significant speedup. To achieve this speedup a comparison between 21 different configurations of Nios II soft-processor was done. Also hardware influence on execution time was evaluated to know how simple hardware structures and specific hardware structures influence algorithm final execution time. Result analysis suggest that the method is very efficient considering achieved speedup but the final execution time still remains higher, considering the need for real time image processing on robotic navigation systems. However, the limitations for real time processing are a consequence of the hardware adopted in this work, based on a low cost and capacity FPGA

A demanda por métodos de análise e descoberta de conhecimento em grandes bases de dados tem fortalecido a pesquisa em Mineração de Dados. Dentre as tarefas associadas a essa área, tem-se Regras de Associação. Vários algoritmos foram propostos para tratamento de Regras de Associação, que geralmente tˆem como resultado um elevado número de regras, tornando o Pós-processamento do conhecimento uma etapa bastante complexa e desafiadora. Existem medidas para auxiliar essa etapa de avaliação de regras, porém existem lacunas referentes a inexistência de um método intuitivo para priorizar e selecionar regras. Além disso, não é possível encontrar metodologias específicas para seleção de regras considerando mais de uma medida simultaneamente. Esta tese tem como objetivo a proposição, desenvolvimento e implementação de uma metodologia para o Pós-processamento de Regras de Associação. Na metodologia proposta, pequenos grupos de regras identificados como potencialmente interessantes são apresentados ao usuário especialista para avaliação. Para tanto, foram analisados métodos e técnicas utilizadas em Pós-processamento de conhecimento, medidas objetivas para avaliação de Regras de Associação e algoritmos que geram regras. Dessa perspectiva foram realizados experimentos para identificar o potencial das medidas a serem empregadas como filtros de Regras de Associação. Uma avaliação gráfica apoiou o estudo das medidas e a especificação da metodologia proposta. Aspecto inovador da metodologia proposta é a utilização do método de Pareto e a combinação de medidas para selecionar as Regras de Associação. Por fim foi implementado um ambiente para avaliação de Regras de Associação, denominado ARInE, viabilizando o uso da metodologia proposta. The large demand of methods for knowledge discovery and analysis in large databases has continously increased the research in data mining area. Among the tasks associated to this area, one can find Association Rules. Several algorithms have been proposed for treating Association Rules. However, these algorithms give as results a huge amount of rules, making the knowledge post-processing phase very complex and challeging. There are several measures that can be used in this evaluation phase, but there are also some limitations regarding to the ausence of an intuitive method to rank and select rules. Moreover, it is not possible to find especific methodologies for selecting rules, considering more than one measure simultaneously. This thesis has as objective the proposal, development and implementation of a postprocessing methodology for Association Rules. In the proposed methodology, small groups of rules, which have been identified as potentialy interesting, are presented to the expert for evaluation. In this sense, methods and techniques for knowledge post-processing, objective measures for rules evaluation, and Association Rules algorithms have been analized. From this point of view, several experiments have been realized for identifying the potential of such measures to be used to filter Association Rules. The study of measures and the specification of the proposed methodology have been supported by a graphical evaluation. The novel aspect of the proposed methodology consists on using the Pareto’s method and combining measures for selecting Association Rules. Finally, an enviroment for evaluating Association Rules, named as ARInE, has been implemented according to the proposed methodology.

Esta tese visa apresentar uma contribuição ao desenvolvimento de sistemas computacionais, baseados principalmente em visão computacional, usados para o auxílio a navegação de robôs móveis e veículos inteligentes. Inicialmente, buscou-se apresentar uma proposição de uma arquitetura de um sistema computacional para veículos inteligente que permita a construção de sistemas que sirvam tanto para o apoio ao motorista, auxiliando-o em sua forma de condução, quanto para o controle autônomo, proporcionando maior segurança e autonomia do tráfego de veículos em meio urbano, em rodovias e inclusive no meio rural. Esta arquitetura vem sendo aperfeiçoada e validada junto as plataformas CaRINA I e CaRINA II (Carro Robótico Inteligente para Navegação Autônoma), que também foram alvo de desenvolvimentos e pesquisas junto a esta tese, permitindo também a experimentação prática dos conceitos propostos nesta tese. Neste contexto do desenvolvimento de veículos inteligentes e autônomos, o uso de sensores para a percepção 3D do ambiente possui um papel muito importante, permitindo o desvio de obstáculos e navegação autônoma, onde a adoção de sensores de menor custo tem sido buscada a m de viabilizar aplicações comerciais. As câmeras estéreo são dispositivos que se enquadram nestes requisitos de custo e percepção 3D, destacando-se como sendo o foco da proposta de um novo método automático de calibração apresentado nesta tese. O método proposto permite estimar os parâmetros extrínsecos de um sistema de câmeras estéreo através de um processo evolutivo que considera apenas a coerência e a qualidade de alguns elementos do cenário quanto ao mapa de profundidade. Esta proposta apresenta uma forma original de calibração que permite a um usuário, sem grandes conhecimentos sobre visão estéreo, ajustar o sistema de câmeras para novas configurações e necessidades. O sistema proposto foi testado com imagens reais, obtendo resultados bastante promissores, se comparado aos métodos tradicionais de calibração de câmeras estéreo que fazem uso de um processo interativo de estimação dos parâmetros através da apresentação e uso de um padrão xadrez. Este método apresenta-se como uma abordagem promissora para realizar a fusão dos dados de câmeras e sensores, permitindo o ajuste das matrizes de transformação (parâmetros extrínsecos do sistema), a m de obter uma referência única onde são representados e agrupados os dados vindos dos diferentes sensores. This thesis aims to provide a contribution to computer systems development based on computer vision used to aid the navigation of mobile robots and intelligent vehicles. Initially, we propose a computer system architecture for intelligent vehicles where intention is to support both the driver, helping him in driving way; and the autonomous control, providing greater security and autonomy of vehicular traffic in urban areas, on highways and even in rural areas. This architecture has been validated and improved with CaRINA I and CaRINA II platforms development, which were also subject of this thesis and allowed the practical experimentation of concepts proposed. In context of intelligent autonomous vehicles, the use of sensors that provides a 3D environment perception has a very important role to enable obstacle avoidance and autonomous navigation. Therefor the adoption of lower cost sensors have been sought in order to facilitate commercial applications. The stereo cameras are devices that fit these both requirements (cost and 3D perception), standing out as focus of the proposal for a new automatic calibration method presented in this thesis. The proposed method allows to estimate the extrinsic parameters of a stereo camera system through an evolutionary process that considers only the consistency and the quality of some elements of the scenario as to the depth map. This proposal presents a unique form of calibration that allows a user without much knowledge of stereo vision, adjust the camera system for new settings and needs. The system was tested with real images, obtaining very promising results as compared to traditional methods of calibration of stereo cameras that use an iterative process of parameter estimation through the presentation and use of a checkerboard pattern. This method offers a promising approach to achieve the fusion of the data from cameras and sensors, allowing adjustment of transformation matrices (extrinsic system parameters) in order to obtain a single reference in which they are grouped together and represented the data from the different sensors.

Este trabalho apresenta um sistema de navegação autônoma para veículos terrestres com foco em ambientes não estruturados, tendo como principal meta aplicações em campos abertos com vegetação esparsa e em cenário agrícola. É aplicada visão computacional como sistema de percepção principal utilizando uma câmera estéreo em um veículo com modelo cinemático de Ackermann. A navegação é executada de forma deliberativa por um planejador baseado em malha de estados sobre um mapa de custos e localização por odometria e GPS. O mapa de custos é obtido através de um modelo de ocupação probabilístico desenvolvido fazendo uso de uma OctoMap. É descrito um modelo sensorial para atualizar esta OctoMap a partir da informação espacial proveniente de nuvens de pontos obtidas a partir do método de visão estéreo. Os pontos são segmentados e filtrados levando em consideração os ruídos inerentes da aquisição de imagens e do processo de cálculo de disparidade para obter a distância dos pontos. Os testes foram executados em ambiente de simulação, permitindo a replicação e repetição dos experimentos. A modelagem do veículo foi descrita para o simulador físico Gazebo de acordo com a plataforma real CaRINA I (veículo elétrico automatizado do LRM-ICMC/USP), levando-se em consideração o modelo cinemático e as limitações deste veículo. O desenvolvimento foi baseado no ROS (Robot Operating System) sendo utilizada a arquitetura básica de navegação deste framework a partir da customização dos seus componentes. Foi executada a validação do sistema no ambiente real em cenários com terreno irregular e obstáculos diversos. O sistema apresentou um desempenho satisfatório tendo em vista a utilização de uma abordagem baseada em apenas uma câmera estéreo. Nesta dissertação são apresentados os principais componentes de um sistema de navegação autônoma e as etapas necessárias para a sua concepção, assim como resultados de experimentos simulados e com o uso de um veículo autônomo real This work presents a system for autonomous vehicle navigation focusing on unstructured environments, with the primary goal applications in open fields with sparse vegetation, unstructured environments and agricultural scenario. Computer vision is applied as the main perception system using a stereo camera in a car-like vehicle with Ackermann kinematic model. Navigation is performed deliberatively using a path planner based on a lattice state space over a cost map with localization by odometry and GPS. The cost map is obtained through a probabilistic occupation model developed making use of an OctoMap. It is described a sensor model to update the spatial occupancy information of the OctoMap from a point cloud obtained by stereo vision. The points are segmented and filtered taking into account the noise inherent in the image acquisition and calculation of disparity to obtain the distance from points. Tests are performed in simulation, allowing replication and repetition of experiments. The modeling of the vehicle is described to be used in the Gazebo physics simulator in accordance with the real platform CaRINA I (LRM-ICMC/USP automated electrical vehicle) taking into account the kinematic model and the limitations of this vehicle. The development is based on ROS (Robot Operating System) and its basic navigation architecture is customized. System validation is performed on real environment in scenarios with different obstacles and uneven terrain. The system shows satisfactory performance considering a simple configuration and an approach based on only one stereo camera. This dissertation presents the main components of an autonomous navigation system and the necessary steps for its conception as well as results of experiments in simulated and using a real autonomous vehicle

A identificação de pontos em padrões de calibração é relatada como uma fase trabalhosa nos processos de calibração de câmeras. Essa etapa é sensível à presença de ruídos e geralmente requer a identificação de muitos pontos de controle. A detecção automática de padrões de calibração é fundamental para a automatização desse processo. Os trabalhos existentes são poucos e implementam soluções semi-automáticas ou, quando automáticas, não lidam com imagens distorcidas, com inclinações acentuadas ou exigem a detecção de todos os pontos apresentados pelo padrão de calibração. O presente trabalho vem contribuir com essa área propondo uma metodologia, denominada Chessboard Topological Detection (ChTD), completamente automática, aplicável a imagens com alta distorção, independente da detecção completa do padrão e que apresenta melhor aproveitamento dos pontos e do conjunto de imagens de calibração. A metodologia proposta é baseada em três etapas: a detecção estrutural dos pontos de interesse; triangulação e filtragem dos pontos encontrados com base em regras topológicas; e a propagação e ajuste de coordenadas via conectividade dos pontos vizinhos. A partir dessa metodologia foi implementada uma ferramenta que permite extrair pontos de calibração de um padrão xadrez de forma simples e completamente automática. Na avaliação do método ChTD foi realizada uma comparação com a função findChessBoardCorners da biblioteca OpenCV usando conjuntos de imagens reais e sintéticas. Os testes realizados com imagens reais possibilitaram comparações numéricas da quantidade de pontos e de padrões detectados, e os com imagens sintéticas permitiram avaliar o ChTD diante de inclinações do padrão e ruídos controlados. Pelos resultados obtidos foi possível verificar que o ChTD foi superior ao método do OpenCV, apresentando menor dependência à inclinação do padrão, melhor aproveitamento dos pontos e das imagens de calibração e realizando a detecção em imagens distorcidas. O ChTD é executado em um único passo, diferenciando-se do método do OpenCV que faz transformações sucessivas da imagem. A metodologia desenvolvida é modularizada, possibilitando o uso de outros algoritmos em suas fases intermediárias. The detection of calibration points is reported as a time consuming task in camera calibration systems. This task is sensitive to noise and usually requires identification of a large set of control points. A methodology of automatic detection of calibration patterns is essential for the automation of this process. Existing works are few and usually implement semi-automatic solutions. Automatic methods do not deal with distorted images, and patterns with high tilt angles or require the detection of all the calibration points. The present work aims to contribute to this area proposing a methodology named Chessboard Topological Detection (ChTD), which is completely automatic, applicable to images with high distortion, making better use of all detected points, avoind calibration frames losses, regardless of the complete detection of the pattern features. The proposed methodology is based on three steps: the structural detection of points of interest, filtering and triangulation of the points based on topological rules and the adjust and coordinate propagation via connectivity of neighboring points inside the mesh. Based on this methodology, was implemented a tool that allows to extract calibration points of a chessboard pattern in a simple and automatic way. For the evaluation of the method ChTD, a comparison was made with the function findChessBoardCorners, which belongs to OpenCV library, using sets of synthetic and real images. Tests performed with real images allowed numerical comparisons of the number of points and detected patterns. The tests with synthetic images allowed to evaluate the ChTD facing the controlled tilt angle of the chessboard pattern and controlled image noise. The obtained results showed that the ChTD method was superior to OpenCV, with less dependence on the tilt angle of the calibration pattern, detecting more points, avoiding calibration images losses and detecting the pattern in distorted images. The ChTD runs in a single step, differing from OpenCV method that makes successive transformations of the image. The developed methodology is modular, enabling the use of different algorithms in its intermediates and some principal stages.

O contínuo aumento da complexidade no controle de sistemas robóticos, bem como a aplicação de grupos de robôs auxiliando ou substituindo seres humanos em atividades críticas tem gerado uma importante demanda por soluções mais robustas, flexíveis, e eficientes. O desenvolvimento convencional de algoritmos especializados, constituídos de sistemas baseados em regras e de autômatos usados para coordenar estes conjuntos físicos em um ambiente dinâmico é um desafio extremamente complexo. Diversos modelos de desenvolvimento existem, entretanto, muitos desafios da área da robótica móvel autônoma continuam em aberto. Esta tese se insere no contexto da busca por soluções inteligentes a serem aplicadas em robôs móveis autônomos com o objetivo de permitir a operação destes em ambientes dinâmicos. Buscamos, com a investigação e aplicação de estratégias inteligentes por meio de aprendizado de máquina no funcionamento dos robôs, a proposta de soluções originais que permitam uma nova visão sobre a operação de robôs móveis em três dos desafios da área da robótica móvel autônoma, que são: localização, navegação e operações com grupos de robôs. As pesquisas sobre localização e coordenação de grupos apresentam investigação e propostas originais, buscando estender o estado da arte, onde apresentam resultados inovadores. A parte sobre navegação tem como objetivo principal ser um elo entre os conceitos de localização e coordenação de grupos, sendo o foco o desenvolvimento de um veículo autônomo com maior implicação em avanços técnicos. Relacionado com a coordenação de grupos de robôs, fizemos a escolha de trabalhar sobre uma aplicação modelada como o problema de combate a incêndios florestais. Buscamos desenvolver um ambiente de simulação realístico, onde foram avaliadas quatro técnicas para busca de iii estratégias de formação do grupo: Algoritmos Genéticos, Otimização por Enxame de Partículas, Hill Climbing e (iv) Simulated Annealing. Com base nas diversas avaliações realizadas pudemos mostrar quais das técnicas e conjuntos de parâmetros permitem a obtenção de resultados mais acurados que os demais. Além disso, mostramos como uma heurística baseada em populações anteriores pode auxiliar na tolerância a falhas da operação. Relacionado com a tarefa de navegação, apresentamos o desenvolvimento de um veículo autônomo de grande porte funcional para ambientes externos. Buscamos aperfeiçoar uma arquitetura para navegação autônoma, baseada em visão monocular e com capacidade de seguir pontos esparsos de GPS. Mostramos como a simulação e os usos de robôs de pequeno porte auxiliaram no desenvolvimento do veículo de grande porte e apresentamos como as redes neurais podem ser aplicadas nos modelos de navegação autônoma. Na investigação sobre localização, mostramos um método utilizando informação obtida de redes sem fio para prover informação de localização para robôs móveis. As informações obtidas da rede sem fio são utilizadas para aprendizado da posição de um robô móvel por meio de uma rede neural. Diversas avaliações foram realizadas buscando entender o comportamento do sistema com diferentes números de pontos de acesso, com uso de filtros, com diferentes topologias. Os resultados mostram que o modelo usando redes sem fio pode ser um possível método prático e barato para localização de robôs móveis. Esta tese aborda temas relevantes e propostas originais relacionadas com os objetivos propostos, apresentando métodos que provenham autonomia na coordenação de grupos e nas atividades individuais dos mesmos. A busca por altos graus de eficiência na resolução de tarefas em ambientes dinâmicos ainda é um campo que carece de soluções e de um aprofundamento nas pesquisas. Sendo assim, esta pesquisa buscou agregar diversos avanços científicos na área de pesquisa de robôs móveis autônomos e coordenação de grupos, por meio da aplicação de estratégias inteligentes The constant increasing of the complexity in the control of robotic systems, as well as the application of groups of robots assisting or replacing human beings in critical activities has generated a significant demand for more robust, flexible and efficient solutions. The conventional development of specialized algorithms consisted of rule-based systems and automatas, used to coordinate these physical sets in a dynamic environment is an extremely complex challenge. Although several models of development of robotic issues are currently in use, many challenges in the area remain open. This thesis is related to the search for intelligent strategies to be applied in autonomous mobile robots in order to allow practical operations in dynamic environments. We seek, with the investigation of intelligent strategies by means of the use of machine learning in the robots, to propose original solutions to allow contributions in three challenges of the robotic research area: localization, navigation and coordination of groups of robots. The investigations about localization and groups of robots show novel and original proposals, where we sought to extend the state of the art. The navigation part has as its major objective to be a link between the subjects of localization and navigation, being its aim to help the deployment of a autonomous vehicle implying in greater technical advances. Related to the robotic group coordination, we have made the choice to work on an application modeled as a wildfire combat operation. We have developed a simulation environment in which we have evaluated four techniques to obtain strategies for the group formation: genetic algorithms, particle swarm optimization, hill climbing and simulated annealing. The v results showed that we can have very different accuracy with different techniques and sets of parameters. Furthermore, we show how a heuristic based on the use of past populations can assist in fault tolerant operation. Related to the autonomous navigation task, we present the development of a large autonomous vehicle capable of operating in outdoor environments. We sought to optimize an architecture for autonomous navigation based on monocular vision and with the ability to follow scattered points of GPS.We show how the use of simulation and small robots could assist in the development of large vehicle. Furthermore, we show how neural networks can be applied as a controller to autonomous navigation systems. In the investigation about localization, we presented a method using wireless networks to provide information about localization to mobile robots. The information gathered by the wireless network is used as input in an artificial neural network which learns the position of the robot. Several evaluations were carried out in order to understand the behavior of the proposed system, as using different topologies, different numbers of access points and the use of filters. Results showed that the proposed system, using wireless networks and neural networks, may be a useful and easy to use solution for localization of mobile robots. This thesis has addressed original and relevant topics related to the proposed objectives, showing methods to allow degrees of autonomy in robotic operations. The search for higher degrees of efficiency in tasks solving in dynamic environments is still a field that lacks solutions. Therefore, this study sought to add several scientific contributions in the autonomous mobile robots research area and coordination of groups, by means of the application of intelligent strategies

A navegação autônoma é uma tarefa fundamental na robótica móvel. Para que esta tarefa seja realizada corretamente é necessário um sistema inteligente de controle e navegação associado ao sistema sensorial. Este projeto apresenta o desenvolvimento de um sistema de controle para a navegação de veículos e robôs móveis autônomos. A abordagem utilizada neste trabalho utiliza Redes Neurais Artificiais para o aprendizado de Autômatos Finitos de forma que os robôs possam lidar com os dados provenientes de seus sensores mesmo estando sujeitos a imprecisões e erros e ao mesmo tempo permite que sejam consideradas as diferentes situações e estados em que estes robôs se encontram (contexto). Dessa forma, é possível decidir como agir para realizar o controle da sua movimentação, e assim executar tarefas de controle e navegação das mais simples até as mais complexas e de alto nível. Portanto, esta dissertação visa utilizar Redes Neurais Artificiais para reconhecer o estado atual (contexto) do robô em relação ao ambiente em que está inserido. Uma vez que seja identificado seu estado, o que pode inclusive incluir a identificação de sua posição em relação aos elementos presentes no ambiente, o robô será capaz de decidir qual a ação/comportamento que deverá ser executado. O sistema de controle e navegação irá implementar um Autômato Finito que a partir de um estado atual define uma ação corrente, sendo capaz de identificar a mudança de estados, e assim alternar entre diferentes comportamentos previamente definidos. De modo a validar esta proposta, diversos experimentos foram realizados através do uso de um simulador robótico (Player-Stage), e através de testes realizados com robôs reais (Pioneer P3-AT, SRV-1 e veículos automatizados) Autonomous navigation is a fundamental task in mobile robotics. In order to accurately perform this task it is necessary an intelligent navigation and control system associated to the sensorial system. This project presents the development of a control system for autonomous mobile robots and vehicles navigation. The adopted approach uses Artificial Neural Networks for Finite State Machine learning, allowing the robots to deal with sensorial data even when this data is not precise and correct. Simultaneously, it allows the robots to consider the different situations and states they are inserted in (context detection). This way, it is possible to decide how to proceed with motion control and then execute navigation and control tasks from the most simple ones until the most complex and high level tasks. So, this work uses Artificial Neural Networks to recognize the robots current state (context) at the environment where it is inserted. Once the state is detected, including identification of robots position according to environment elements, the robot will be able to determine the action/- behavior to be executed. The navigation and control system implements a Finite State Machine deciding the current action from current state, being able to identify state changes, alternating between different previously defined behaviors. In order to validade this approach, many experiments were performed with the use of a robotic simulator (Player-Stage), and carrying out tests with real robots (Pioneer P3-AT, SRV-1 and autonomous vehicles)

Este trabalho de mestrado propõe a aplicação de um controlador robusto recursivo, de um controlador robusto com critério H \'INFINITO\', obtido via Teoria dos Jogos e de um controlador H \'INFINITO\' obtido através de LMIs, em um modelo dinâmico de robô bípede com joelhos e tronco. Considera-se um bípede planar de caminhar passivo, ou seja, possuí um ciclo limite e sete graus de liberdade, estando sujeito a incertezas paramétricas e a distúrbios de torque externo. A principal vantagem do controlador robusto recursivo é a ausência de ajustes de parâmetros auxiliares, facilitando a sua implementação online. Já o controlador H \'INFINITO\' obtido através da Teoria dos Jogos possuí a vantagem de não precisar de cálculos offline, tais como solucionar Desigualdades Matriciais Lineares. Já o último controlador implementado possuí a vantagem de ter seu ganho variando no tempo, assim como o controlador robusto recursivo. Os resultados de simulação apresentados mostram a eficácia na implementação desses controladores em robôs bípedes, obtendo-se índices de desempenho que tendem a mostrar um melhor resultado do controlador H \'INFINITO\' obtido através da Teoria dos Jogos. This work proposes the implementation of a recursive robust control, a robust control with H \'INFINITO\' criterion obtained from game theory and a robust control with H \'INFINITO\' criteria obtained from the solutions of LMIs, in a dynamic model of a biped robot with knees and torso. We consider a planar biped robot with passive walk, i.e. it has limit-cycle, and has seven degrees of freedom. Also it is subject to parametric uncertainties and external disturbances. The main advantage of the recursive robust controller is the absence of auxiliary parameter settings, facilitating its implementation online. Since the controller H \'INFINITO\' obtained from the game theory has the advantage of not needing an offline calculation, such as solving linear matrix inequalities. And the third one has the advantage of the variable gain in time, witch occur with the recursive control too. The simulation results show the effectiveness of these controllers and the performance index show a tendency of better results applying the H \'INFINITO\' obtained from game theory.