Search

Soluções para o problema de detecção de fonte de odor são necessárias para permitir a realização de diversas tarefas como busca por vazamentos ambientais de gás, monitoramento da qualidade do ar e detecção de presença de gás tóxico em ambientes internos, permitindo, assim, aumentar a segurança e prevenir acidentes em ambientes com presença de gases perigosos. Neste sentido, a utilização de aeronaves nesta tarefa agrega agilidade, segurança e eficiência, contribuindo no desenvolvimento da Indústria 4.0. A solução presente neste trabalho faz uso de uma estratégia de busca pela fonte de odor utilizando a abordagem do mapeamento da distribuição de gás em um ambiente tridimensional utilizando um nanoquadricóptero do modelo Crazyflie 2.0. O mapeamento é viabilizado a partir de uma função de densidade de probabilidade por kernel gaussiano, a qual atua sobre as leituras de características extraídas do sinal de qualidade do ar de um sensor SGP30 embarcado e produz um mapa contínuo, sem haver necessidade de segmentação do ambiente. A subtarefa de declaração da posição da fonte é avaliada através de diferentes estratégias envolvendo redes neurais artificiais e técnicas de aprendizagem de máquina. Os resultados apontam que o algoritmo proposto é capaz de realizar estimativas precisas sobre a localização da fonte com erros de estimação com média próxima a 0,46 m em um ambiente de aproximadamente 15 m3. O algoritmo possui a possibilidade de escalabilidade para incorporar outras aeronaves e explorar ambientes internos com maiores volumes. Solutions to the odor source localization problem are necessary to allow accomplishment of several tasks such as environmental gas leakage searching, air quality monitoring and indoor detection of dangerous gas, thus allowing to increase safety and prevent accidents in environments where hazardous gases are handle. In this sense, the use of aircraft in this task brings agility, safety and efficiency, contributing to the development of Industry 4.0. The solution presented in this work makes use of an odor source localization strategy by gas distribution mapping approach in a three-dimensional environment using a Crazyflie 2.0 nano quadcopter. The mapping is constructed from a probability density function by Gaussian kernel, which acts over characteristics extracted from the air quality signal of an on-board SGP30 sensor and produces a continuous map, without the need for segmentation of the workspace. The source position declaration subtask is evaluated through different strategies involving artificial neural networks and machine learning techniques. The results show that the proposed algorithm is capable of making accurate estimates of the odor source location with estimation errors means close to 0.46 m in an environment of approximately 15 m3. The algorithm has the possibility of scalability by incorporation other aircraft and thus explore indoor environments with higher volumes. Tese (Doutorado)

Pesquisa sem auxílio de agências de fomento As Redes Neurais Convolucionais (CNN) são consideradas o estado da arte em aplicações de visão computacional. Entretanto, a construção de modelos de aprendizagem de máquina utilizando essa tecnologia ainda requer a otimização de parâmetros, hiperparâmetros e desafios como a quantidade de dados para treinamento. Algoritmos Genéticos (AG) apresentam-se como uma técnica promissora para otimizar diversos aspectos das CNN. Este trabalho apresenta duas abordagens para otimização de CNNs utilizando AGs: gaCNN, para a otimização arquitetural e MLTLGA, para a otimização de aprendizagem por transferência. No método gaCNN, foi proposta uma codificação de cromossomo para incorporar funções de ativação e novos operadores de mutação, estas mudanças permitiram que o método superasse o desempenho de 9 dos 13 métodos avaliados em acurácia de classificação. No método MLTLGA, foi proposto um novo processo de inicialização que apresentou resultados superiores em pelo menos 2% de acurácia de classificação a todos os outros métodos de aprendizagem por transferência avaliados no trabalho. Dessa forma, apresentando métodos promissores no contexto de otimização de CNNs. Convolutional Neural Networks (CNN) are considered the state-of-the-art in computer vision applications. However, building machine learning models such method still requires the parameter and hyperparameter tuning, and considerably large training datasets. Genetic Algorithms (GA) can be a promising technique to optimize various aspects of CNNs. In this work, two approaches to optimize CNN using GA are proposed: gaCNN, for architectural optimization and MLTLGA, for transfer learning optimization. In the gaCNN, a new individual codification strategy for activation functions is proposed alongside new mutation operators. The proposed method outperformed 9 out 13 methods evaluated in classification accuracy. In the MLTLGA, a new initialization operation is presented that outperformed by at least 2% the other transfer learning methods evaluated. Therefore, the two methods are promising in the study of optimization of CNN. Dissertação (Mestrado)

Fundação de Amparo a Pesquisa do Estado de Minas Gerais Agentes que operam em ambientes onde as tomadas de decisão precisam levar em conta, além do ambiente, a atuação minimizadora de um oponente (tal como nos jogos), é fundamental que o agente seja dotado da habilidade de, progressivamente, traçar um perĄl de seu adversário que o auxilie em seu processo de seleção de ações apropriadas. Entretanto, seria improdutivo construir um agente com um sistema de tomada de decisão baseado apenas na elaboração desse perĄl, pois isso impediria o agente de ter uma Şidentidade própriaŤ, o que o deixaria a mercê de seu adversário. Nesta direção, este trabalho propõe um sistema automático jogador de Damas híbrido, chamado ACE-RL-Checkers, dotado de um mecanismo dinâmico de tomada de decisões que se adapta ao perĄl de seu oponente no decorrer de um jogo. Em tal sistema, o processo de seleção de ações (movimentos) é conduzido por uma composição de Rede Neural de Perceptron Multicamadas e biblioteca de casos. No caso, a Rede Neural representa a ŞidentidadeŤ do agente, ou seja, é um módulo tomador de decisões estático já treinado e que faz uso da técnica de Aprendizagem por Reforço TD( ). Por outro lado, a biblioteca de casos representa o módulo tomador de decisões dinâmico do agente que é gerada pela técnica de Elicitação Automática de Casos (um tipo particular de Raciocínio Baseado em Casos). Essa técnica possui um comportamento exploratório pseudo-aleatório que faz com que a tomada de decisão dinâmica do agente seja guiada, ora pelo perĄl de jogo do adversário, ora aleatoriamente. Contudo, ao conceber tal arquitetura, é necessário evitar o seguinte problema: devido às características inerentes à técnica de Elicitação Automática de Casos, nas fases iniciais do jogo Ű em que a quantidade de casos disponíveis na biblioteca é extremamente baixa em função do exíguo conhecimento do perĄl do adversário Ű a frequência de tomadas de decisão aleatórias seria muito elevada, o que comprometeria o desempenho do agente. Para atacar tal problema, este trabalho também propõe incorporar à arquitetura do ACE-RLCheckers um terceiro módulo, composto por uma base de regras de experiência extraída a partir de jogos de especialistas humanos, utilizando uma técnica de Mineração de Padrões Sequenciais. O objetivo de utilizar tal base é reĄnar e acelerar a adaptação do agente ao perĄl de seu adversário nas fases iniciais dos confrontos entre eles. Resultados experimentais conduzidos em torneio envolvendo ACE-RL-Checkers e outros agentes correlacionados com este trabalho, conĄrmam a superioridade da arquitetura dinâmica aqui proposta. ake into account, in addition to the environment, the minimizing action of an opponent (such as in games), it is fundamental that the agent has the ability to progressively trace a proĄle of its adversary that aids it in the process of selecting appropriate actions. However, it would be unsuitable to construct an agent with a decision-making system based on only the elaboration of this proĄle, as this would prevent the agent from having its Şown identityŤ, which would leave it at the mercy of its opponent. Following this direction, this work proposes an automatic hybrid Checkers player, called ACE-RL-Checkers, equipped with a dynamic decision-making mechanism, which adapts to the proĄle of its opponent over the course of the game. In such a system, the action selection process (moves) is conducted through a composition of Multi-Layer Perceptron Neural Network and case library. In the case, Neural Network represents the ŞidentityŤ of the agent, i.e., it is an already trained static decision-making module and makes use of the Reinforcement Learning TD( ) techniques. On the other hand, the case library represents the dynamic decision-making module of the agent, which is generated by the Automatic Case Elicitation technique (a particular type of Case-Based Reasoning). This technique has a pseudo-random exploratory behavior, which makes the dynamic decision-making on the part of the agent to be directed, either by the game proĄle of the opponent or randomly. However, when devising such an architecture, it is necessary to avoid the following problem: due to the inherent characteristics of the Automatic Case Elicitation technique, in the game initial phases, in which the quantity of available cases in the library is extremely low due to low knowledge content concerning the proĄle of the adversary, the decisionmaking frequency for random decisions is extremely high, which would be detrimental to the performance of the agent. In order to attack this problem, this work also proposes to incorporate onto the ACE-RL-Checkers architecture a third module composed of a base of experience rules, extracted from games played by human experts, using a Sequential Pattern Mining technique. The objective behind using such a base is to reĄne and accelerate the adaptation of the agent to the proĄle of its opponent in the initial phases of their confrontations. Experimental results conducted in tournaments involving ACE-RL-Checkers and other agents correlated with this work, conĄrm the superiority of the dynamic architecture proposed herein. Tese (Doutorado)

FAPEMIG - Fundação de Amparo a Pesquisa do Estado de Minas Gerais Um dos requisitos fundamentais para que um sistema multiagente não supervisionado atinja seus objetivos é que os agentes que o compõem possuam habilidades específicas e complementares que lhe permitam atuar como especialistas nos ambientes em que foram treinados. A representação adequada desses ambientes é fundamental para o aprendizado e para a boa performance dos agentes, principalmente quando esses atuam em ambientes competitivos que possuem elevado espaço de estados. Do mesmo modo, as decisões do sistema multiagente em alocar os agentes adequados para atuarem em determinadas situações que ocorrem nesses ambientes são cruciais para que este atinja, com êxito, seus objetivos. Nesse sentido, o presente trabalho apresenta três novas abordagens para otimizar o desempenho de sistemas multiagentes, as quais aprimoram: a arquitetura e o processo de aprendizagem dos agentes que compõem o sistema multiagente, a representação das informações relevantes dos ambientes de atuação desses agentes, assim como o processo de alocação dos agentes adequados para atuarem nas distintas situações que ocorrem nesses ambientes. Devido à sua complexidade espacial e técnica, o jogo Damas foi utilizado como ambiente de desenvolvimento e avaliação dessas abordagens, as quais foram implementadas na arquitetura do jogador automático MP-Draughts. Tal jogador corresponde a um sistema multiagente não supervisionado composto por agentes jogadores especialistas em fases distintas de um jogo. Para a implementação das abordagens propostas na arquitetura do MP-Draughts, foi adotada a seguinte sequência de trabalho: inicialmente, foi desenvolvida uma rede neural adaptativa, a ASONDE, que foi utilizada na arquitetura do MP-Draughts para definir os perfis (clusters) de conhecimentos necessários para representar a fase de final de jogo, nos quais os agentes especialistas devem ser treinados. Na sequência, foi implementada uma abordagem de seleção automática de características baseada na mineração de padrões frequentes, a qual extrai as mais adequadas para representar os diferentes ambientes (tabuleiros) que podem ocorrer durante a atuação do multiagente. Finalmente, foi desenvolvido um método de alocação de agentes que combina redes neurais artificiais e regras de exceção, as quais em conjunto, são responsáveis por indicar os agentes mais adequados para atuarem nas distintas situações de um jogo. Os resultados parciais obtidos da implementação de cada abordagem, assim como o resultado final que aplica todas elas na arquitetura no MP-Draughts, confirmam que as mesmas foram eficientes para tratar os problemas para os quais foram propostas, além de contribuírem para o desempenho geral do sistema multiagente. One of the fundamental requirements for a unsupervised multiagent system to reach its objectives is that the agents that make up the system possess specific and complementary abilities, which allow them to act as specialists in the environments where they were trained. The adequate representation of these environments is fundamental to both the learning and to the good performance on the part of the agents, mainly when these act in competitive environments that possess an elevated state space. Likewise, the decisions from multiagent systems, through their allocation of adequate agents into particular situations that occur in these environments, are crucial in order that these successfully reach their objectives. In this sense, the present work presents three new approaches to optimize the performance of multiagent systems, which improves: the architecture and the learning process of the agents that make up the multiagent system; the representation of relevant information of the environments where these agents perform, as well as the process of allocating the adequate agent for performing in distinct situations that occur in these environments. Due to the spatial and technical complexity, the game of Checkers was used as the developmental and evaluative environment for these approaches, which were implemented onto the automatic player MP-Draughts. This player corresponds to a unsupervised multiagent system composed of specialist player agents in distinct phases of a game. In order to implement the proposed approaches onto the MP-Draughts architecture, the following work sequence was adopted: initially, an adaptive neural network was developed, ASONDE, which was used in the MP-Draughts architecture to define the knowledge profiles (clusters) necessary for representing the endgame phase, on which the specialist agents should be trained. Following on, an automatic features selection approach based on the frequent pattern mining was implemented, which extracts the most adequate features to represent the different environments (boards) that can occur during the performance of the multi-agent. Finally, a method for the allocation of agents was developed, which combined clustering artificial neural networks and exception rules, which together are responsible for indicating the most suitable agents to act in the different situations of a game. The partial results obtained from the implementation of each approach, as well as the final result, which applies all these into the MP-Draughts architecture, confirm that these were efficient in dealing with the problems for which they were proposed, in addition to contributing to the general performance of the multi-agent system. Tese (Doutorado)

The objetive of this work is to propose a draughts learning system, the D-VisionDraughts (Distributed VisionDraughts): a distributed draughts player agent based on neural networks that learns by reinforcement. The D-VisionDraughts is trained in a distributed processing environment in order to achieve a high level of play without expert game analysis and with minimal human intervention as possible (distinctly from the world draughts champion Chinook). The D-VisionDraughts corresponds to a distributed version of the eficient VisionDraughts player, where the latter corresponds to a MLP (multilayer perceptron) neural network that learns by means of temporal diferences. The role of the neural network is to evaluate how much a board state is favorable to the agent (prediction). This value will lead the search module to determine the best action (in this case, the best move) of the current board state of the game. Another factor that has an important impact on the search eciency, which is analyzed in this work, is the degree of ordering of the game tree. Thus, the main contributions of this work are: the replacement of the serial algorithm used in VisionDraughts, the minimax with alpha-beta pruning, by the distributed algorithm Young Brothers Wait Concept (YBWC); the use of heuristics for game tree ordering, that is essential for the proper performance of YBWC and alpha-beta pruning in general; the impact analysis of the high-performance processing environment on the unsupervised learning skills of the player. This work shows that with the techniques used, the time required to perform a game tree search was signicantly reduced and through tournaments played with VisionDraughts the overall performance of the distributed agent is improved. O objetivo deste trabalho é propor um sistema de aprendizagem de damas, o DVisionDraughts (Distributed VisionDraughts): um agente distribuído jogador de damas baseado em redes neurais que aprende por reforço. O D-VisionDraughts é treinado em um ambiente de processamento distribuído de modo a alcançar um alto nível de jogo sem a análise de especialistas e com o mínimo de intervenção humana possível (diferentemente do agente campeão do mundo de damas Chinook). O D-VisionDraughts corresponde a uma versão distribuída do eciente jogador VisionDraughts, onde este último corresponde à uma rede neural MLP (multilayer perceptron) que aprende pelo método das diferenças temporais. O papel da rede neural é avaliar o quanto um estado de tabuleiro é favorável ao agente (valor de predição). Este valor irá guiar o módulo de busca na procura pela melhor ação (neste caso, o melhor movimento) correspondente ao estado de tabuleiro corrente do jogo. Outro fator que é importante na eciência da busca, e que foi analisado neste trabalho, é o grau de ordenação da árvore de jogo. Desta forma, as principais contribuições deste trabalho consistem em: substituir o algoritmo serial utilizado para a busca em árvore de jogos do VisionDraughts, o minimax com poda alpha-beta, pelo algoritmo distribuído Young Brothers Wait Concept (YBWC); o uso de heurísticas para ordenação da árvore de jogos, que é essencial para o bom desempenho do YBWC e da poda alpha-beta em geral; a análise do impacto do ambiente de processamento distribuído nas habilidades de aprendizado não supervisionadas do jogador. Este trabalho mostra que, com a aplicação das técnicas no D-VisionDraughts, reduzimos expressivamente o tempo necessário para a etapa de busca e, através de torneios realizados com o VisionDraughts, o desempenho geral do agente distribuído foi nitidamente melhor. Mestre em Ciência da Computação

The objective of this work is to propose a draughts learning system, VisionDraughts, based on works of Neto and Julia (LS-Draughts) and Mark Lynch (NeuroDraughts). The NeuroDraughts is a good automatic draughts player which uses temporal diference learning to adjust the weights of an articial neural network whose role is to estimate how much the board state represented in its input layer by NET-FEATUREMAP is favorable to the player agent. The set of features is manually dened. The search for the best action corresponding to a current board state is performed by minimax algorithm. The LS-Draughts expands the NeuroDraughts, through the genetic algorithms, generating automatically a set of minimal features which are necessary and essential to a game of draughts and optimizing, successfully, the training of the apprentice player. The Vision- Draughts adds two modules to the former architectures: an eficient tree-search module with alfa-beta, iterative deepening and transposition table, providing the player agent larger capacity to analyse future moves (board states more distant from the current board) and a module to access endgame databases, allowing to acquire perfect information to positions with less than 8 pieces on the board. Some tournaments were promoted between the best players obtained by NeuroDraughts, LS-Draughts and VisionDraughts. The tournament's results, all won by the VisionDraughts, show the importance of the new two modules in the building of good automatic draughts players: the runtime required for training the new player was drastically reduced and its performance was significantly improved. Furthermore, the VisionDraughts name was just chosen to emphasize the great importance of analysing future moves in order to the success of this work. O objetivo deste trabalho é propor um sistema de aprendizagem de damas, Vision-Draughts, baseado nos trabalhos de Neto e Julia (LS-Draughts) e de Mark Lynch (NeuroDraughts). O NeuroDraughts é um bom jogador automático de damas que utiliza a técnica de aprendizagem por diferenças temporais para ajustar os pesos de uma rede neural artificial multi-camadas cujo papel é estimar o quanto um estado do tabuleiro do jogo, representado em sua camada de entrada através do mapeamento NET-FEATUREMAP, é favorável ao agente jogador. O conjunto de características do jogo é definido manualmente e a busca pela melhor ação a ser executada, a partir do estado corrente do tabuleiro, é realizada através do algoritmo minimax. O LS-Draughts expande o trabalho de Lynch por meio da técnica dos algoritmos genéticos, gerando, automaticamente, um conjunto mínimo e essencial de características do jogo de damas e otimizando, com grande sucesso, o treinamento do agente aprendiz. O VisionDraughts acrescenta dois módulos nas arquiteturas anteriores: um módulo de busca eficiente em árvores de jogos baseado no algoritmo alfa-beta, no aprofundamento iterativo e nas tabelas de transposição, que fornece ao agente jogador maior capacidade de analisar jogadas futuras (estados do tabuleiro mais distantes do estado corrente), um módulo para acessar bases de dados de finais de jogos que permite obter informações perfeitas para combinações de oito ou menos peças no tabuleiro. Foram realizados torneios entre os melhores jogadores obtidos por NeuroDraughts, LS-Draughts e VisionDraughts. Os resultados dos torneios, todos vencidos pelo VisionDraughts, evidenciam a importância dos dois novos módulos na construção de jogadores automáticos de damas: o tempo de execução para o treinamento do jogador foi drasticamente reduzido e seu desempenho significantemente melhorado. Alias, o nome VisionDraughts foi escolhido, justamente, para destacar a importância da capacidade de analisar jogadas futuras para o sucesso do presente trabalho. Mestre em Ciência da Computação

This objective of this work is to propose a Learning System Draughts, LS-Draughts, that aims, through the Genetic Algorithm (GA), to generate automatically, a set of minimal features which are necessary and essential to a game of Draughts in order to optimizes the training of a player agent that learns to play Draughts. The learning method of this agent consists in approaching a Neural Network MLP through Reinforcement Learning TD(λ) along with the minimax search, with the mapping of the gam board NET-FEATUREMAP (done according to the features generated by the GA) and with the training process of self-play with cloning. The goal of the agent s self-learning, without any expert game analysis, is to allow an intelligent system to learn to play Draughts through its own experience. Such learning process is analogous to the process used by the NeuroDraughts system proposed by Mark Lynch. However, the LS-Draughts expands to NeuroDraughts as it generates automatically an effective and concise set of features of the NET-FEATUREMAP mapping, so that, the last one, uses a fixed and manually defined se of features. A tournament was promoted between the best player obtained by the LS-Draughts and the best available player of the LS-Draughts. The tournament s results, won by the player of the LS-Draughts, shows the fact that the GA represents and important improvement tool in these automatic players general performance. O objetivo deste trabalho é propor um Sistema de Aprendizagem de Damas, LS-DRAUGHTS, que visa, por meio da técnica dos Algoritmos Genéticos (Ags), gerar, automaticamente, um conjunto de características mínimas necessárias e essenciais de um jogo de Damas, de forma a otimizar o treino de um agente jogador que aprende a jogar Damas. A aprendizagem deste agente consiste em aproximar uma rede neural MLP através do método de Aprendizagem por Reforço RD(λ) aliado com a busca minimax, com o mapeamento de tabuleiro NET-FEATUREMAP (feito a partir das características geradas pelo AG) e com a técnica de treinamento por self-play com clonagem. O objetivo da auto-aprendizagem do agente, sem Ter que recorrer a uma base de jogos de especialistas, é permitir que um sistema inteligente aprenda a jogar Damas pela sua própria experiência. Tal processo de aprendizagem é análogo ao processo utilizado pelo sistema NeuroDraughts proposto por Mark Lynch. Contudo, o LS-DRAUGHTS expande o NeuroDraughts ao fazer a geração automática de um conjunto eficaz e resumido de características do mapeamento NET-FEATUREMAP, ao passo que, o último, utiliza um conjunto fixo e definido manualmente. Foi efetuado um torneio entre o melhor jogador obtido pelo LS-DRAUGHTS e o melhor jogador de Mark Lynch disponível. Os resultados do torneio, vencido pelo jogador do LS-DRAUGHTS, evidenciam o fato de o AG representar uma importante ferramenta de melhoria no desempenho geral desses jogadores automáticos. Mestre em Ciência da Computação