Search

Orientador: Esther Luna Colombini Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Construir veículos capazes de operar sem supervisão humana é um grande desafio, exigindo percepção e compreensão adequadas do mundo. Neste sentido, determinar a posição espacial do veículo é fundamental. Algoritmos de Odometria Visual (VO) estimam a postura do agente usando apenas alterações visuais nas imagens de entrada. Os métodos de odometria visual mais recentes implementam técnicas de deep learning usando redes neurais convolucionais (CNN) extensivamente, o que adiciona um custo substancial ao lidar com imagens de alta resolução. Em tarefas de VO, mais dados de entrada não significa uma melhor previsão; pelo contrário, a rede pode ter que aprender a filtrar informações desnecessárias. Portanto, a implementação de arquiteturas computacionalmente leves e eficientes despertou o interesse em abordar o problema a partir de uma nova perspectiva. Neste contexto, o Modelo Recorrente Atencional (RAM) surge como uma nova arquitetura, que implementa o conceito de atenção através da seleção de partes essenciais da informação usando aprendizado por reforço (RL). No entanto, o RAM foi introduzido principalmente como prova de conceito para tarefas de classificação no conjunto de dados MNIST. Neste trabalho, propomos o RAM-VO, que é a extensão do RAM para tarefas de regressão e odometria visual. A nova arquitetura modifica a arquitetura base e melhora a representação visual e temporal das informações, incluindo o fluxo ótico como informação contextual para inicialização do agente de RL. Além disso, o RAM-VO implementa o algoritmo Proximal Policy Optimization (PPO) no lugar do algoritmo REINFORCE, o que garante o aprendizado de uma política mais robusta. Os resultados indicam que o RAM-VO pode realizar regressões com seis graus de liberdade a partir de imagens de entrada monoculares usando aproximadamente 3 milhões de parâmetros. Além disso, experimentos no conjunto de dados KITTI demonstram que o RAM-VO alcança resultados competitivos utilizando apenas 5.7% da informação visual disponível. Abstract: Building vehicles capable of operating without human supervision is challenging, requiring a proper perception and understanding of the world. Mainly, determining the vehicle's pose is fundamental. Visual Odometry (VO) algorithms estimate the agent's egomotion using only visual changes from the input images. The most recent visual odometry methods implement deep-learning techniques using convolutional neural networks (CNN) extensively, which add a substantial cost when dealing with high-resolution images. In VO tasks, more input data does not mean a better prediction; on the contrary, the network may have to learn how to filter out useless information. Therefore, the implementation of computationally efficient and lightweight architectures has sparked an interest in approaching the problem from a new perspective. In this context, the Recurrent Attention Model (RAM) has emerged as a novel architecture, which implements the concept of attention by incrementally selecting the essential pieces of information using reinforcement learning. However, RAM was introduced mainly as a concept proof for classification tasks on the MNIST dataset. In this work, we propose the RAM-VO, which is the RAM's extension to regression and visual odometry tasks. Our novel model modifies the basic RAM architecture and improves the visual and temporal representation of information, including the optical flow as contextual information for initializing the RL agent. Also, RAM-VO implements the Proximal Policy Optimization (PPO) algorithm in place of the REINFORCE algorithm, which guarantees the learning of a robust policy. The results indicate that RAM-VO can perform regressions with six degrees of freedom from monocular input images using approximately 3 million parameters. In addition, experiments on the KITTI dataset demonstrate that RAM-VO achieves competitive results using only 5.7% of the available visual information. Mestrado Ciência da Computação Mestre em Ciência da Computação CNPQ 130834/2019-0

Orientador: Esther Luna Colombini Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Robótica e suas aplicações de serviço com robôs bípedes tem se expandido recentementedevido a possibilidade de se usar robôs desta categoria em ambientes originalmente plane-jados para operação humana. No entanto, locomoção bípede tem se mostrado um desafioteórico e prático devido a alta dimensionalidade do problema, visto que a ação de andartipicamente envolve o controle preciso em tempo-real de múltiplos atuadores e sensoresem conjunto com sistemas dinâmicos complexos. Concomitantemente, aprendizado porreforço (RL) e sua versão com redes neurais profundas (DRL) estão se tornando umaabordagem prominente para solucionar tais problemas, devido a sua capacidade de li-dar com processos contínuos e livres de modelo. Neste trabalho, modelamos a tarefade locomoção como um problema de aprendizagem por reforço, propondo representa-ções práticas baseada em MDPs e estratégias generalizáveis para funções de reforço. Emseguida, prosseguimos desenvolvendo um framework para integrar nosso simulador de es-colha (CoppeliaSim [11]) com a interface corrente padrão para aprendizagem por reforço(OpenAI Gym [5]). Finalmente, nós aplicamos algoritmos do estado-da-arte em apren-dizado por reforço profundo com nosso framework em experimentos configuráveis paravalidar nossa modelagem e aprender uma política de caminhada estável em simulaçãopara o robô Marta, um sofisticado robô humanoide com 25 graus de liberdade Abstract: Robotics and its service applications with biped robots have faced an upsurge lately asthis category of robots is suitable for deployment in environments originally designed foroperation by humans. However, bipedal locomotion has proven to be a challenge in theoryand practice due to the problem¿s high dimensionality: as walking gaits typically involveprecise real-time control of multiple actuators and sensors, coupled with complex dynam-ical systems. Concomitantly, reinforcement learning (RL) and its deep neural networkversion (DRL) are becoming a prominent approach in solving such challenging controlproblems due to their capacity to work on continuous and model-free processes. In thiswork, we modeled a locomotion task as an RL problem by proposing practical MDP repre-sentations and generalizable reward engineering strategies. We then proceeded to developa framework for integrating our simulator of choice (CoppeliaSim [11]) with the de factostandard interface for Reinforcement Learning (OpenAI Gym [5]). Finally, we appliedstate-of-the-art DRL algorithms within our framework in configurable and reproducibleexperiments to validate our modeling and learn a stable walking gait in simulation for theMarta robot, a sophisticated humanoid robot with 25 DOFs Mestrado Ciência da Computação Mestre em Ciência da Computação FAPESP 2017/21426-7 CAPES

Orientador: Esther Luna Colombini Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Os avanços na robótica e o crescimento correspondente de seu uso em aplicações de serviço estão impulsionando a procura por robôs que possam operar em uma variedade de ambientes projetados para humanos. Em particular, robôs humanoides são bastante úteis para tarefas de serviço, uma vez que podem navegar e interagir de forma semelhante aos humanos nos ambientes. No entanto, o controle de movimento de tais robôs ainda é um desafio devido ao seu complexo espaço de estados e ações e de sua natureza contínua. As técnicas de aprendizado estão se tornando uma abordagem promissora para lidar com tais problemas, mas ainda é uma tarefa computacionalmente cara, portanto proibitiva para um alto número de graus de liberdade. Neste cenário, projetamos um modelo simplificado do movimento de um robô humanoide baseado em um controle generalizado de caminhada bípede, onde a parte superior do robô funciona como um pêndulo invertido 3D que pode ser desacoplado da parte inferior. Os testes foram realizados em simulação e os resultados mostram que conseguimos controlar com sucesso dois modelos distintos de robôs: Atlas, da Boston Dynamics, e Marta. Os parâmetros do modelo foram otimizados através de métodos de aprendizado para alcançar um melhor desempenho do sistema Abstract: The advancements in robotics and the corresponding growth of their use in service applications are driving the area to search for robots that can operate in a variety of environments designed for humans. In particular, humanoid robots are quite useful for service tasks once they can navigate and similarly interact with such environments as humans. However, the movement control of such robots is still a hard challenge due to its complex state and action space and its continuous nature. Learning techniques are becoming a promising approach to deal which such problems, but it is still a computationally expensive task, thus prohibitive for a high number of degrees of freedom. In this scenario, we aim at designing a simplified model for learning the motion of a humanoid robot based on a generalized biped walking control where the upper part of the robot works as a 3D inverted pendulum that we can uncouple from the lower part. The tests were performed in simulation and we were able to successfully control two distinct robot models: Boston Dynamics Atlas and Marta. The model parameters were optimized through learning methods to achieve a better performance of the system Mestrado Ciência da Computação Mestre em Ciência da Computação CAPES