1. Evolutionary approaches to optimize convolutional neural networks based on genetic algorithms
- Author
-
Raphael De Lima Mendes, Amaral, Laurence Rodrigues do, Carneiro, Murillo Guimarães, and Santos, Edimilson Batista dos
- Subjects
Machine Learning ,Ciência da Computação ,Redes neurais (Computação) ,Genetic Algorithms ,CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO [CNPQ] ,Convolutional Neural Networks ,Redes Neurais Convolucionais ,Inteligência Artificial ,Otimização ,Aprendizagem de Máquina ,Algoritmos Genéticos ,Neuroevolution ,Neuroevolução - Abstract
Pesquisa sem auxílio de agências de fomento As Redes Neurais Convolucionais (CNN) são consideradas o estado da arte em aplicações de visão computacional. Entretanto, a construção de modelos de aprendizagem de máquina utilizando essa tecnologia ainda requer a otimização de parâmetros, hiperparâmetros e desafios como a quantidade de dados para treinamento. Algoritmos Genéticos (AG) apresentam-se como uma técnica promissora para otimizar diversos aspectos das CNN. Este trabalho apresenta duas abordagens para otimização de CNNs utilizando AGs: gaCNN, para a otimização arquitetural e MLTLGA, para a otimização de aprendizagem por transferência. No método gaCNN, foi proposta uma codificação de cromossomo para incorporar funções de ativação e novos operadores de mutação, estas mudanças permitiram que o método superasse o desempenho de 9 dos 13 métodos avaliados em acurácia de classificação. No método MLTLGA, foi proposto um novo processo de inicialização que apresentou resultados superiores em pelo menos 2% de acurácia de classificação a todos os outros métodos de aprendizagem por transferência avaliados no trabalho. Dessa forma, apresentando métodos promissores no contexto de otimização de CNNs. Convolutional Neural Networks (CNN) are considered the state-of-the-art in computer vision applications. However, building machine learning models such method still requires the parameter and hyperparameter tuning, and considerably large training datasets. Genetic Algorithms (GA) can be a promising technique to optimize various aspects of CNNs. In this work, two approaches to optimize CNN using GA are proposed: gaCNN, for architectural optimization and MLTLGA, for transfer learning optimization. In the gaCNN, a new individual codification strategy for activation functions is proposed alongside new mutation operators. The proposed method outperformed 9 out 13 methods evaluated in classification accuracy. In the MLTLGA, a new initialization operation is presented that outperformed by at least 2% the other transfer learning methods evaluated. Therefore, the two methods are promising in the study of optimization of CNN. Dissertação (Mestrado)
- Published
- 2021