Construcción evolutiva de redes de neuronas con entrenamiento parcial

Las redes neuronales profundas requieren muchos datos de entrenamiento para aprender los complejos patrones necesarios para hacer predicciones con precisión. Además, requieren mucha potencia de cálculo para entrenarse. Estos motivos, junto a la cantidad de hiperparámetros a ajustar a la hora de construir redes neuronales profundas, hacen que sea una tarea compleja. Una opción a la hora de abordar el problema de la construcción de redes neuronales profundas son las técnicas evolutivas, pues son capaces de explorar las diferentes configuraciones de sus hiperparámetros. En concreto, se plantea un sistema de optimización jerárquica GGGP-BP, que consiste en un módulo de programación genética guiada por gramáticas (GGGP) que busca la mejor arquitectura posible para el problema dado y un módulo de retropropagación del gradiente del error (BP) encargado de entrenar cada arquitectura. El sistema de optimización jerárquica está enfocado en la obtención, de manera automática, de la arquitectura neuronal óptima para resolver un problema. Sin embargo, esta aproximación requiere de grandes recursos computacionales. El objetivo de este trabajo fin de máster es crear un sistema de optimización jerárquica GGGP-BP concurrente que utilice Co-Optimización Endosimbiótica (ECO), que modifica la manera de interacción entre el proceso evolutivo y el de aprendizaje, para construir redes neuronales automáticamente, así como realizar una comparativa con sistemas jerárquicos GGGP-BP secuenciales, sin ECO. Además, para solventar en cierta medida el coste de entrenamiento de las redes de neuronas representadas por los individuos de la población GGGP, se emplea entrenamiento parcial, que se fundamenta en detener el algoritmo de aprendizaje de redes de neuronas antes de alcanzar la condición de parada. Con este objetivo, se pretende analizar si el sistema concurrente es capaz de reducir los recursos computacionales requeridos por este tipo de sistemas a la vez que mantiene unos resultados similares. Se han realizado pruebas que muestran que el sistema concurrente (con ECO) es capaz de igualar la calidad de la solución obtenida por el sistema secuencial, reduciendo considerablemente el coste computacional, es decir, el número de épocas de entrenamiento BP necesarias. Además, se observa que no es necesario completar el proceso de aprendizaje de los individuos de la población una vez finalizado el proceso evolutivo en el sistema concurrente, porque se incrementa considerablemente el coste computacional y la mejora de la calidad de las soluciones que se obtiene es ínfima. Así mismo, se analizan las arquitecturas neuronales obtenidas como solución por parte de los sistemas evolutivos, observando que se mantiene un patrón de diseño en el que las primeras capas ocultas presentan más neuronas que las últimas. El sistema de optimización jerárquica con ECO planteado en este trabajo resulta ser un método prometedor para la construcción automática de redes neuronales, lo que abre otras posibles líneas de trabajo como la aplicación de ECO al campo de la visión artificial, utilizándolo para la construcción de redes neuronales convolucionales.---ABSTRACT---Deep neural networks require a lot of training data to learn the complex patterns needed to make accurate predictions. They also require a lot of computational power to train. These reasons, together with the number of hyperparameters to be tuned when constructing deep neural networks, make it a complex task. One option for tackling the problem of constructing deep neural networks is evolutionary techniques, as they are capable of exploring the different configurations of their hyperparameters. Specifically, a GGGP-BP hierarchical optimisation system is proposed, which consists of a grammar-guided genetic programming (GGGP) module that searches for the best possible architecture for the given problem and an error gradient backpropagation (BP) module in charge of training each architecture. The hierarchical optimisation system is focused on automatically obtaining the optimal neural architecture to solve a problem. However, this approach requires large computational resources. The aim of this master’s thesis is to create a concurrent hierarchical GGGP-BP optimisation system that uses Endosymbiotic Co-Optimization (ECO), which modifies the interaction between the evolutionary process and the learning process, to build neural networks automatically, as well as to make a comparison with sequential hierarchical GGGP-BP systems without ECO. In addition, in order to solve to some extent the training cost of the neural networks represented by the individuals of the GGGP population, partial training is used, which is based on stopping the learning algorithm of neural networks before reaching the stop condition. With this objective, the aim is to analyse whether the concurrent system is able to reduce the computational resources required by this type of system while maintaining similar results. Tests have been carried out that show that the concurrent system (with ECO) is able to match the quality of the solution obtained by the sequential system, considerably reducing the computational cost, i.e. the number of BP training epochs required. Furthermore, it is observed that it is not necessary to complete the learning process of the individuals in the population once the evolutionary process in the concurrent system has been completed, because the computational cost is considerably increased and the improvement in the quality of the solutions obtained is negligible. Likewise, the neural architectures obtained as a solution by the evolutionary systems are analysed, observing that a design pattern is maintained in which the first hidden layers have more neurons than the last ones. The hierarchical optimisation system with ECO proposed in this work turns out to be a promising method for the automatic construction of neural networks, which opens up other possible lines of work such as the application of ECO to the field of artificial vision, using it for the construction of convolutional neural networks.