Search

Facultad de Ingeniería Eléctrica. Maestría en Ciencias en Ingeniería Eléctrica System identification is the process of obtaining a mathematical model from observations of the behavior of a system. This process is important in a wide variety of engineering problems. For example, in order to make a controller, it is needed to know the model of the system. Gene Expression Programming and Genetic Programming are evolutionary tools inspired in the Darwinian principle of natural selection and survival of the fittest individuals. Both tools evolve programs or expressions. In this work, we present a program called \Evolutionary Computation based System Identification" (ECSID). ECSID builds a mathematical model using the input-output of the system, a terminal set, and a function set. ECSID can produce systems of ordinary differential equations, linear or non-linear. Besides, ECSID has the ability to evolve models that use previous values of the time series, this gives the possibility to produce ARIMA (Autoregressive Integrated Moving Average) models. ECSID has been proved with the following examples: linear pendulum, non-linear pendulum, coupled mass-spring, electrical circuit, Van der Pol Equation, wind speed, etc. ECSID has obtained models that exhibit behaviors similar to the real models. La identificación de sistemas es el proceso de obtener un modelo matemático a partir de las observaciones del sistema. Este proceso es de vital importancia para una gran variedad de problemas de ingeniería. Por ejemplo, para controlar un sistema se requiere primero tener el modelo de éste. La computación evolutiva, como Programación Genética y Gene Expression Programming, es una herramienta basada en el principio de Darwin de la evolución; esto es, la supervivencia del mas apto. Tanto Programación Genética como Gene Expression Programming son herramientas que permiten la creación de programas o funciones siguiendo un criterio de optimización. En este trabajo se desarrolla un programa llamado \Evolutionary Computation based System Identification" (ECSID). ECSID crea un modelo matemático a partir de las observaciones del sistema, un conjunto de terminales y un conjunto de funciones. ECSID crea modelos en forma de sistemas de ecuaciones diferenciales ordinarias, lineales o no lineales. Además, tiene la capacidad de crear modelos usando los valores pasados de la serie de tiempo, lo cual da la posibilidad de crear modelos tipo ARIMA (Autoregressive Integrated Moving Average). ECSID se ha probado con el péndulo lineal, péndulo no lineal, masa resorte con amortiguador, circuito eléctrico, ecuación de Van der Pol, serie de tiempo de velocidad del viento, etc. ECSID ha logrado obtener modelos que se comportan de manera similar al modelo real.

Facultad de Ingeniería Eléctrica. Maestría en Ciencias en Ingeniería Eléctrica k-Nearest Neighbor (kNN) is one of the most popular and successful pattern classification techniques. Despite its high classification accuracy, it is known that kNN has some disadvantages; most notably, the requirement to store all the instances in the training set, T . On the other hand, when a new pattern must be classified by kNN, it is compared to all of the instances in T . Obviously, this is a crucial aspect when one has a large set T and wants to classify many objects. In this work, it proposes a Genetic Programming (GP) approach to the problem of Prototype Generation (PG) for NN based classification. The idea of PG is to represent all the elements in T with a number of generated instances, with the goal of reducing the storage requirements and the computational cost inherent in NN classifiers. To generate artificial instances, an iterative GP technique is proposed, which uses a non-linear combination of instances available in T . Experiments are reported in a suite of benchmark for evaluation of PG methods. Experimental results show that the proposed approach is very competitive with state of the art techniques, obtaining the best accuracy reported so far for this benchmark. The proposed method is very competitive in terms of reduction performance as well. La regla de k-vecinos más cercanos (kNN, k-Nearest Neighbors) es una de las técnicas de clasificación de patrones m as populares y exitosas. A pesar de su alta precisión de clasificación, se sabe que kNN tiene algunas desventajas; principalmente, los requerimientos para almacenar todas las instancias en el conjunto de entrenamiento, T . Por otro lado, cuando un nuevo patrón debe ser clasificado por kNN, se compara con todas las instancias en T . Evidentemente, este es un aspecto crucial cuando se tiene un conjunto T grande y se quiere clasificar a muchos objetos. En este trabajo, se propone un enfoque de Programación Genética (GP, Genetic Programming) al problema de la Generación de Prototipos (PG, Prototype Generation) para una clasificación basada en la regla NN. La idea de PG es representar a todos los elementos en T con un número de instancias generadas, con el objetivo de reducir los requerimientos de almacenamiento y el coste computacional inherente en clasificadores NN. Para generar las instancias artificiales, se propone una técnica de GP iterativo, la cual usa una combinación no lineal de las muestras disponibles en T . Los experimentos son presentados en un conjunto de bases de datos de referencia para la evaluación de métodos PG. Los resultados experimentales muestran que el enfoque propuesto es muy competitivo con técnicas del estado del arte, obteniendo la mejor precisión reportada hasta el momento para este conjunto de bases. También el método propuesto es muy competitivo en términos de rendimiento de reducción.

Facultad de Ingeniería Eléctrica. Maestría en Ciencias en Ingeniería Eléctrica System identi fication is the process of finding a mathematical model based on the measurements of the system's inputs/outputs relationship. Genetic Programming (GP) is an evolutionary technique used to evolve mathematical expressions. GP is a supervised machine learning technique, that is, the expressions evolved are based on the measurements made to the system under study. Consequently, GP is an appropriate heuristic to solve the task of system identification. A traditional strategy in GP for system identification is to take all the measurements (observations) during the evolution of the model. Contrary to this, in this thesis, a new methodology, based on using a subset of the observations, wich grows incrementally until reaching the total set of observations, is proposed in this thesis. The Genetic Programming System that implements this strategy is called Incremental Genetic Programming (IGP). IGP is compared against a traditional GP system and a commercial system identification software called Eureqa. IGP outperforms the traditional GP system and Eureqa; it obtains better models as well as convergence, and requires less computational resources to derive the model. Nonetheless, the models obtained by IGP have higher complexity than the ones obtained by Eureqa. As future work, IGP can be enhanced with techniques that allow the evolution of simpler models. La identificación de sistemas es el proceso de encontrar un modelo matemático en base a las mediciones de la relación entrada/salida del sistema. Programación Genética (PG) es una técnica evolutiva utilizada para evolucionar expresiones matemáticas. GP es una técnica de aprendizaje supervisado, es decir, las expresiones evolucionadas se basan en las mediciones realizadas al sistema en estudio. En consecuencia, GP es una metaheurística apropiada para resolver la tarea de identificación de sistemas. Una estrategia tradicional en GP para la identificación de sistemas es tomar todas las medidas (observaciones) durante la evolución del modelo. Contrario a esto, en esta tesis, se propone una nueva metodología que se basa en utilizar un subconjunto parcial de las observaciones, e incrementar este subconjunto hasta llegar al conjunto total de observaciones. El sistema de programación genética propuesto con esta tesis implementa esta estrategia; este sistema se llama Incremental Genetic Programming (IGP). IGP se compara con un sistema PG tradicional y un software comercial para la identificación de sistemas llamado Eureqa. IGP supera al sistema PG tradicional y Eureqa; obteniendo mejores modelos, así como una mejor convergencia, y requiere menos recursos de cálculo para derivar el modelo. Sin embargo, los modelos obtenidos por IGP tienen una mayor complejidad que los obtenidos por Eureqa. Como trabajo futuro, IGP se puede mejorar con técnicas que permitan la evolución de modelos más simples.

Facultad de Ingeniería Eléctrica. Maestría en Ciencias en Ingeniería Eléctrica In this thesis, two algorithms for selecting variables are presented; Operator Selection and Low Absolute Shrinkage (LASSO for its acronym in English "Least Absolute Shrinkage and Selection Operator") and the Lesser Angle Regression (LARS for its acronym in English "Least Angle Regression") to predict time series. These techniques are applied in the linear model. In this study, cross-validation is used to obtain the best final model. This technique aims to find the suitable parameters to avoid under learning and learning. The results show that LASSO and LARS have a Square or higher predictive power than ordinary least in terms of average error in the validation set. For this purpose 4,004 different time series that were taken of competitions called M1 and M3 time series were used. Finally, it is well known that LASSO and LARS behave similarly, however, the results show differences in the accuracy of predictions. LARS is the best model according to these experiments. En esta tesis, se presentan dos algoritmos de selección de variables; Selección de Operadores y Contracción del Menor Absoluto (LASSO por sus siglas en inglés "Least Absolute Shrinkage and Selection Operator") y Regresión por el Menor Angulo (LARS por sus siglas en inglés "Least Angle Regression") para predecir series de tiempo. Estas técnicas son aplicadas en el modelo lineal. En este trabajo, se utiliza validación cruzada para obtener el mejor modelo final. Esta técnica tiene como objetivo encontrar los parámetros idóneos para evitar el bajo aprendizaje y sobre-aprendizaje. Los resultados muestran que LASSO y LARS tiene un poder predictivo superior o igual que Mínimos Cuadrados Ordinarios en términos de error promedio en el conjunto de validación. Para este fin se utilizaron 4,004 series de tiempo diferentes que fueron tomadas de las competiciones llamadas M1 y M3 de series de tiempo. Finalmente, es bien sabido que LASSO y LARS se comportan de manera similar, sin embargo, los resultados obtenidos muestran diferencias en la precisión de las predicciones. LARS es el mejor modelo de acuerdo a estos experimentos.