Search

En las últimas décadas los sistemas de inspección visual automática se han convertido en herramientas de ayuda indispensables para el control de calidad en líneas de producción industrial. Si bien, en muchas industrias este proceso es aún realizado por humanos, los sistemas de inspección visual superan las capacidades de los humanos en muchos aspectos. Por ejemplo, la velocidad de inspección alcanzada por las máquinas es mucho mayor y, por tanto, se puede inspeccionar el 100\% de los productos; los sistemas de inspección visual automática pueden trabajar las 24 horas, los 7 días a la semana, sin degradar su desempeño bien sea por fatiga visual o por factores anímicos; además, éstos eliminan la subjetividad humana en el proceso, por lo que la calidad de todos los productos se determina siempre de la misma forma. Desde el punto de vista de la visión artificial existen diferentes aproximaciones para abordar el problema de la de inspección visual automática. Una de las más comunes consiste en la utilización de métodos de aprendizaje automático para "enseñar" a las máquinas a reconocer los posibles defectos en un producto. Sin embargo, para que la máquina construya un modelo que le permita diferenciar entre productos defectuosos y no-defectuosos, se requiere de un amplio conjunto de imágenes de entrenamiento en las que los posibles defectos estén perfectamente delineados. Este proceso, conocido como segmentación (o anotación) manual, es una tarea laboriosa que requiere de extensos tiempos de dedicación de los expertos, es susceptible a las inconsistencias inter- e intra-experto y en algunos casos es impracticable por el número de imágenes que se requieren para el entrenamiento. A partir de esa limitación, esta tesis explora el uso de un nuevo paradigma de clasificación, denominado Aprendizaje de Múltiples Instancias (MIL), con el fin de enseñar a las máquinas a diferenciar entre productos defectuoso y no-defectuosos utilizando imágenes débilmente etiquetadas, que además tienen cierto grado de ambigüedad. Para ello, el problema de inspección es modelado como un problema MIL en el que cada imagen de entrenamiento es representada como una bolsa que contiene múltiples vectores de características, llamados instancias. Además, se considera el problema del aprendizaje a partir de clases desbalanceadas en el contexto MIL. En muchas industrias es común que se cuente con una gran cantidad de imágenes de productos no-defectuosos, pero pocas imágenes de productos con defectos. Esto sucede ya sea por el costo que implica generar los defectos o por la poca frecuencia de su aparición. Cuando el número de muestras de una de las clases (la clase mayoritaria) supera por mucho el número de muestras de la clase minoritaria, los algoritmos de aprendizaje basados en la teoría de decisión Bayesiana suelen generar fronteras de decisión sesgadas en favor de la clase mayoritaria. Es por esto que en esta tesis se aborda el problema de desbalance entre clases en MIL y se propone un método para balancear las mismas, en términos de su representación basada en bolsas y/o instancias. Finalmente, en esta tesis se considera el problema del cambio temporal en la descripción de los productos y sus posibles defectos (cambio de concepto). En muchos dominios de aplicación de la inspección visual automática, el ambiente en el cual se toman las imágenes de los objetos puede cambiar en el tiempo, por ejemplo, por cambios debidos a la iluminación o cambios en los defectos. Esto conlleva a que un clasificador entrenado en el tiempo t pueda tener un desempeño muy bajo en el tiempo t+1. En este sentido, aquí se plantea el problema del aprendizaje incremental de múltiples instancias y se presenta una aproximación de solución al mismo. Los elementos antes mencionados llevan a que en esta tesis se desarrolle una metodología para la detección de defectos en sistemas de inspección visual automática basados en el aprendizaje de múltiples instancias, con el fin de mejorar la adaptabilidad de estos sistemas en términos del uso de imágenes débilmente etiquetadas, de su funcionamiento con conjuntos no balanceados y de cambios en la descripción de los conceptos. Abstract: In the last decades, automatic visual inspection has become an important part of the quality control in manufacturing industry. It has several advantages compared with the inspection performed by humans. For example, machines do not fatigue, even working 7 days a week during 24 hours, they are faster than humans and their decision about the quality of a product is objective and consistent. Machine learning algorithms are the most common approaches used to build automatic visual inspection systems to recognize defective products. In these approaches, machines must "learn" a mathematical model to differentiate between defective and non-defective products. However, one of the drawbacks of these approaches is that they require a large set of training images where the defects have to be manualy delineated and labeled. This process could be a costly and laborious task which is also sensitive to the inter- and intra-expert inconsistencies, and in some cases is impracticable by the number of images. In this thesis a methodology based on the Multiple-Instance Learning (MIL) paradigm is proposed in order to use weakly and ambiguity labeled images to train an automatic visual inspection system. The use of weak labels can decrease the time and effort used in manual image labeling. In this sense, the proposed methodology starts modeling the automatic visual inspection problem as a multiple-instance learning problem. Then, the problem of multiple-instance class imbalance learning is considered. It is because in many industries is very usual to have a large number of images of non-defective products, but few images of defective ones. When a supervised learning algorithm, based on the Bayesian decision theory, is trained with data where the class distribution is imbalanced the decision boundaries could be skewed by the majority class. In this thesis, two sampling methods are proposed to lead whit this problem. Finally, this thesis reviews the problem of temporary changes in products or their potential defects. In many industrial application domains, the environment where the images are captured may change over time due to changes in illumination or raw materials, for example. These changes may cause that a classifier trained in the time t has a low performance detecting the defects in a posterior time t+1. In this sense, the proposed methodology considers and presents a solution for the problem of incrementally learning from multiple-instance data in the context of automatic visual inspection. All these elements, which are part of the proposed methodology, are used to detect defects in automatic visual inspection systems based on multi-instance learning. At the same time, these elements look for improving the flexibility and adaptability of these kind of inspection systems with respect to the use of weakly labeled images for their training stage and their operation using imbalanced and changing datasets. Doctorado

[Abstract] The core of this work is the development of new supervised learning methods for feedforward neural networks. In the first place, improvements on already developed learning methods are presented in order to generalize their behaviour to new situations while keeping their original characteristics. In particular, the employment of the regularization technique is proposed to handle situations where the overfitting to data is possible. Secondly, we develop online learning algorithms for one and two layer neural networks so as to allow their application in stationary and non stationary contexts in which the process to be modelled does not remain unalterable. In addition, for the case of two layers neural networks, this algorithm will also automatically adapt the topology of the network according to the needs of learning, by adding new hidden units only when necessary. In all cases, an optimum employment of the computational resources is pursued. For all the proposed algorithms, theoretical descriptions of their capacities are included, and their behaviours are illustrated by means of their application to significant cases. Finally, we analyze the results obtained, extracting the main conclusions about each method, their capacities and limitations for their future application. [Resumo] Este traballo céntrase no desenvolvemento de novos modelos de aprendizaxe supervisada para redes de neuronas artificiais alimentadas cara a adiante. En primeiro lugar, expóñense melloras sobre métodos de aprendizaxe xa desenvolvidos, co obxecto de xeneralizar o seu comportamento a novas situacións mantendo as súas características orixinais. En concreto, móstrase o emprego da regularización para manexar situacións onde é posible o fenómeno de sobreaxuste aos datos. En segundo lugar, desenvólvense algoritmos de aprendizaxe online tanto para redes dunha capa como de dúas, que permiten a súa aplicación en contornas non estacionarias en que o proceso que se vai modelar non permanece inalterable. Alén diso, para o caso das redes de dúas capas, este algoritmo online permitirá que tamén a topoloxía da rede se adapte de xeito automático segundo as necesidades da aprendizaxe, engadindo unidades ocultas unicamente en caso de que sexa necesario. En todo momento perséguese un aproveitamento dos recursos dispoñibles. Para os algoritmos propostos, inclúese unha descrición teórica das súas capacidades e o seu comportamento ilústrase mediante a súa aplicación a casos concretos e significativos. Finalmente, analízanse os resultados obtidos, extraendo as principais conclusións do comportamento de cada método e as súas capacidades e limitacións para a súa aplicación futura. [Resumen] Este trabajo se centra en el desarrollo de nuevos modelos de aprendizaje supervisado para redes de neuronas artificiales alimentadas hacia delante. En primer lugar, se plantean mejoras sobre métodos de aprendizaje ya desarrollados, con el objeto de generalizar su comportamiento a nuevas situaciones manteniendo sus características originales. En concreto, se plantea el empleo de la regularización para manejar situaciones donde es posible el fenómeno de sobreajuste a los datos. En segundo lugar, se desarrollan algoritmos de aprendizaje online tanto para redes de una capa como de dos, que permiten su aplicación en entornos no estacionarios en los que el proceso a modelar no permanece inalterable. Además, para el caso de las redes de dos capas, este algoritmo online permitirá que también la topología de la red se adapte de manera autom ática según las necesidades del aprendizaje, añadiendo unidades ocultas únicamente en caso necesario. En todo momento se persigue un aprovechamiento de los recursos disponibles. Para los algoritmos propuestos se incluye una descripción teórica de sus capacidades, y su comportamiento se ilustra mediante su aplicación a casos concretos y significativos. Finalmente se analizan los resultados obtenidos, extrayendo las principales conclusiones del comportamiento de cada método, capacidades y limitaciones para su aplicación futura.

Es presenta un esquema únic per a la síntesi i anàlisi audiovisual personalitzable realista de seqüències audiovisuals de cares parlants i seqüències visuals de llengua de signes en àmbit domèstic. En el primer cas, amb animació totalment sincronitzada a través d'una font de text o veu; en el segon, utilitzant la tècnica de lletrejar paraules mitjançant la ma. Les seves possibilitats de personalització faciliten la creació de seqüències audiovisuals per part d'usuaris no experts. Les aplicacions possibles d'aquest esquema de síntesis comprenen des de la creació de personatges virtuals realistes per interacció natural o vídeo jocs fins vídeo conferència des de molt baix ample de banda i telefonia visual per a les persones amb problemes d'oïda, passant per oferir ajuda a la pronunciació i la comunicació a aquest mateix col·lectiu. El sistema permet processar seqüències llargues amb un consum de recursos molt reduït, sobre tot, en el referent a l'emmagatzematge, gràcies al desenvolupament d'un nou procediment de càlcul incremental per a la descomposició en valors singulars amb actualització de la informació mitja. Aquest procediment es complementa amb altres tres: el decremental, el de partició i el de composició., Se presenta un esquema único para la síntesis y análisis audiovisual personalizable realista de secuencias audiovisuales de caras parlantes y secuencias visuales de lengua de signos en entorno doméstico. En el primer caso, con animación totalmente sincronizada a través de una fuente de texto o voz; en el segundo, utilizando la técnica de deletreo de palabras mediante la mano. Sus posibilidades de personalización facilitan la creación de secuencias audiovisuales por parte de usuarios no expertos. Las aplicaciones posibles de este esquema de síntesis comprenden desde la creación de personajes virtuales realistas para interacción natural o vídeo juegos hasta vídeo conferencia de muy bajo ancho de banda y telefonía visual para las personas con problemas de oído, pasando por ofrecer ayuda en la pronunciación y la comunicación a este mismo colectivo. El sistema permite procesar secuencias largas con un consumo de recursos muy reducido gracias al desarrollo de un nuevo procedimiento de cálculo incremental para la descomposición en valores singulares con actualización de la información media., A shared framework for realistic and personalizable audiovisual synthesis and analysis of audiovisual sequences of talking heads and visual sequences of sign language is presented in a domestic environment. The former has full synchronized animation using a text or auditory source of information; the latter consists in finger spelling. Their personalization capabilities ease the creation of audiovisual sequences by non expert users. The applications range from realistic virtual avatars for natural interaction or videogames to low bandwidth videoconference and visual telephony for the hard of hearing, including help to speech therapists. Long sequences can be processed with reduced resources, specially storing ones. This is allowed thanks to the proposed scheme for the incremental singular value decomposition with mean preservation. This scheme is complemented with another three: the decremental, the split and the composed ones.