Search

The main goal of this thesis is to investigate effective and efficient methods to combine complementary evidence, and model the relationships between multiple modalities of multimedia data in order to improve the access and analysis of the information, to finally obtain valuable insights about the data. In this thesis is proposed to use multimodal latent semantic as the strategy that allows us to combine and to exploit the different views from this heterogeneous source of knowledge, by modeling relations between the different modalities and finding a new common low-dimensional semantic representation space. For a richer modeling, it is proposed the usage of kernel-based methods that usually present accurate and robust results. Unfortunately, kernel-based methods present a high computational complexity that makes them infeasible for large data collections. This drawback implies one of the most important challenges addressed in this thesis, which was to investigate alternatives to handle large-scale datasets with modest computational architectures. In this thesis, several kernelized semantic embedding methods based on matrix factorization have been proposed, developed and evaluated. Thanks to the non-linear capabilities of the kernel representations, the proposed methods can model the complex relationships between the different modalities, allowing to construct a richer multimodal representation even when one of the modalities presents incomplete data. Besides, the proposed methods have been designed under a scalable architecture based on two main strategies: online learning and learning-in-a-budget that allow preserving low computational requirements in terms of memory usage and processing time. An extended experimental evaluation shows that the proposed multimodal strategies achieve the state-of-the-art in several data analysis tasks, such as multi-labeling and multi-class classification and cross-modal retrieval and under different learning setups, such as supervised, semi-supervised, and transductive learning. Furthermore, thanks to the online learning and learning-in-a-budget strategies proposed in this thesis, the scalability capabilities are preserved allowing to deal with large-scale multimodal collections. Resumen: El objetivo principal de esta tesis es investigar m´etodos eficaces y eficientes para combinar evidencia complementaria de múltiples modalidades de información multimedia y modelar las relaciones entre éstas, con el fin de mejorar el acceso y el análisis de los datos contenidos. En esta tesis se pretende utilizar la estrategia de semántica latente multimodal, la cual permite combinar y explotar las diferentes vistas de esta fuente de información heterogénea, modelando las relaciones entre las diferentes modalidades y encontrando un nuevo espacio com´un de representación semántica de baja dimensionalidad. Para un modelado más rico, se propone el uso de métodos basados en kernel los cuales usualmente presentan resultados precisos y robustos. Desafortunadamente, los métodos basados en kernel presentan una alta complejidad computacional que los hace inviables para grandes colecciones de datos. Este inconveniente implica uno de los desafíos más importantes abordados en esta tesis, que fue investigar alternativas para manejar conjuntos de datos de gran escala con modestas arquitecturas computacionales. En esta tesis, han sido propuestos, desarrollados y evaluados varios métodos kernelizados de semántica latente basados en factorización de matrices, donde, gracias a las capacidades no lineales de las representaciones basadas en kernels, los métodos propuestos pueden modelar las relaciones complejas entre las diferentes modalidades, lo que permite construir una representación multimodal enriquecida, incluso cuando una de las modalidades presenta datos incompletos. Además, los métodos propuestos han sido diseñaados bajo una arquitectura escalable basada en dos estrategias principales: el aprendizaje en línea y el aprendizaje bajo presupuesto que permiten preservar bajos requerimientos computacionales en términos de uso de memoria y tiempo de procesamiento. Una extensiva evaluación experimental muestra que las estrategias multimodales propuestas logran el estado del arte en varias tareas de análisis de datos, tales como la anotación multi-etiqueta y la clasificación multi-clase, así como la búsqueda y recuperación intermodal, y bajo diferentes configuraciones de aprendizaje, tales como aprendizaje supervisado, semisupervisado y transductivo. Además, gracias a las estrategias de aprendizaje en línea y de aprendizaje bajo presupuesto propuestas en esta tesis, se preservan las capacidades de escalabilidad, lo que permite tratar con colecciones multimodales de gran escala. Doctorado

To increase the success in computer programming courses, it is important to understand the learning process and common difficulties faced by students. Although several studies have investigated possible relationships between students performance and self-regulated learning characteristics, little attention has been given the source code produced by students in this regard. Such source code might contain valuable information about their learning process, specially in a context where practical programming assignments are frequent and students write source code constantly during the course. This poses the following research questions: What is the relationship between the characteristics of students source code and their performance in a computer programming course?. What is the relationship between source code features and self-regulated learning characteristics (i.e., motivation and learning strategies) in a computer programming course?. How the source code and self-regulated features can predict the students' performance? In order to answer these questions, a strategy to support the correlation analysis among students performance, motivation, use of learning strategies, and source code metrics in computer programming courses is proposed. A comprehensive case study is presented to evaluate the strategy. Additionally, an automatic grading tool for programming assignments was used, which facilitated to obtain the source code of the participants for further automatic source code analysis. Moreover, self-regulated learning characteristics were collected using the Motivated Strategies for Learning Questionnaire (MSLQ). Results show that the main features from source code which are significantly related to students performance and self-regulated learning features are: length-related metrics, with mainly positive correlations; and Halstead complexity measures, correlated negatively. In the light of the findings of this study, it is possible to understand better students source code as an artifact that can be used to monitorize several characteristics related to self-regulated learning, course performance, and in general, their learning process. In this way, more research in the area is required to verify if these relationships could give to computing educators new ways to identify and help students with problems. Para mejorar el éxito de los estudiantes en los cursos de programación, es importante entender el proceso de aprendizaje y las dificultades comunes que enfrentan los estudiantes. Aunque muchos estudios han investigado las posibles relaciones entre el rendimiento de los estudiantes y aspectos de la auto-regulación del aprendizaje, poca atención se le ha dado al código fuente producido por los estudiantes. El cual puede contener información valiosa acerca de su proceso de aprendizaje. Esto es especialmente cierto en contextos donde las actividades prácticas de programación son frecuentes y los estudiantes escriben código fuente constantemente durante el desarrollo del curso. Lo anterior, plantea las siguientes preguntas de investigación: ¿Cuál es la relación entre las características del código fuente de los estudiantes y su rendimiento en un curso de programación de computadores?. ¿Cuál es la relación entre las características del código fuente y características de aprendizaje auto-regulado (motivación y estrategias de aprendizaje) en un curso de programación de computadores?. ¿Cómo el código fuente y las características de aprendizaje auto-regulado pueden predecir el rendimiento de los estudiantes? Para responder estas preguntas, se presenta una estrategia para realizar el análisis de correlaciones entre el rendimiento de los estudiantes, motivación, el uso de estrategias de aprendizaje, y las métricas de código fuente en cursos de programación de computadores. Un caso de estudio exhaustivo es presentado para evaluar la estrategia propuesta usando datos recolectados de estudiantes. Además se usaba una herramienta de calificación automática para evaluar las practicas, lo cual facilitaba la obtención de código fuente de estudiantes para su análisis posterior. Las características de aprendizaje auto-regulado fueron obtenidas usando el cuestionario: Motivated Strategies for Learning Questionnaire Colombia (MSLQColombia). Los resultados muestran que las principales características del código fuente que están relacionadas con el rendimiento de los estudiantes y características auto-reguladas son: las métricas de longitud, que se correlaciona positivamente; y las medidas de complejidad de Halstead, las cuales se correlacionan negativamente. Dados los resultados, es posible entender mejor el código fuente de los estudiantes como un artefacto que puede ser usado para monitorear características relacionadas con el aprendizaje auto-regulado, rendimiento en el curso, y en general, su proceso de aprendizaje. De esta forma, investigaciones adicionales son necesarias para verificar si dichas relaciones pueden dar a los educadores nuevas herramientas para identificar y ayudar a estudiantes con problemas. Maestría

Large collections of medical images have become a valuable source of knowledge, taking an important role in education, medical research and clinical decision making. An important unsolved issue that is actively investigated is the efficient and effective access to these repositories. This work addresses the problem of information retrieval in large collections of biomedical images, allowing to use sample images as alternative queries to the classic keywords. The proposed approach takes advantage of both modalities: text and visual information. The main drawback of the multimodal strategies is that the associated algorithms are memory and computation intensive. So, an important challenge addressed in this work is the design of scalable strategies, that can be applied efficiently and effectively in large medical image collections. The experimental evaluation shows that the proposed multimodal strategies are useful to improve the image retrieval performance, and are fully applicable to large image repositories. Maestría

Nowadays, automatic methods for image representation and analysis have been successfully applied in several medical imaging problems leading to the emergence of novel research areas like digital pathology and bioimage informatics. The main challenge of these methods is to deal with the high visual variability of biological structures present in the images, which increases the semantic gap between their visual appearance and their high level meaning. Particularly, the visual variability in histopathology images is also related to the noise added by acquisition stages such as magnification, sectioning and staining, among others. Many efforts have focused on the careful selection of the image representations to capture such variability. This approach requires expert knowledge as well as hand-engineered design to build good feature detectors that represent the relevant visual information. Current approaches in classical computer vision tasks have replaced such design by the inclusion of the image representation as a new learning stage called representation learning. This paradigm has outperformed the state-of-the-art results in many pattern recognition tasks like speech recognition, object detection, and image scene classification. The aim of this research was to explore and define a learning-based histopathology image representation strategy with interpretative capabilities. The main contribution was a novel approach to learn the image representation for cancer detection. The proposed approach learns the representation directly from a Basal-cell carcinoma image collection in an unsupervised way and was extended to extract more complex features from low-level representations. Additionally, this research proposed the digital staining module, a complementary interpretability stage to support diagnosis through a visual identification of discriminant and semantic features. Experimental results showed a performance of 92% in F-Score, improving the state-of-the-art representation by 7%. This research concluded that representation learning improves the feature detectors generalization as well as the performance for the basal cell carcinoma detection task. As additional contributions, a bag of features image representation was extended and evaluated for Alzheimer detection, obtaining 95% in terms of equal error classification rate. Also, a novel perspective to learn morphometric measures in cervical cells based on bag of features was presented and evaluated obtaining promising results to predict nuclei and cytoplasm areas. Los métodos automáticos para la representación y análisis de imágenes se han aplicado con éxito en varios problemas de imagen médica que conducen a la aparición de nuevas áreas de investigación como la patología digital. El principal desafío de estos métodos es hacer frente a la alta variabilidad visual de las estructuras biológicas presentes en las imágenes, lo que aumenta el vacío semántico entre su apariencia visual y su significado de alto nivel. Particularmente, la variabilidad visual en imágenes de histopatología también está relacionada con el ruido añadido por etapas de adquisición tales como magnificación, corte y tinción entre otros. Muchos esfuerzos se han centrado en la selección de la representacion de las imágenes para capturar dicha variabilidad. Este enfoque requiere el conocimiento de expertos y el diseño de ingeniería para construir buenos detectores de características que representen la información visual relevante. Los enfoques actuales en tareas de visión por computador han reemplazado ese diseño por la inclusión de la representación en la etapa de aprendizaje. Este paradigma ha superado los resultados del estado del arte en muchas de las tareas de reconocimiento de patrones tales como el reconocimiento de voz, la detección de objetos y la clasificación de imágenes. El objetivo de esta investigación es explorar y definir una estrategia basada en el aprendizaje de la representación para imágenes histopatológicas con capacidades interpretativas. La contribución principal de este trabajo es un enfoque novedoso para aprender la representación de la imagen para la detección de cáncer. El enfoque propuesto aprende la representación directamente de una colección de imágenes de carcinoma basocelular en forma no supervisada que permite extraer características más complejas a partir de las representaciones de bajo nivel. También se propone el módulo de tinción digital, una nueva etapa de interpretabilidad para apoyar el diagnóstico a través de una identificación visual de las funciones discriminantes y semánticas. Los resultados experimentales mostraron un rendimiento del 92% en términos de F-Score, mejorando la representación del estado del arte en un 7%. Esta investigación concluye que el aprendizaje de la representación mejora la generalización de los detectores de características así como el desempeño en la detección de carcinoma basocelular. Como contribuciones adicionales, una representación de bolsa de caracteristicas (BdC) fue ampliado y evaluado para la detección de la enfermedad de Alzheimer, obteniendo un 95% en términos de EER. Además, una nueva perspectiva para aprender medidas morfométricas en las células del cuello uterino basado en BdC fue presentada y evaluada obteniendo resultados prometedores para predecir las areás del nucleo y el citoplasma. Maestría