1. Representation Learning in Document Networks : Application to the Scientific Literature
- Author
-
Brochier, Robin, Brochier, Robin, Entrepôts, Représentation et Ingénierie des Connaissances (ERIC), Université Lumière - Lyon 2 (UL2)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon, Université Lumière Lyon 2, Julien Velcin, and Adrien Guille
- Subjects
[INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI] ,mécanismes d’attention ,document network ,network embedding ,plongement de réseau ,[INFO.INFO-TT] Computer Science [cs]/Document and Text Processing ,systèmes de recommandation ,[INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI] ,[INFO.INFO-TT]Computer Science [cs]/Document and Text Processing ,attention mechanisms ,representation learning ,recherche d’information ,[INFO.INFO-IR]Computer Science [cs]/Information Retrieval [cs.IR] ,information retrieval ,[INFO.INFO-IR] Computer Science [cs]/Information Retrieval [cs.IR] ,recommender systems ,apprentissage de représentation ,réseau de documents - Abstract
The work presented in this thesis, made in collaboration with the company Digital Scientific Research Technology, aims to develop representation learning models for networks in order to address the resolution of different tasks of information retrieval, in particular, on data extracted from the scientific literature.We present GVNR, a network embedding algorithm whose algorithmic time complexity is lower than other representative algorithms in the literature. GVNR-t, its extension, makes it possible to take into account the text associated with the nodes in a network of documents. We then describe MATAN, a model that leverages a mutual attention mechanism between documents. Finally, we present IDNE, a document network embedding model based on a new mechanism, the topic-attention. We experimentally study the performances of these 4 models on transductive and inductive tasks of classification of nodes and of link prediction with 9 datasets. We show that these models achieve state-of-the-art performances in most datasets on all tasks.In addition, we present our work on expert finding. We introduce a new evaluation methodology and we provide 4 new annotated datasets. We experimentally show the relevance of our evaluation protocol and highlight the remaining steps for the design of an expert finding model based on document network embedding techniques., Les travaux présentés dans cette thèse, réalisés en collaboration avec l’entreprise Digital Scientific Research Technology, ont pour objectif de développer des modèles d’apprentissage de représentation pour les réseaux dans l’optique d’aborder la résolution de différentes tâches de recherche d’information, en particulier sur des données issues de la littérature scientifique.Nous présentons GVNR, un algorithme de plongement de sommets dans les réseaux dont la complexité algorithmique en temps est plus faible que les algorithmes représentatifs de la littérature. GVNR-t, son extension, permet de prendre en compte le texte associé aux sommets dans un réseau de documents. Nous décrivons ensuite MATAN, un modèle qui entraîne un mécanisme d’attention mutuelle entre documents. Nous présentons enfin IDNE, un modèle d’apprentissage de représentation de documents qui s’appuie sur un nouveau mécanisme, l’attention thématique. Nous étudions expérimentalement les performances de ces 4 modèles sur des tâches transductives et inductives de classification des sommets et de prédiction de liens avec 9 jeux de données. Nous montrons que cesmodèles réussissent mieux que l’état de l’art sur la plupart des jeux de données et sur toutes les tâches.De plus, nous présentons nos travaux sur la recherche automatique d’experts. Nous introduisons une nouvelle méthodologie d’évaluation et nous fournissons 4 nouveaux jeux de données annotés. Nous montrons expérimentalement la pertinence de notre protocole d’évaluation et mettons en lumière les étapes restantes pour la conception d’un modèle de recherche d’experts reposant sur les techniques de plongement de réseau de documents.
- Published
- 2020