Search

There are, at the basis of most NLP systems, numerical representations that enable the machine to process, interact with and—to some extent—understand human language. These “word embeddings” come in different flavours but can be generally categorised into two distinct groups: on one hand, static embeddings that learn and assign a single definitive representation to each word; and on the other, contextual embeddings that instead learn to generate word representations on the fly, according to a current context. In both cases, training these models requires a large amount of texts. This often leads NLP practitioners to compile and merge texts from multiple sources, often mixing different styles and domains (e.g. encyclopaedias, news articles, scientific articles, etc.) in order to produce corpora that are sufficiently large for training good representations. These so-called “general domain” corpora are today the basis on which most word embeddings are trained, greatly limiting their use in more specific areas. In fact, “specialized domains” like the medical domain usually manifest enough lexical, semantic and stylistic idiosyncrasies (e.g. use of acronyms and technical terms) that general-purpose word embeddings are unable to effectively encode out-of-the-box. In this thesis, we explore how different kinds of resources may be leveraged to train domain-specific representations or further specialise preexisting ones. Specifically, we first investigate how in-domain corpora can be used for this purpose. In particular, we show that both corpus size and domain similarity play an important role in this process and propose a way to leverage a small corpus from the target domain to achieve improved results in low-resource settings. Then, we address the case of BERT-like models and observe that the general-domain vocabularies of these models may not be suited for specialized domains. However, we show evidence that models trained using such vocabularies can be on par with fully specialized systems using in-domain vocabularies—which leads us to accept re-training general domain models as an effective approach for constructing domain-specific systems. We also propose CharacterBERT, a variant of BERT that is able to produce word-level open-vocabulary representations by consulting a word's characters. We show evidence that this architecture leads to improved performance in the medical domain while being more robust to misspellings. Finally, we investigate how external resources in the form of knowledge bases may be leveraged to specialise existing representations. In this context, we propose a simple approach that consists in constructing dense representations of these knowledge bases then combining these knowledge vectors with the target word embeddings. We generalise this approach and propose Knowledge Injection Modules, small neural layers that incorporate external representations into the hidden states of a Transformer-based model. Overall, we show that these approaches can lead to improved results, however, we intuit that this final performance ultimately depends on whether the knowledge that is relevant to the target task is available in the input resource. All in all, our work shows evidence that both in-domain corpora and knowledge may be used to construct better word embeddings for specialized domains. In order to facilitate future research on similar topics, we open-source our code and share pre-trained models whenever appropriate.; Il existe, à la base de la plupart des systèmes de TAL, des représentations numériques appelées « plongements lexicaux » qui permettent à la machine de traiter, d'interagir avec et, dans une certaine mesure, de comprendre le langage humain. Ces plongements lexicaux nécessitent une quantité importante de textes afin d'être entraînés correctement, ce qui conduit souvent les praticiens du TAL à collecter et fusionner des textes provenant de sources multiples, mélangeant souvent différents styles et domaines (par exemple, des encyclopédies, des articles de presse, des articles scientifiques, etc.). Ces corpus dits du « domaine général » sont aujourd'hui la base sur laquelle s'entraînent la plupart des plongements lexicaux, limitant fortement leur utilisation dans des domaines plus spécifiques. En effet, les « domaines spécialisés » comme le domaine médical manifestent généralement assez de spécificités lexicales, sémantiques et stylistiques (par exemple, l'utilisation d'acronymes et de termes techniques) pour que les plongements lexicaux généraux ne soient pas en mesure de les représenter efficacement. Dans le cadre de cette thèse, nous explorons comment différents types de ressources peuvent être exploités afin soit d’entraîner de nouveaux plongements spécialisés, soit de spécialiser davantage des représentations préexistantes. Plus précisément, nous étudions d'abord comment des corpus de textes peuvent être utilisés à cette fin. En particulier, nous montrons que la taille du corpus ainsi que son degré de similarité au domaine d’intérêt jouent un rôle important dans ce processus puis proposons un moyen de tirer parti d'un petit corpus du domaine cible afin d’obtenir de meilleurs résultats dans des contextes à faibles ressources. Ensuite, nous abordons le cas des modèles de type BERT et observons que les vocabulaires généraux de ces modèles conviennent mal aux domaines spécialisés. Cependant, nous montrons des résultats indiquant que des modèles formés à l'aide de tels vocabulaires peuvent néanmoins être comparables à des systèmes entièrement spécialisés et utilisant des vocabulaires du domaine du domaine, ce qui nous amène à la conclusion que le ré-entraînement de modèles du domaine général est une approche tout à fait efficace pour construire des systèmes spécialisés. Nous proposons également CharacterBERT, une variante de BERT capable de produire des représentations de mots entiers en vocabulaire ouvert via la consultation des caractères de ces mots. Nous montrons des résultats indiquant que cette architecture conduit à une amélioration des performances dans le domaine médical tout en étant plus robuste aux fautes d'orthographe. Enfin, nous étudions comment des ressources externes sous forme de bases de connaissances et ontologies du domaine peuvent être exploitées pour spécialiser des représentations de mots préexistantes. Dans ce cadre, nous proposons une approche simple qui consiste à construire des représentations denses de bases de connaissances puis à combiner ces ``vecteurs de connaissances’’ avec les plongements lexicaux cibles. Nous généralisons cette approche et proposons également des Modules d'Injection de Connaissances, de petites couches neuronales permettant l'intégration de représentations de connaissances externes au sein des couches cachées de modèles à base de Transformers. Globalement, nous montrons que ces approches peuvent conduire à de meilleurs résultats, cependant, nous avons l'intuition que ces performances finales dépendent en fin de compte de la disponibilité de connaissances pertinentes pour la tâche cible au sein des bases de connaissances considérées. Dans l'ensemble, notre travail montre que les corpus et bases de connaissances du domaine peuvent être utilisés pour construire de meilleurs plongements lexicaux en domaine spécialisé. Enfin, afin de faciliter les recherches futures sur des sujets similaires, nous publions notre code et partageons autant que possible nos modèles pré-entraînés.

Cet article soutient qu'une approche holistique de la modélisation computationnelle de la connaissance linguistique faciliterait le traitement automatique du langage naturel. Nous nous concentrons sur la question de la combinaision homogène de sources hétérogènes de connaissances linguistiques telles que syntaxe et sémantique lexicale au sein d'une unique structure de graphe. Nous présentons une architecture de réseau linguistique multi-couches qui aborde le problème. Nous proposons en particulier de connecter une couche de grammaire par dessus un réseau lexico-sémantique existant pour le français. La solution que nous présentons s'appuie sur les Grammaires de Propriétés pour modéliser la couche de grammaire comme une sorte de réseau de contraintes. Le réseau résultant doit permettre le traitement intégré et simultané des connaissances syntaxiques et sémantiques, contrairement à leur traitement séquentiel dans une architecture habituelle en cascade.

National audience; La compréhension des interactions génotype-phénotype est un des axes les plus importants de la recherche en agronomie dont l'un des objectifs est d'accélérer la reproduction des caractères importants pour la production agricole. Or ces interactions sont complexes à identifier car elles s'expriment à différentes échelles moléculaires dans la plante et subissent de fortes influences de la part des facteurs environnemen-taux. Les technologies d'analyse haut-débit ne permettent de capturer que partiellement cette dynamique. Même si ces technologies sont de plus en plus performantes dans l'acquisition de données, notre connais-sance du système reste encore parcellaire pour pouvoir comprendre les relations complexes existant entre les différents éléments moléculaires responsables de l'expression du phénome-ensemble des phénotypes observés pour un individu-. Cet objectif ne peut être atteint qu'en intégrant des informations de différents niveaux dans un modèle intégrateur utilisant une approche systémique afin de comprendre le fonctionnement réel d'un système biologique. Aujourd'hui, le Web sémantique propose des technologies pour l'intégration de données hétérogènes et leur transformation en connaissances explicites grâce aux ontologies. Nous avons développé AgroLD (Venkatesan et al., 2018) (Agronomic Linked Data-www.agrold.org), une base de connaissances reposant sur les technologies du Web sémantique et exploitant des ontologies du domaine biologique, afin d'intégrer des données issues de plusieurs espèces de plantes présentant un intérêt important pour la communauté scientifique, comme par exemple le riz, le blé et arabidopsis. Nous présentons les résultats du projet, qui portait initialement sur la génomique, la protéomique et la phénomique. AgroLD est aujourd'hui une base de plus de 100 millions de triplets créée à partir de plus de 50 jeux de données provenant d'une dizaine de sources de données, telles que Gramene (Tello-Ruiz et al., 2018) et TropGeneDB (Hamelin et al., 2012). Par ailleurs, nous avons utilisé une dizaine d'ontologies du domaine biologique, telles que Gene Ontology (The Gene Ontology Consortium, 2014) et Plant Ontology (Plant & Consortium, 2002) pour annoter et intégrer ces ressources. Pour cette phase, chaque jeu de données a été transformé à partir de sources sélectionnées et annotées sémantiquement en réutilisant les champs textuels correspondant avec des termes d'ontologies lorsqu'ils ont été fournis par la source d'origine. De plus, nous avons utilisé les services Web d'AgroPortal (Jonquet et al., 2018) pour annoter sémantiquement des éléments supplémentaires tels que par exemple, les URIs correspondant à la taxonomie des espèces ou des éléments d'anatomie. Dans ces cas, nous avons généré des propriétés supplémentaires à partir des ontologies correspondantes, ajoutant ainsi 22% de triplets supplémentaires qui ont été validés manuellement. L'objectif d'AgroLD est d'offrir une plate-forme de connaissances spécifiques du domaine agronomique afin de répondre à des questions biologiques complexes. De telles questions peuvent concerner le rôle de gènes spécifiques dans les mécanismes de résistance aux maladies des plantes ou de caractères de production identifiés à partir des analyses GWAS. Afin de rendre AgroLD accessible par un plus grand nombre d'uti-lisateurs, nous avons également développé une application Web proposant plusieurs interfaces de requêtes. Tout d'abord une interface simple qui permet aux utilisateurs de rechercher par mots-clés sur l'ensemble des valeurs de la base et ainsi de parcourir le contenu d'AgroLD. Puis une interface de recherche avancée qui permet de combiner du texte libre et des filtres à facettes ainsi que des services Web externes proposant ainsi une interface d'agrégation de données distribuées. AgroLD possède également une interface de visualisation des graphes qu'il est possible de configurer pour mettre en valeur certains types de relations. Finalement, un éditeur SPARQL propose un environnement interactif pour formuler des requêtes et manipuler des ré-sultats. Actuellement, de nouveaux jeux de données sont en cours d'intégration. Ils portent sur les réseaux d'interaction protéine-protéine, les facteurs de transcription et réseaux de co-expression afin d'étendre les connaissances sur les mécanismes moléculaires. De nombreux développements sont également réalisés au niveau des interfaces de requêtes, notamment au niveau de la visualisation des graphes afin de fournir des outils plus dynamiques, interactifs et contextualisés. Enfin, une attention particulière est portée sur la qualité des données intégrées. Des méthodes de liage et de machine learning sont développées pour rechercher des liens et des ressources similaires dans la base de connaissances ou dans des ressources externes.

National audience; L’un des succès incontestés du Web sémantique est la construction d’énormes bases de connais-sances. Plusieurs travaux récents utilisent ces bases de connaissances pour découvrir de nouvelles connais-sances en calculant des statistiques ou en déduisant des règles à partir des données. Par exemple, selonDBpedia, 99% des villes du Yémen ont une population de plus de 1 000 habitants. Nous pourrions donc enconclure que les villes yéménites ont généralement plus de 1 000 habitants. Mais est-ce vrai dans le monderéel ? Naturellement, la fiabilité de cette affirmation dépend de la qualité de la base de connaissances, à savoirde l’exactitude des faits et de leur complétude. Il est bien connu que les bases de connaissances sont trèsincomplètes. Ce n’est généralement pas un problème en statistique et en apprentissage automatique, où il estrare d’avoir une description complète de l’univers à étudier. La plupart des approches fonctionnent sur unéchantillon de données. Dans de tels cas, il est crucial que cet échantillon soitreprésentatifde tout l’univers(ou du moins que le biais de cet échantillon soit connu). Par exemple, le fait que la base de connaissances necontienne que la moitié des villes du Yémen ne pose pas de problème si leur répartition entre les différentestailles correspond à peu près à la répartition du monde réel.Malheureusement, il n’est pas évident a priori de savoir si une base de connaissances est représentative dumonde réel. Par exemple, plusieurs bases de connaissances volumineuses, telles que DBpedia ou YAGO,extraient leurs données depuis Wikipedia. Wikipedia, à son tour, est un ensemble de données issues d’uneproduction participative (crowdsourcing). Dans le crowdsourcing, les contributeurs ont tendance à indiquerles informations qui les intéressent le plus. En conséquence, Wikipedia présente des biais culturels. Demême, Wikidata est le résultat du crowdsourcing et peut présenter des biais similaires. En particulier, il estprobable que des pays tels que le Yémen soient moins bien couverts que des pays tels que la France, en raisonde la population des contributeurs. Même si les informations contenues dans ces bases de connaissancessont correctes, elles ne sont pas nécessairement représentatives. Si nous savions à quel point une base deconnaissances est représentative, nous pourrions alors savoir s’il est raisonnable ou non de l’exploiter pourcalculer des statistiques. Une telle indication devrait, par exemple, nous empêcher de tirer des conclusionshâtives sur la répartition de la population dans les villes du Yémen. Mais, comment estimer si une base deconnaissances est représentative ou non ?Souletet al.(2018) proposent d’étudier la représentativité des bases de connaissances à l’aide de la loi deBenford généralisée. Cette loi paramétrée indique la distribution de fréquence attendue par le premier chiffresignificatif dans de nombreux jeux de données numériques du monde réel. Nous utilisons cette loi commeréférence pour estimer la quantité de données manquante dans la base de connaissances. Plus précisément,nous présentons une méthode pour calculer une borne inférieure pour le nombre de faits manquants pourqu’une relation soit représentative. Cette méthode fonctionne dans un contexte supervisé (où la relation estconnue pour satisfaire la loi de Benford généralisée) et dans un contexte non supervisé (où le paramètrede la loi doit être déduit des données). Nous prouvons que, sous certaines hypothèses, les bornes inférieurescalculées sont correctes aussi bien pour le contexte supervisé que non supervisé. Nous montrons avec des ex-périences sur de véritables bases de connaissances que notre méthode est efficace à la fois pour les contextessupervisés et non supeervisés. La méthode non supervisée, en particulier, nous a permis d’auditer 63% desfaits de DBpedia.

National audience; More and more knowledge bases are being developed in the field of environment and life. The challenge of this work is to make knowledge accessible to users with various concerns. Our case study deals with a knowledge base containing 30 000 descriptions of plant use in Africa, that are alternatives to synthetic pesticide and antimicrobial. In this paper, we propose a system architecture to explore and navigate within knowledge using formal concept analysis and present a new algorithm that reveals a new plant use in a context different from the initial use.; De plus en plus de bases de connaissances sont développées dans le domaine de l'envi-ronnement et du vivant. L'enjeu de ce travail est de rendre ces connaissances accessibles à des utilisateurs ayant des préoccupations variées. Notre cas d'étude concerne une base de connais-sances rassemblant environ 30 000 descriptions d'usage de plantes en Afrique, à effet pesticide, antimicrobien et antiparasitaire de synthèse. Dans cet article, nous proposons une architecture de système pour explorer et naviguer dans les connaissances grâce à l'analyse de concepts for-mels et proposons un nouvel algorithme faisant émerger un nouveau contexte d'emploi d'une plante dans un cas d'utilisation.

International audience; Un problème lié à l'exploitation de graphe de connaissances, en particulier lors de traitements avec des méthodes d'apprentissage automatique, est le passage à l'échelle. Nous proposons ici une méthode pour réduire significativement la taille des graphes utilisés pour se focaliser sur une partie utile dans un contexte d'usage donné. Nous définissons ainsi la notion de graphe de contexte comme un extrait d'une ou plusieurs bases de connaissances généralistes (tels que DBpedia, Wikidata, Yago) qui contient l'ensemble d'informations pertinentes pour un domaine spécifique tout en préservant les propriétés du graphe d'origine. Nous validons l'approche sur un extrait de DBpedia pour des entités en lien avec le projet Data&Musée et le jeu de référence KORE selon deux aspects : la couverture du graphe de contexte et la préservation de la similarité entre ses entités.

International audience; Endogenous production of deductive rules in a lexical-semantic network With a lexical-semantic network, it is possible to discover rule inductively from known facts. These rules are instrumental in reducing missing information in the network. In order to minimize emergence of relations that could be erroneous, we approached the question of polysemy and a filtering on rules presenting exceptions is realized.; A partir d'un réseau lexico-sémantique, il est possible de générer des règles de façon inductive à partir des faits présents. Ces règles permettent de densifier le réseau et d'en réduire les silences. Afin de minimiser l'émergence de relations qui pourraient être erronées, la question de la polysémie est abordée et un filtrage sur les règles présentant des exceptions est réalisé.

International audience; Endogenous production of deductive rules in a lexical-semantic network With a lexical-semantic network, it is possible to discover rule inductively from known facts. These rules are instrumental in reducing missing information in the network. In order to minimize emergence of relations that could be erroneous, we approached the question of polysemy and a filtering on rules presenting exceptions is realized.; A partir d'un réseau lexico-sémantique, il est possible de générer des règles de façon inductive à partir des faits présents. Ces règles permettent de densifier le réseau et d'en réduire les silences. Afin de minimiser l'émergence de relations qui pourraient être erronées, la question de la polysémie est abordée et un filtrage sur les règles présentant des exceptions est réalisé.

International audience; In this paper, we study the impact of two notions of core on the output of ranking semantics in logical argumentation frameworks. We consider the existential rules fragment, a language widely used in Semantic Web and Ontology Based Data Access applications. Using burden semantics as example we show how some ranking semantics yield different outputs on the argumentation graph and its cores. We extend existing results in the literature regarding core equivalences on logical argumentation frameworks and propose the first formal characterisation of core-induced modification for a class of ranking semantics satisfying given postulates.

International audience; We consider the application setting where a domain-specific knowledge base about Durum Wheat has been constructed by knowledge engineers who are not experts in the domain. This knowledge base is prone to inconsistencies and incompleteness. The goal of this work is to show how the state of the art knowledge representation formalism called Datalog± can be used to cope with such problems by (1) providing inconsistency-tolerant techniques to cope with inconsistency, and (2) providing an expressive logical language that allows representing incomplete knowledge.

National audience; Ce travail contribue à montrer l'intérêt d'exploiter la structure des documents accessibles sur le Web pour enrichir des bases de connaissances sémantiques. En effet, ces bases de connaissances jouent un rôle clé dans de nombreuses applications du TAL, Web sémantique, recherche d'information, aide au diagnostic, etc. Dans ce contexte, nous nous sommes intéressés ici à l'identification des relations d'hyperonymie présentes dans les pages de désambiguïsation de Wikipédia. Un extracteur de relations d'hyperonymie dédié à ce type de page et basé sur des patrons lexico-syntaxiques a été conçu, développé et évalué. Les résultats obtenus indiquent une précision de 0.68 et un rappel de 0.75 pour les patrons que nous avons définis, et un taux d'enrichissement de 33% pour les deux ressources sémantiques BabelNet et DBPédia.

International audience

International audience; In this paper we present a prototype of a framework called dalek (DiALectical Explanation in Knowledge-bases). This framework implements dialectical approaches to explain query answers in inconsistent knowledge bases. The motivation behind the prototype is as follows: given an inconsistent knowledge base represented within Datalog +/-, a semantics for handling inconsistency and a query Q, the goal is to explain why Q is accepted or not accepted under such semantics. The explanation takes a dialogical form (cf. [1,3]).

International audience; This chapter proposes an approach to generate predictions for decision support issues. It relies on case-based and reconciliation methods, using an ontology. The objective of the chapter is to provide an overview of the state of the art, but also to describe the proposed method and to illustrate it on a concrete application. In this approach, a reconciliation stage identifies groups of rules expressing a common experimental tendency. A prediction stage generates new rules, using both experimental tendencies obtained in the previous stage and new experimental descriptions. The method has been tested within a case study concerning food quality management. It has been compared to a classic predictive approach, leading to promising results in terms of accuracy, completeness and error rate.

International audience; In recent years, artificial intelligence tools have democratized and are increasingly used by people who are not experts in the field. These artificial intelligence tools, like rule-based or constraint-based systems require the input of human expertise to replicate the desired reasoning. Despite the explosion of new devices and new input paradigms, such as tablets and other touch interfaces, it seems that the usability of these tools have not taken advantage of these recent advances. In this article, we illustrate our concept with the rule edition in a fuzzy expert system. The special feature of fuzzy logic is that these rules look closer to natural language than classical logic. We present our work that involves the use of new touch interfaces to edit a fuzzy rule base with one finger. We end this section by the evaluation of the interface with a user panel.; Au cours de ces dernières années, les outils d'intelligence artificielle se sont démocratisés et sont de plus en plus sou-vent utilisés par des personnes qui ne sont pas expertes du domaine. Parmi ces outils d'intelligence artificielle, les systèmes à base de règles ou de contraintes nécessitent la saisie de l'expertise humaine afin de reproduire le comporte-ment souhaité. Malgré l'explosion des nouveaux périphé-riques et de nouveaux paradigmes de saisie, comme les tablettes et autres interfaces tactiles, l'ergonomie de ces outils semble ne pas avoir profité de toutes ces avancées récentes. Dans cet article, nous prenons l'exemple d'un système expert flou pour lequel il faut rédiger des règles. La particu-larité de la logique floue est que ces règles sont construites d'une manière plus proche du langage naturel qu'en lo-gique classique. Nous présentons notre travail qui consiste en l'exploitation des nouvelles interfaces tactiles afin de rédiger une base de règles floues avec un seul doigt. Nous terminons cet article par l'évaluation de l'interface auprès d'un panel d'utilisateurs.

International audience; Grâce au Linked Open Data, les sources RDF mises à disposition sur le Web sont de plus en plus nombreuses. Cependant, ces sources contiennent relativement peu d'information par comparaison au volume d'informations contenues dans les documents semi-structurés. De nombreux outils ont pour objectif d'annoter sémantiquement ces documents mais l'extraction de relations reste une tâche particulièrement difficile quand la structure et le vocabulaire des documents sont hétérogènes. Nous proposons une approche permettant d'enrichir et d'interroger une ou plusieurs bases de connaissances RDF/OWL en exploitant un ensemble de documents sémantiquement annotés. Ces bases sont enrichies par des instances de relations incertaines inférées à partir de la structure des documents, des ontologies et des faits présents dans les bases de connaissances. Une requête SPARQL formulée dans le vocabulaire du domaine est reformulée afin de combiner les faits issus des différentes bases et de trier les réponses en fonction de poids assignés. L'approche a été expérimentée sur des documents HTML et des bases de connaissances issues du Linked Open Data. Les résultats montrent que 63,3% des relations trouvées sont nouvelles avec une précision atteignant 62%.

National audience; Rose Dieng-Kuntz, deuxième femme responsable d’une équipe de recherche à l’INRIA, était avant tout passionnée par son domaine de recherche : les systèmes d’acquisition, de gestion et de partage des connaissances.

International audience; Le but de ce papier est de présenter le concept de scénario en général et de l’appliquer à l’analyse de la sécurité des systèmes de transport guidés. Nous définissons un scénario comme une succession d’étapes, un concours de circonstances qui décrit une réalisation possible dans l’espace et dans le temps. L’utilité du concept de scénario réside surtout dans son caractère dynamique qui traduit une évolution d’une situation de départ vers une situation finale caractérisant son achèvement.La méthodologie proposée doit être dans un premier temps étayée en rendant plus explicite ses différentes phases. Dans un deuxième temps, cette méthodologie devraient être confortée. Pour cela, une étude ciblée sur les domaines autre que l’analyse de sécurité des systèmes de transport ferroviaire doit être menée. La tâche de vérification et de test ou la tâche de diagnostic pourraient être des champs d’application de la méthodologie de capitalisation. Cette étude permettrait de mieux situer le concept de scénario : de valider le modèle de représentation de scénario proposé et de vérifier sa généralité. Elle permettrait aussi de valider la méthodologie proposée et son applicabilité à plusieurs secteurs d’activité.

International audience

International audience