Search

National audience; Les sites de questions-réponses permettent aux utilisateurs, qui partagent les mêmes intérêts, d'échanger des connaissances dans le cadre d'un processus d'apprentissage continu. En particulier, la plateforme Stack Overflow soutient des communautés de pratique où : (a) la majorité du contenu est produit par un petit nombre de membres très actifs ; (b) les réponses aux questions les plus récurrentes sont rapidement capitalisées. Nous proposons un modèle centré individus d'une communauté de pratique présentant une dynamique sociale conforme à ces faits stylisés et qui explique le phénomène de sécession des experts.

International audience; The VAGO tool is an expert system for lexical vagueness detection that also measures the degree of subjectivity of the speech, as well as its level of detail. In this paper, we build a neural clone of VAGO, based on a BERT-like architecture, trained on symbolic VAGO scores on a French press corpus (FreSaDa). The qualitative and quantitative analysis shows the fidelity of the neural version. By exploiting explainability tools (LIME), we then show the interest of this neural version for the enrichment of the lexicons of the symbolic version, and for the production of versions in other languages.; L'outil VAGO est un système expert de détection du vague lexical qui mesure aussi le degré de subjectivité du discours, ainsi que son niveau de détail. Dans cet article, nous construisons un clone neuronal de VAGO, fondé sur une architecture de type BERT, entraîné à partir des scores du VAGO symbolique sur un corpus de presse française (FreSaDa). L'analyse qualitative et quantitative montre la fidélité de la version neuronale. En exploitant des outils d'explicabilité (LIME), nous montrons ensuite l'intérêt de cette version neuronale d'une part pour l'enrichissement des lexiques de la version symbolique, et d'autre part pour la production de versions dans d'autres langues.

Le 21 septembre 2021, l’Assemblée nationale du Québec a adopté le projet de loi 64 afin de moderniser son régime de protection des renseignements personnels. S’inspirant du Règlement Général sur la Protection des Données européen, ce projet de loi renforce substantiellement les obligations des entreprises privées et des organismes publics à l’égard des renseignements personnels des Québécois. Ce projet de loi assure également le respect de certains principes juridiques applicables aux systèmes d’intelligence artificielle. Or, dans le cadre de ce mémoire, nous démontrons que des tensions existent entre quatre de ces principes. Ces principes sont : le principe d’explicabilité, le principe d’exactitude, le principe de sécurité ainsi que le principe d’équité et de non-discrimination. En effet, il est souvent difficile et parfois impossible d’assurer un respect conjoint de ces quatre principes. La présente étude se divise en trois chapitres. Le premier explore les quatre principes pour ensuite identifier les obligations légales québécoises qui permettent d’en assurer le respect. Le second expose les tensions entre ces principes. Le dernier propose une solution permettant aux entreprises et aux organismes publics québécois de réaliser les arbitrages nécessaires entre ces principes tout en respectant la Loi., On September 21, 2021, the Quebec legislative passed Bill 64 to modernize its privacy regime. Inspired by the European General Data Protection Regulation, this bill strengthens the obligations of private companies and public bodies with respect to personal data. This bill also provides obligations protecting normative principles applicable to artificial intelligence systems. In this paper, we show that four of these principles exist in a state of tension. These principles are : explicability, accuracy, security and fairness and non-discrimination. Indeed, it is often difficult and sometimes impossible to ensure that these principles are respected together. This study is divided into three parts. The first part defines the four principles to then identifies how these principles are translated into Quebec law. The second part sets out the tensions between these principles. The last part provides a solution that would allow Quebec businesses and public bodies to make the necessary trade-offs between these principles in a matter that complies with their legal obligations.

National audience; Cet ouvrage contient les contributions sélectionnées et présentées lors de la trente-et-unième édition des Journées Francophones sur les Systèmes Multi-Agents (JFSMA) qui se déroule à Strasbourg, du 5 au 7 juillet 2023, dans le cadre de la Plate-Forme Intelligence Artificielle (PFIA 2023).

International audience; Cette article présente une méthode d'exploration de documents basée sur la création d'un ensemble synthétique de questions et de réponses portant sur le corpus, ensemble qui est ensuite utilisé pour établir des liens explicables entre les documents. Nous menons une évaluation quantitative et qualitative des questions automatiquement générées en termes de leur forme et de leur pertinence pour l'exploration de la collection. De plus, nous présentons une étude quantitative des liens obtenus grâce à notre méthode sur une collection de document provenant d'archives numérisés.

L'auteur a souhaité limiter l'accès aux membres de l'Enseignement supérieur français.; Recommendation is the act of filtering information to target items (resources) that may be of interest to one or more users. In the context of digital textbooks, items are educational resources (lesson, exercise, chapter, video and others). This task can be seen as processing a large search space that represents the set of possible recommendations. Depending on the context of the recommendation, a recommendation can take different forms such as items, itemsets or item sequences.Note that recommender environments can be subject to a number of randomness and recommendation constraints.In this thesis, we are interested in the recommendation of itemsets (also called vectors or solutions) by metaheuristics.The issues of this thesis are interested in the influence of exploration and exploitation, in data reduction and in the explicability of exploration and exploitation.; La recommandation est le fait de filtrer des informations afin de cibler des éléments (items, ressources) susceptibles d'intéresser un ou plusieurs utilisateurs. Dans le cadre des manuels scolaires numériques, les items sont des ressources éducatives (leçon, exercice, chapitre, vidéo et autres). Cette tâche peut être vue comme le traitement d'un vaste espace de recherche qui représente l'ensemble des recommandations possibles. Selon le contexte de la recommandation, une recommandation peut prendre différentes formes telles que des items, des ensembles d'items (itemsets) ou des séquences d'items. Notons que les environnements de recommandation peuvent être soumis à de nombreux aléas et contraintes de recommandation. Dans ce travail de thèse, nous nous intéressons à la recommandation d'itemsets (également appelés vecteurs ou solutions) par les métaheuristiques. Les problématiques de cette thèse s'intéressent à l'influence de l'exploration et de l'exploitation, à la réduction de données ainsi qu'à l'explicabilité de l'exploration et de l'exploitation.

We are interested in the development of autonomous and explainable artificial intelligence for uncertain environments. The tasks to be solved by artificial intelligences, and more particularly by machine learning algorithms, are increasingly complex: they must be able to adapt and co-evolve autonomously with complex, changing and uncertain environments that reflect our daily environment. Meanwhile, it is increasingly necessary to be able to explain the behavior of these algorithms, as they could make critical decisions that could have a major impact on an individual's life. To meet this double objective, the concepts of autonomy and explainability of artificial intelligences, as well as environmental uncertainty, have been framed to guide our design choices towards an intrinsically explainable machine learning algorithm such as rule-based approaches, and then towards anticipatory learning classifier systems. We then developed new anticipatory learning classifier systems to strengthen their ability to evolve autonomously and in an explainable way in uncertain environments. The capacities of each of these anticipatory learning classifier systems were evaluated through a carefully designed experimental evaluation protocol. This protocol enabled us to control the uncertainty of the environments to highlight the capabilities of the anticipatory learning classifier systems we devised. We also designed an algorithm dedicated to the extraction of knowledge that is specific to anticipatory learning classifier systems, capable of reinforcing the inherent explainability of these systems, without degrading their learning capacities and autonomy.; Nous nous sommes intéressés au développement d'une intelligence artificielle autonome et explicable pour des environnements incertains. Les tâches à résoudre par les intelligences artificielles, et plus particulièrement par les algorithmes d'apprentissage automatique, sont de plus en plus complexes : ils doivent pouvoir s'adapter et co-évoluer en autonomie avec des environnements complexes, changeants et incertains qui sont à l'image de nos environnements quotidiens. Dans le même temps, il est de plus en plus nécessaire de pouvoir expliquer les comportements de ces algorithmes, ceux-ci pouvant être amenés à prendre des décisions critiques dans des situations qui peuvent profondément impacter la vie d'un individu. Pour répondre à ce double objectif, les concepts d'autonomie et d'explicabilité des intelligences artificielles, ainsi que d'incertitude environnementale, ont été cadrés afin de guider nos choix de conception d'une intelligence artificielle d'abord vers un algorithme d'apprentissage automatique intrinsèquement explicable comme les approches à base de règles, puis vers les systèmes de classeurs à anticipation. Nous avons alors mis en place de nouveaux systèmes de classeurs à anticipation dont le but était de renforcer leurs capacités à évoluer en autonomie et de manière explicable dans des environnements incertains. Les capacités de chacun de ces systèmes de classeurs à anticipation ont été évaluées au travers d'un protocole d'évaluation expérimental que nous avons conçu. Ce protocole expérimental nous a notamment permis d'agir sur l'incertitude des environnements pour mettre en avant les capacités des systèmes de classeurs à anticipation que nous avons développés. Nous avons également conçu un algorithme d'extraction des connaissances propre aux systèmes de classeurs à anticipation capable de renforcer l'explicabilité inhérente à ces systèmes, sans détériorer leurs capacités d'apprentissage et leur autonomie.

International audience; Jacovi et al. in 2018 proposed a method for the explanation of Convolutional Neural Networks designed for text classification (Text-CNN). The problem with this method is that it only applies to Text-CNN with no hidden layer in the fully connected part. We will therefore find ourselves limited in terms of accuracy if we want to use this method. In addition, the LRP (Layer-wise Relevance Propagation) method makes it possible to compute the contributions of inputs of neural networks with multiple hidden layers, but cannot be applied directly to Text-CNNs because unlike images where each pixel has a meaning taken alone, each component of a vector representation (word embedding) of a word taken alone has no particular meaning. Therefore, we propose in this article to extend the method of Jacovi et al. by using the LRP method in order to be able to explain Text-CNN whose fully connected layer is deep. The qualitative evaluation suggests that the explanations provided by the proposed method are consistent on text classification problems such as Question-Answering (QA) and Sentiment Analysis. Moreover, the quantitative evaluation shows that the explanations provided are 100% faithful to the model.; Jacovi et al. en 2018 ont proposé une méthode pour l'explication des Réseaux de Neurones Convolutifs conçus pour la classification des textes (Text-CNN). Le problème avec cette méthode est qu'elle ne s'applique que sur les Text-CNN qui n'ont pas de couche cachée dans la partie densément connectée. On se retrouvera donc limité en terme de performance si on veut utiliser cette méthode d'explication. Par ailleurs, la méthode LRP (Layer-wise Relevance Propagation) permet de calculer les contributions des caractéristiques en entrée des réseaux de neurones avec un nombre quelconque de couches cachées, mais ne peut s'appliquer directement sur les Text-CNN car contrairement aux images où chaque pixel a un sens pris seul, chaque composante d'une représentation vectorielle (word embedding) d'un mot prise seule n'a pas de signification particulière. C'est ainsi que nous proposons dans cet article, d'étendre la méthode de Jacovi et al. en mettant à contribution la méthode LRP afin de pouvoir expliquer les Text-CNN dont la partie densément connectée est profonde (possède plusieurs couches). L'évaluation qualitative laisse percevoir que les explications fournies par la méthode proposée sont cohérentes sur les problèmes de classification des textes comme le Question-Answering (QA) ainsi que l'analyse des sentiments. Par ailleurs, l'évaluation quantitative montre que les explications fournies sont fidèles à 100% au modèle.

This thesis, written for the qualification of Doctor of Philosophy in Computer Science, studies the question of the individual importance of actions in sequential decision-making, through the lens of Reinforcement Learning, and with diverse applications.An important finding of this work is that two seemingly different open problems in Reinforcement Learning, namely the credit assignment problem and explainability, have partial solutions that involve similar tools that can all be viewed as the estimation of particular forms of action importance.Several algorithms that suit different forms of action importance are proposed and studied from a theoretical point of view, empirically, or both.; Cette thèse, écrite pour l'obtention du doctorat en Informatique, étudie la question de l'importance individuelle des actions dans la prise de décision séquentielle, via le prisme de l'Apprentissage par Renforcement, avec diverses applications.Une découverte importante de ce travail est que deux problèmes ouverts en apparence distincts en Apprentissage par Renforcement, à savoir le problème d'assignation de crédit et l'interprétabilité, ont des solutions partielles qui impliquent des outils communs qui peuvent être vus comme des estimations de formes particulières d'importance des actions.Des algorithmes qui correspondent à des formes distinctes d'importance des actions sont proposées et étudiées empiriquement, d'un point de vue plus théorique, ou les deux.

National audience; Avec l’essor du Web sémantique au cours des deux dernières décennies est apparu un besoin en outils permettant de construire des graphes de connaissances de bonne qualité. Cet article présente mon travail de thèse, qui est la conception d’une méthode explicable et centrée-utilisateur pour la production semi-automatisée de graphes de connaissances à partir de textes spécifiques à un domaine. Ce système se présente initialement comme une interface d’édition guidée de RDF. Puis, se basant sur les actions de l’utilisateur, un système de suggestion de triplets se met en place. Enfin, à travers des interactions avec l’utilisateur, le système automatise progressivement le processus. Après avoir présenté le workflow du système et détaillé les unités qui le compose – une unité de prétraitement, une unité interactive et une unité automatisée - cet article documente les aspects de ce workflow déjà implémentés, ainsi que les résultats de leur évaluation.

National audience; Ce travail présente deux séries d’expériences visant à identifier les flux d’information dans les systèmes de traduction neuronaux. La première série s’appuie sur une comparaison des décisions d’un modèle de langue et d’un modèle de traduction pour mettre en évidence le flux d’information provenant de la source. La seconde série met en évidence l’impact de ces flux sur l’apprentissage du système dans le cas particulier du transfert de l’information de genre.

National audience; Nous étudions la plausibilité d’un mécanisme d’attention pour une tâche d’inférence de phrases (entailment), c’est-à-dire sa capacité à fournir une explication plausible pour un humain de la relation entre deux phrases. En s’appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a été montré que les poids d’attention sont peu plausibles en pratique et tendent à ne pas se concentrer sur les tokens importants. Nous étudions ici différentes approches pour rendre les poids d’attention plus plausibles, en nous appuyant sur des masques issus d’une analyse morphosyntaxique ou sur une régularisation pour forcer la parcimonie. Nous montrons que ces stratégies permettent d’améliorer sensiblement la plausibilité des poids d’attention et s’avèrent plus performantes que les approches par carte de saillance.

National audience; With the rise of the Semantic Web over the last two decades, there has been a need for tools to build good quality knowledge graphs. This paper presents my thesis work, which is the design of an explainable, user-centered method for the semi-automated production of knowledge graphs fromdomain-specific texts. This system is initially presented as a guided RDF editing interface. Then, based on the user’s actions, a triplet suggestion system is implemented. Finally, through interactions with the user, the system gradually automates the process. After presenting the workflow of the system, and detailing the units that compose it - a pre-processing unit, an interactive unit and an automated unit - this article details the aspects of this workflow already implemented, as well as the results of their evaluation.; Avec l’essor du Web sémantique au cours des deux dernières décennies est apparu un besoin en outils permettant de construire des graphes de connaissances de bonne qualité. Cet article présente mon travail de thèse, qui est la conception d’une méthode explicable et centrée-utilisateur pour la production semi-automatisée de graphes de connaissances à partir de textes spécifiques à un domaine. Ce système se présente initialement comme une interface d’édition guidée de RDF. Puis, se basant sur les actions de l’utilisateur, un système de suggestion de triplets se met en place. Enfin, à travers des interactions avec l’utilisateur, le système automatise progressivement le processus. Après avoir présenté le workflow du système et détaillé les unités qui le compose – une unité de prétraitement, une unité interactive et une unité automatisée - cet article documente les aspects de ce workflow déjà implémentés, ainsi que les résultats de leur évaluation.

My CIFRE thesis is a continuation of the theses conducted by Tsirizo Rabenoro (Rabenoro, 2015), Cynthia Faure (Faure, 2018), Florent Forest (Forest, 2021). The objective of this thesis is to develop a methodology to understand and highlight specific typologies of aircraft engine operation during reception tests carried out on test benches, and to help Safran Aircraft Engines' engineers in the design of their engines.From a theoretical point of view, the main challenge of this thesis is to model and explain the observed and unobserved physical phenomena using statistical methods and to interpret the cause using a (small) part of the explanatory variables. This work is therefore placed in the supervised and unsupervised framework, with a strong constraint, that of constructing interpretable models: we seek to indicate the contribution of each variable to the construction of the model, which is what we call measuring the importance of the variables. In addition, we seek to improve interpretability by constructing parsimonious models, i.e. such that the variables which do not contribute to their construction are excluded. In the unsupervised framework, methods for partitioning groups of observations, or \textit{clustering} methods, will be studied. The solution we are looking for must be able to be used in high dimension, must be interpretable and must be able to take into account the group structure of the variables. This type of method is known as sparse clustering methods. In the supervised framework, we propose methods modelling a phenomenon described by continuous (respectively categorical) variables, i.e. regression (respectively classification) methods. The same constraints are imposed as in the unsupervised case (handling high dimensional data, being sparse, indicating the importance of the variables, taking into account the group structures of the variables). Moreover, let us note that we want to model a physical phenomenon with the aim of explaining its principles and that we are therefore not (directly) interested in the predictive aspects. This point is extremely important because we will see that explaining a phenomenon and explaining the prediction of the associated model are two goals that can be contradictory.A specific feature of sparse algorithms is that they depend on a parameter to be adjusted (in the same way as clustering methods). Different values of this parameter give rise to different models and it is necessary to choose between all these models. Thus, it is essential to have an efficient model selection method. It must be emphasised that model selection is a major challenge in unsupervised clustering. Indeed, there is no universally accepted method to evaluate clustering results for the obvious reason that there is no ground truth against which the results can be compared. This is also the case when one is interested in variable selection (sparse models) and variable importance, even in the supervised framework, as one never has the set of variables and the variable importance defining the underlying phenomenon under study.; Mon travail de thèse CIFRE s’inscrit dans la continuité des thèses menées par Tsirizo Rabenoro (Rabenoro,2015), Cynthia Faure (Faure, 2018), Florent Forest (Forest, 2021). L’objectif de cette thèse est de développer une méthodologie pour comprendre et mettre en évidence des typologies spécifiques du fonctionnement des moteurs d’avion lors de tests de réception effectués sur des bancs d’essai, et d’aider les ingénieurs métier de Safran Aircraft Engines dans l’analyse des résultats.Du point de vue théorique, l'enjeu principal de ce travail de thèse est de modéliser et expliquer les phénomènes physiques observés et non observés à l'aide de méthodes statistiques et d'en interpréter la cause à l'aide d'une (petite) partie des variables explicatives. Ce travail se place donc dans le cadre supervisé et non supervisé, avec une contrainte forte, celle de construire des modèles interprétables: on cherche à indiquer la contribution de chaque variable à la construction du modèle, c'est ce que l'on appelle mesurer l'\emph{importance des variables}. En outre, on cherche à améliorer l'interprétabilité en construisant des modèles parcimonieux ou \emph{sparses} en anglais, c'est-à-dire tels que les variables qui ne contribuent pas à leur construction en soient exclues. Dans le cadre non supervisé, des méthodes de partitionnement de groupes d'observations, ou méthodes de \textit{clustering} en anglais, vont être étudiées. La solution que nous cherchons doit pouvoir s'utiliser en grande dimension, doit être interprétable et elle doit pouvoir tenir compte de la structure de groupes des variables. Ce type de méthode est connu sous le nom de méthodes de clustering sparse. Dans le cadre supervisé, nous proposons des méthodes modélisant un phénomène décrit par des variables continues (respectivement catégorielles), c'est-à-dire des méthodes de régression (respectivement de classification). On impose les mêmes contraintes que dans le cas non supervisé (gérer des données de grande dimension, être sparse, indiquer l'importance des variables, tenir en compte des structures de groupes de variables). Par ailleurs, remarquons que nous voulons modéliser un phénomène physique dans le but d'en expliquer les principes et donc que nous ne sommes pas (directement) intéressés par les aspects prédictifs. Ce point est extrêmement important car nous verrons qu'expliquer un phénomène et expliquer la prédiction du modèle associé sont deux buts qui peuvent être contradictoires.Une caractéristique propre aux algorithmes sparses est qu'ils dépendent d'un paramètre à ajuster (au même titre que les méthodes de clustering). Différentes valeurs de ce paramètre donnent naissance à différents modèles et il est nécessaire de choisir entre tous ces modèles. Ainsi, il est primordial de disposer d'une méthode de sélection de modèle efficace. Il faut insister sur le fait que la sélection de modèle est un défi majeur en clustering non supervisé. En effet, il n'existe pas de méthode universellement admise pour évaluer les résultats du clustering pour la raison évidente qu'il n'y a pas de vérité de terrain par rapport à laquelle les résultats pourraient être comparés. C'est aussi le cas lorsque l'on s'intéresse à la sélection de variables (modèles sparses) et à l'importance de variables, même dans le cadre supervisé, car on ne dispose jamais du \emph{vrai} ensemble de variables et des \emph{vraies} importances de variables définissant le phénomène sous-jacent étudié.

Ce papier décrit et justifie les choix qui ont été faits concernant l'implantation d'un modèle d'aide à la décision pour enseignant au sein d'un système d'évaluation formative. A partir d'une étude de la littérature, nous identifions des principes fondamentaux à l'explicabilité des systèmes d'enseignement et proposons des artefacts IHM qui mettent en oeuvre ces principes afin de rendre notre système explicable. L'évaluation de ces artefacts sera au coeur de nos prochains travaux. Mots-clés: Explicabilité • tableau de bord • aide à la décision

Since the seminal works of Ezrachi and Stucke (2015, 2016) on algorithmic collusion, the question of cartels supported or even prompted by pricing algorithms has occupied an important place in the literature of industrial economics and competition law. The purpose of this contribution is to analyze the extent to which monitoring algorithms to ensure the control and detection of possible algorithmic cartels themselves raise issues not only in the economic and legal fields but also in the ethical field. In this paper, we wish to analyze both the opportunities and the risks for competition authorities of the use of "algorithmic evidence" both at the level of the explicability of the result and of possible biases that may be introduced in the final result as well as at the level of their accountability to explain their decisions., Depuis les travaux séminaux d’Ezrachi et Stucke (2015, 2016) sur la collusion algorithmique, la question des ententes appuyées voire suscitées par des algorithmes de prix occupe une place importante dans la littérature d’économie industrielle et du droit de la concurrence. L’objet de cette contribution est d’analyser dans quelle mesure les algorithmes de surveillance pour assurer le contrôle et la détection d’éventuelles ententes algorithmiques soulèvent eux-mêmes des enjeux non seulement dans les champs économiques et juridiques mais également éthiques. Dans cet article, nous souhaitons analyser à la fois les opportunités et les risques pour les autorités de la concurrence de l’utilisation d’une « preuve algorithmique » que ce soit au niveau de l’explicabilité du résultat et de possibles biais pouvant s’introduire dans le résultat final ainsi qu’au niveau de leur redevabilité pour expliquer leurs décisions.

International audience; Progress in machine learning, more recently accelerated by deep learning, now makes possible to build high-performance models for recognition or generation tasks. However, these models are complex, making it difficult to justify their predictions. To avoid a "black box" effect and for an interpretability reason, the Orpailleur team is interested in model explanations, a research field that is still recent.These explainers manage to spot biased predictions of some models (e.g., decisions mainly based on skin color). The discoveries of the Orpailleur team show that it is possible to make predictions fairer (we generally talk about "fairness") thanks to ensemble methods and variable dropping, without altering the models performance. We particularly focus here on the specific case of textual data, as well as on an adaptation to deep learning models which hold a prominent place in natural language processing.Secondly, we will use these explainers on antibiotic classification models in order to determine how such a classifier reaches the conclusion that a molecule has antibiotic properties. This work will lead to the creation of an interactive web interface to highlight the important patterns learned by these models, through visualizations.; Les progrès en machine learning, plus récemment accélérés par le deep learning, permettent désormais de construire des modèles performants dans des tâches de reconnaissance ou de génération. Ces modèles sont cependant complexes, si bien qu'il devient difficile de justifier leurs prédictions. Pour éviter un effet « boîte noire » et dans un soucis d'interprétabilité, l'équipe Orpailleur s'intéresse aux explicateurs de modèles, un domaine de recherche encore récent.Ces explicateurs permettent, entre autres, de mettre en lumière les prédictions biaisées de certains modèles (exemple : décision principalement basée sur la couleur de peau). Les découvertes de l'équipe Orpailleur montrent qu'il est possible de rendre les prédictions plus justes (on parle généralement de « fairness ») grâce à des méthodes ensemblistes et de suppression de variables, sans altérer les performances des modèles. Nous nous intéressons plus particulièrement ici au cas spécifique des données textuelles, ainsi qu'à une adaptation aux modèles de deep learning qui occupent une place de premier choix dans le traitement automatique du langage.Dans un second temps, nous utilisons ces explicateurs sur des modèles de classification d'antibiotiques afin de déterminer comment un tel classificateur parvient à la conclusion qu'une molécule possède des propriétés antibiotiques. Ces travaux conduiront à la création d'une interface web interactive permettant de mettre en valeur les motifs importants appris par ces modèles, au travers de visualisations.

National audience; Nous sommes de plus en plus confrontés à des décisions prises par des algorithmes d'intelligence artificielle. Mais ces décisions prises par des machines sont souvent obscures et peuvent entraîner une certaine méfiance de l'utilisateur. Une piste envisagée pour augmenter la confiance est l'explicabilité des systèmes d’intelligence artificielle. Cette solution est apparemment séduisante, mais est-elle suffisante pour nous rassurer? Pas si simple...

National audience; Dans le domaine bancaire, la détection de fraudes doit être explicable et le modèle de décision compréhensible. Cela justifie un apprentissage direct de règles. CN2 et RIPPER sont comparés sur différents datasets.

The prospect of including artificial intelligence (AI) in clinical decision-making is an exciting next step for some areas of healthcare. This article provides an analysis of the available kinds of AI systems, focusing on macro-level characteristics. This includes examining the strengths and weaknesses of opaque systems and fully explainable systems. Ultimately, the article argues that “grey box” systems, which include some combination of opacity and transparency, ought to be used in healthcare settings., La perspective d’inclure l’intelligence artificielle (IA) dans la prise de décision clinique est une prochaine étape passionnante pour certains secteurs des soins de santé. Cet article propose une analyse des types de systèmes d’IA disponibles, en se concentrant sur les caractéristiques de niveau macro. Il examine notamment les forces et les faiblesses des systèmes opaques et des systèmes entièrement explicables. En fin de compte, l’article soutient que les systèmes de type «boîte grise», qui combinent opacité et transparence, devraient être utilisés dans le domaine des soins de santé.

In the current information overload context caused by the large volume of accessible digital data, recommender systems allow to guide the user in his/her learning, shopping, leisure, music listening, reading activities..., by suggesting personalized items. To do so, recommendation models predict users' preferences for their unrated items. Classical recommendation approaches, such as collaborative filtering, for example, rely on data collected through user feedback, usually in the form of a rating matrix, and try to discover relevant information to characterize and predict user tastes. In addition to the user feedback data, the knowledge related to items themselves also represents a major asset for improving the performance of recommendation systems. Knowledge engineering, more specifically the semantic Web and knowledge graphs, can play a central role. In this context, our research works propose different ways to improve recommendation systems, adopting a “from-data-to-knowledge” transversal vision, and consider three different recommendation aspects: accuracy, diversification and explicability.Our first contribution is mainly focused on pure user feedback data. It aims at improving the accuracy of recommendations in terms of the prediction of users’ tastes. We propose EBCR (Empirical Bayes Concordance Ratio), a simple and generic method inspired by Bayesian inference, which allows to adjust the similarity computations between users (or between items) in collaborative filtering, according to the number of co-rated items (or the number of users having rated the same item). Experiments conducted on benchmark datasets have confirmed that this method systematically improves the predictive accuracy of collaborative filtering for all considered similarity measures.Our second contribution concerns the diversification of recommendations. We have conducted an in-depth study to compare and analyze the performance of seven recommendation models including classical models such as collaborative filtering and latent factor models as well as more recent ones based on deep neural networks and knowledge graph embeddings. We have evaluated their ability to provide diversified items and proposed an approach that allows adjusting diversity to specific user needs. In order to estimate the diversity of recommendations, we considered semantic similarity measures by leveraging the semantic Web and knowledge graphs.Finally, our third contribution concerns the explicability of recommendations. Here, we further exploit domain knowledge and propose a post-hoc recommendation explanation approach that effectively accounts for the hierarchy of item properties within the DBpedia knowledge graph. Evaluation results of our approach based on an online user study including 155 participants suggest significant improvements in terms of engagement, trust and persuasion., Dans le contexte actuel de surcharge causée par l'important volume de données numériques accessibles, les systèmes de recommandation permettent de guider l'utilisateur dans ses activités d'apprentissages, d'achats, de loisir, d'écoute musicale, de lectures..., en lui suggérant des items personnalisés. Pour cela, ils prédisent ses préférences relativement aux items qu'il n'a pas encore évalués. Des approches classiques de recommandation, comme le filtrage collaboratif par exemple, reposent sur les données collectées par le biais de retours d'utilisateurs, généralement sous la forme d'une matrice de notes, et tentent d'y découvrir les informations pertinentes pour caractériser et prédire les goûts des utilisateurs. En complément de ces données, les connaissances liées aux items eux-mêmes représentent également un atout majeur pour l'amélioration des performances des systèmes de recommandation. L'ingénierie des connaissances, plus spécifiquement le Web sémantique et les graphes de connaissances, peuvent y jouer un rôle central. Tel est le cadre de notre travail de recherche qui propose différentes voies d'amélioration des systèmes de recommandation, adoptant une vision transversale « des données aux connaissances », et ce sur trois aspects différents : la pertinence (accuracy), la diversification et l'explicabilité des recommandations.Notre première contribution est principalement axée sur les données. Elle concerne l'accuracy des recommandations en termes de prédiction des goûts des utilisateurs. Nous proposons EBCR (Empirical Bayes Concordance Ratio), une méthode simple et générique inspirée de l'inférence bayésienne, qui permet d'ajuster les calculs de similarité entre utilisateurs (ou entre items) mis en œuvre dans le filtrage collaboratif. Cet ajustement est réalisé en fonction du nombre d'items co-notés (ou du nombre d'utilisateurs ayant noté un même item). Les expériences menées sur des jeux de données de référence ont confirmé que cette méthode améliore systématiquement l'accuracy du filtrage collaboratif pour toutes les mesures de similarité considérées.Notre deuxième contribution concerne la diversification des recommandations. Nous avons mené une étude approfondie visant à comparer et analyser la performance de sept modèles de recommandation incluant des modèles classiques comme le filtrage collaboratif et le facteur latent ainsi que ceux, plus récents, se basant sur les réseaux de neurones profonds ou les plongements (embeddings) de graphe de connaissances. Nous avons évalué leur capacité à fournir des items diversifiés et proposé une approche qui permet d'ajuster la diversité aux besoins spécifiques des utilisateurs. Afin d'estimer la diversité des recommandations, nous avons considéré des mesures de similarité sémantique en tirant parti des connaissances liées aux items à l'aide du Web sémantique.Enfin, notre troisième contribution concerne l'explicabilité des recommandations. Ici, nous exploitons plus en profondeur les connaissances du domaine, en proposant une approche de l'explication post-hoc des recommandations qui considère efficacement la hiérarchie des concepts au sein du graphe de connaissances de DBpedia. Les résultats de l'évaluation de notre approche basée sur une étude comprenant 155 participants suggèrent des améliorations significatives en termes d'engagement, de confiance et de persuasion.

Anomaly detection in relational data represented as a graph has proven to be very useful in a lot of different domains, for example to detect fraudulent behavior on online platform or intrusion on telecommunications networks. However, most of existing methods use hand-crafted feature and do not necessarily use local information. To that end, we propose CoBaGAD, for Context Based Graph Anomaly Detector, that uses local information to detect anomalous nodes in an attributed graph in a semi-supervised setup. CoBaGAD is a graph neural network with custom attention mechanism that is able to generate a representation for the nodes, aggregate them and classify nodes unseen during training. Even though machine learning methods has proven very useful in a wide range of applications from computer vision to natural language processing and graph mining, a lot of these approaches are seen as black boxes where the output cannot humanly be related to the input in a simple way. This implies a lack of understanding of the underlying model and its results. In this work, we present a new method to explain, in a human-understandable fashion, the decision of a black-box model for anomaly detection on attributed graph data. More specifically, we focus on explaining node classification by learning a local interpretable model around a node to be explained. We show that our method can recover the information that leads the model to label a node as anomalous., La détection d'anomalies dans des données relationnelles représentées sous forme de graphe s'est avérée très utile dans de nombreux domaines différents, par exemple pour détecter des comportements frauduleux sur des plateformes en ligne ou des intrusions dans des réseaux de télécommunications. Cependant, la plupart des méthodes existantes utilisent des caractéristiques créées à la main et n'utilisent pas nécessairement les informations locales. Dans ce but, nous proposons CoBaGAD, un détecteur d’anomalies contextuelles dans les graphes qui utilise l'information locale pour détecter les nœuds anormaux dans un graphe attribué dans une configuration semi-supervisée. CoBaGAD est un réseau neuronal sur graphe doté d'un mécanisme d'attention personnalisé capable de générer une représentation des nœuds, de les agréger et de classer les nœuds non vus pendant l’entraînement. Bien que les méthodes d'apprentissage automatique se soient avérées très utiles dans un large éventail d'applications allant de la vision par ordinateur au traitement du langage naturel et à l'exploration de graphes, un grand nombre de ces approches sont considérées comme des boîtes noires dont les résultats ne peuvent être humainement reliés aux entrées de manière simple. Cela implique un manque de compréhension du modèle sous-jacent et de ses résultats. Dans ce travail, nous présentons une nouvelle méthode pour expliquer, d'une manière compréhensible par l'homme, la décision d'un modèle de boîte noire pour la détection d'anomalies sur des données de graphes attribuées. Plus précisément, nous nous concentrons sur l'explication de la classification des nœuds en apprenant un modèle local interprétable autour d'un nœud à expliquer. Nous montrons que notre méthode peut récupérer l'information qui conduit le modèle à étiqueter un nœud comme anormal.

Initially created for a reimbursement purpose, non-clinical claim databases are exhaustive Electronic Health Records (EHRs) which are particularly valuable for evidence-based studies. The objective of this work is to develop predictive methods for patient pathways data, which leverage the complexity of non-clinical claims data and produce explainable results. Our first contribution focuses on the modeling of event logs extracted from such databases. New process models and an adapted process discovery algorithm are introduced, with the objective of accurately model characteristic transitions and time hidden in non-clinical claims data. The second contribution is a preprocessing solution to handle one complexity of such data, which is the representation of medical events by multiple codes belonging to different standard coding systems, organized in hierarchical structures. The proposed method uses auto-encoders and clustering in an adequate latent space to automatically produce relevant and explainable labels. From these contributions, an optimization-based predictive method is introduced, which uses a process model to perform binary classification from event logs and highlight distinctive patterns as a global explanation. A second predictive method is also proposed, which uses images to represent patient pathways and a modified Variational Auto-Encoders (VAE) to predict. This method globally explains predictions by showing an image of identified predictive factors which can be both frequent and infrequent., Les bases de données médico-administratives sont des bases de données de santé particulièrement exhaustives. L’objectif de ce travail réside dans le développement d’algorithmes prédictifs à partir des données de parcours patients, considérant la complexité des données médico-administratives et produisant des résultats explicables. De nouveaux modèles de processus et un algorithme de process mining adapté sont présentés, modélisant les transitions et leurs temporalités. Une solution de prétraitement des journaux d’événements est également proposée, permettant une représentation des évènements complexes caractérisés par de multiples codes appartenant à différents systèmes de codage, organisés en structures hiérarchiques. Cette méthode de clustering par auto-encodage permet de regrouper dans l’espace latent les événements similaires et produit automatiquement des labels pertinents pour le process mining, explicables médicalement. Un premier algorithme de prédiction adapté aux parcours est alors proposé, produisant via une procédure d’optimisation un modèle de processus utilisé pour classifier les parcours directement à partir des données de journaux d’événements. Ce modèle de processus sert également de support pour expliquer les patterns de parcours distinctifs entre deux populations. Une seconde méthode de prédiction est présentée, avec un focus particulier sur les événements médicaux récurrents. En utilisant des images pour modéliser les parcours, et une architecture d’auto-encodage variationnel modifiée pour l’apprentissage prédictif, cette méthode permet de classifier tout en expliquant de manière globale, en visualisant une image des facteurs prédictifs identifiés.

The objective of this document is to introduce the principle of Autonomous PErceptual System (APES) as an object of study.The functionalities of artificial perception, in particular vision, have become both easier to design and more efficient through the use of a set of techniques and development environments grouped under the term "Deep Learning". They have reached a certain level of maturity making it possible to envisage their use for real or even critical applications.The research direction proposed here is to provide perception with a certain degree of autonomy envisaged as a means of guaranteeing its reliability.The introduction of such a property implies to reconsider the status of perception no longer as passive functionality but as an activity involving as explicit stakeholders the environment to be perceived but also the recipient of the perceptual products with which the system maintains a contractual relationship determining the nature of the expected service and the means to guarantee it.The study of autonomous perceptual systems thus leads to a research program organized along three axes: the design of a perceptual activity articulating functional dynamics and learning processes, the development of an inherent intelligibility of the mechanisms of perception for monitoring, specifying or justifying their behavior, and the implementation of a general approach to guarantee their safe and controlled use.; L'objectif de ce mémoire est d'introduire le principe de système perceptif autonome comme objet d'étude.Les fonctionnalités de perception artificielle, en particulier de vision, sont devenues à la fois plus faciles à concevoir et plus performantes par l'utilisation d'un ensemble de techniques et d'environnements de développement regroupés sous l'expression apprentissage profond ("Deep Learning"). Elles ont atteint un certain niveau de maturité permettant d'envisager leur utilisation pour des application réelles voire critiques.La direction de recherche proposée ici est de munir la perception d'un certain degré d'autonomie considéré comme moyen de garantir sa fiabilité.L'introduction d'une telle propriété implique de reconsidérer le statut de la perception non plus comme fonctionnalité passive mais comme une activité impliquant comme parties prenantes explicites l'environnement à percevoir mais également le destinataire des produits perceptifs avec lequel le système entretient une relation contractuelle déterminant la nature du service attendu et les moyens de le garantir.L'étude des systèmes perceptifs autonomes conduit ainsi à un programme de recherche organisé selon trois axes: la conception d'une activité perceptive articulant dynamique fonctionnelle et processus d'apprentissage, le développement d'une intelligibilité propre des mécanismes de perception pour surveiller, spécifier ou justifier leur comportement, et la mise en œuvre d'une démarche générale permettant de garantir leur utilisation sûre et maîtrisée.

The objective of this document is to introduce the principle of Autonomous PErceptual System (APES) as an object of study.The functionalities of artificial perception, in particular vision, have become both easier to design and more efficient through the use of a set of techniques and development environments grouped under the term "Deep Learning". They have reached a certain level of maturity making it possible to envisage their use for real or even critical applications.The research direction proposed here is to provide perception with a certain degree of autonomy envisaged as a means of guaranteeing its reliability.The introduction of such a property implies to reconsider the status of perception no longer as passive functionality but as an activity involving as explicit stakeholders the environment to be perceived but also the recipient of the perceptual products with which the system maintains a contractual relationship determining the nature of the expected service and the means to guarantee it.The study of autonomous perceptual systems thus leads to a research program organized along three axes: the design of a perceptual activity articulating functional dynamics and learning processes, the development of an inherent intelligibility of the mechanisms of perception for monitoring, specifying or justifying their behavior, and the implementation of a general approach to guarantee their safe and controlled use.; L'objectif de ce mémoire est d'introduire le principe de système perceptif autonome comme objet d'étude.Les fonctionnalités de perception artificielle, en particulier de vision, sont devenues à la fois plus faciles à concevoir et plus performantes par l'utilisation d'un ensemble de techniques et d'environnements de développement regroupés sous l'expression apprentissage profond ("Deep Learning"). Elles ont atteint un certain niveau de maturité permettant d'envisager leur utilisation pour des application réelles voire critiques.La direction de recherche proposée ici est de munir la perception d'un certain degré d'autonomie considéré comme moyen de garantir sa fiabilité.L'introduction d'une telle propriété implique de reconsidérer le statut de la perception non plus comme fonctionnalité passive mais comme une activité impliquant comme parties prenantes explicites l'environnement à percevoir mais également le destinataire des produits perceptifs avec lequel le système entretient une relation contractuelle déterminant la nature du service attendu et les moyens de le garantir.L'étude des systèmes perceptifs autonomes conduit ainsi à un programme de recherche organisé selon trois axes: la conception d'une activité perceptive articulant dynamique fonctionnelle et processus d'apprentissage, le développement d'une intelligibilité propre des mécanismes de perception pour surveiller, spécifier ou justifier leur comportement, et la mise en œuvre d'une démarche générale permettant de garantir leur utilisation sûre et maîtrisée.

In order to provide interactive explanations, a system must be generic enough to be able to address a wide range of questions from explainees with different levels of expertise. In this paper, we present a multi-layered approach allowing explainees to express their needs at different levels of abstraction. We describe a proof-of-concept system called IBEX (for “Interactive Black-box Explanations”) implementing this approach and show its application to a variety of case studies.; Pour fournir des explications interactives, le système explicatif doit être suffisemment générique pour répondre à une grande variété de questions des destinataires des explications ayant différents niveaux d’expertise. Dans cet article, nous présentons une approche multi-couche permettant aux destinataires des explications d’exprimer leurs besoins à différents niveaux d’abstraction. Nous décrivons aussi une preuve de concept, appelée IBEX (“Interactive Black-box EXplanations”), qui repose sur cette approche, et nous montrons quelques cas d’usage.

National audience

National audience; Dans cet exposé, je présenterai cette partie du travail engagé avec Christophe Denis (Denis, Varenne, 2019) dans laquelle je recours à l’épistémologie comparative des fonctions de connaissance des modèles scientifiques (Varenne 2018). Cette épistémologie se révèle utile pour aborder, plus finement que certaines autres approches, les problèmes spécifiques à l’apprentissage machine (AM), en particulier le déficit d’explicabilité. Même si l’on considère parfois que les méthodes à AM ne sont pas des approches par modèles dans leur processus même, de fait, elles aboutissent, in fine, à produire d’authentiques modèles de décision ou de prédiction. À la lumière de l’épistémologie des modèles, je propose de montrer en quoi le déficit d’explicabilité des modèles prédictifs à base d’AM tient – comme on le dit souvent et à juste raison – à l’absence de représentation d’une causalité. Je commencerai en montrant que les distinctions et liens entre interprétation, explication et compréhension doivent d’abord être clarifiés. Ensuite, je montrerai que les modèles à base d’AM s’apparentent aux modèles prédictifs classiques fondés sur l’analyse des données considérées comme des signaux plutôt que comme des signes, mais que certains s’en distinguent (comme les techniques de deep learning) en ce que le pari « métaphysique » sur lequel leur réussite se fonde est loin d’être aussi clair. Je soulignerai enfin les différences entre explication par le modèle, explication du modèle et explication ex post du comportement du modèle à quoi on réduit souvent les recherches en « explainable AI » (Mittelstadt et al. 2019). Cette dernière distinction permet de comprendre pourquoi le fait de détenir un modèle expliquant un modèle à AM, c’est-à-dire un modèle explicatif approché de second degré, expliquant partiellement, de manière locale ou ad hoc le comportement d’un modèle à AM, ne peut pas nous assurer d’une complète confiance en ce modèle.

International audience; Certaines techniques dites d'apprentissage machine (machine learning) sont de plus en plus employées pour concevoir des modèles mathématiques et informatiques à fonction soit de prédiction soit de décision. Dans des contextes de diagnostic médical ou de décision juridique, en particulier, il est demandé que ces modèles - ou bien les algorithmes associés ou encore leurs résultats - soient, dit-on, explicables. Parallèlement, dans ce sous-domaine de la philosophie des sciences nommé « épistémologie des modèles », il est devenu d'usage de distinguer les modèles utilisés dans les sciences au regard de leurs différentes fonctions de connaissance, selon qu'ils décrivent, prédisent, servent à comprendre, expliquent, etc. Dans cette conférence - qui présentera une partie des travaux que j'ai commencé à mener en collaboration avec Christophe Denis (LIP6, équipe ACASA) - je montrerai qu'il est possible et utile d'appliquer certaines analyses de cette épistémologie classificatrice des modèles au cas particulier des modèles à apprentissage machine. En revenant sur ce qu'il faut entendre derrière cette demande d'explication, ainsi que sur la différence entre expliquer le modèle et expliquer par le modèle, comme enfin sur le rapport entre explication et causalité, j'essaierai d'apporter quelques éclairages nouveaux sur un sujet controversé. Ce sujet est controversé car il mêle la pensée mathématique et informatique non seulement à l'IA, mais aussi à l'épistémologie des modèles comme à l'épistémologie des mathématiques appliquées.

Co-localisées avec la Plate-Forme Intelligence Artificielle (PFIA 2019); International audience; Despite the recent successes of deep learning, such models are still far from some human abilities like learning from few examples, reasoning and explaining their decisions. In this paper, we focus on object annotation in images and we introduce a reasoning framework that is based on learning fuzzy relations on a dataset for generating explanations. Given a catalogue of relations, it efficiently induces the most relevant relations and combines them for building constraints in order to both solve the target task and generate explanations. We test our approach on a publicly available dataset on which the goal was both to perform multiple organ annotation and to provide explanations. We show that our model can generate explanations and achieve high performance despite being trained on a small dataset containing as few as a couple of examples.; Malgré son récent succès, l’apprentissage profond semble loin d’égaler certaines capacités humaines comme l’apprentissage à partir de peu d’exemples, le raisonnement ou encore l’explicabilité. Dans cet article, nous mettons l’accent sur l’annotation d’objets dans des images et nous présentons un cadre de raisonnement s’appuyant sur l’apprentissage de relations floues qui permet notamment de générer des explications. Étant donné un ensemble de relations, les plus pertinentes d’entre elles sont induites et combinées pour construire des contraintes permettant de définir un problème de satisfaction de contraintes floues. La résolution de ce probléme nous permet d’annoter l’image et de générer des explications à l’aide des contraintes utilisées. Nous testons notre approche sur un jeu de données public avec deux objectifs : effectuer une annotation d’organes et fournir une explication à chaque annotation. Nous montrons que le modèle que nous obtenons peut générer des explications tout en atteignant des performances élevées malgré un jeu de données pouvant être constitué de seulement deux exemples.

Co-localisées avec la Plate-Forme Intelligence Artificielle (PFIA 2019); International audience; Despite the recent successes of deep learning, such models are still far from some human abilities like learning from few examples, reasoning and explaining their decisions. In this paper, we focus on object annotation in images and we introduce a reasoning framework that is based on learning fuzzy relations on a dataset for generating explanations. Given a catalogue of relations, it efficiently induces the most relevant relations and combines them for building constraints in order to both solve the target task and generate explanations. We test our approach on a publicly available dataset on which the goal was both to perform multiple organ annotation and to provide explanations. We show that our model can generate explanations and achieve high performance despite being trained on a small dataset containing as few as a couple of examples.; Malgré son récent succès, l’apprentissage profond semble loin d’égaler certaines capacités humaines comme l’apprentissage à partir de peu d’exemples, le raisonnement ou encore l’explicabilité. Dans cet article, nous mettons l’accent sur l’annotation d’objets dans des images et nous présentons un cadre de raisonnement s’appuyant sur l’apprentissage de relations floues qui permet notamment de générer des explications. Étant donné un ensemble de relations, les plus pertinentes d’entre elles sont induites et combinées pour construire des contraintes permettant de définir un problème de satisfaction de contraintes floues. La résolution de ce probléme nous permet d’annoter l’image et de générer des explications à l’aide des contraintes utilisées. Nous testons notre approche sur un jeu de données public avec deux objectifs : effectuer une annotation d’organes et fournir une explication à chaque annotation. Nous montrons que le modèle que nous obtenons peut générer des explications tout en atteignant des performances élevées malgré un jeu de données pouvant être constitué de seulement deux exemples.

Co-localisées avec la Plate-Forme Intelligence Artificielle (PFIA 2019); International audience; To provide artificial intelligence with better adaptability, we suggest a coupling based on an enactivist and cognitivist approach between deep neural networks and learning classifier systems. As autonomy is a vector for the development of adaptability, a definition is first proposed to support later the choices and contributions of perception, reasoning and memory models used. Those models, namely these networks, these systems and a learning tree we design, that keeps track of the experiences of the coupled system, should allow these intelligences to identify, by themselves, problems arising from their environment and design in complete transparency the most suitable solutions.; Pour procurer aux intelligences artificielles une meilleure adaptabilité, notre position est de proposer un couplage selon une approche énactiviste et cognitiviste entre réseaux de neurones profonds et systèmes de classeurs. L’autonomie étant un vecteur d’évolution de cette adaptabilité, une définition est proposée dans un premier temps afin d’appuyer dans un second temps les choix et apports des modèles de perception, de raisonnement et de mémoire employés. Ces modèles, que sont respectivement ces réseaux, ces systèmes et la proposition du concept d’arbre d’apprentissage traçant l’expérience du système couplé, doivent permettre à ces intelligences d’identifier elles-mêmes les problèmes issus de leur environnement et concevoir en toute transparence les solutions les plus adéquates.

International audience; The lack of validation and of explainability of some Machine Learning (ML) models involves operational, legal and ethical issues. One of the main objectives of our research project is to provide ethical explanations of the outputs produced by a ML based application, considered as a black box. The first step of this project, presented in this article, is to underline the epistemic differences between the validation of an ML model and of a causal mathematical model. ML is based on statistical correlations between input - which could have a high dimension - and output parameters without building causality links between them, unlike most mathematical models in science and engineering. This absence of causality is the major drawback of ML, making difficult the validation and the explanation of some ML methods, generally the most efficient ones. Our scientific contribution is to highlight, in this context, the epistemic distinctions between the different functions of a model, on the one hand and between the function and the use of a model, required to build explanation. Our current work in the evaluation of the quality of an explanation, which could be more persuasive than informative and consequently generates ethical problems, is reported in the last part of the article.; Le déficit d’explicabilité des techniques d’apprentissage machine (AM) pose des problèmes opérationnels, juridiques et éthiques. Un des principaux objectifs de notre projet est de fournir des explications éthiques des sorties générées par une application fondée sur de l’AM, considérée comme une boîte noire. La première étape de ce projet, présentée dans cet article, consiste à montrer que la validation de ces boîtes noires diffère épistémologiquement de celle mise en place dans le cadre d’une modélisation mathématique et causale d’un phénomène physique. La différence majeure est qu’une méthode d’AM ne prétend pas représenter une causalité entre les paramètres d’entrées, qui peuvent être de plus de haute dimensionnalité, et ceux de sortie. Nous montrons dans cet article l’intérêt de mettre en œuvre les distinctions épistémologiques entre les différentes fonctions épistémiques d’un modèle, d’une part, et entre la fonction épistémique et l’usage d’un modèle, d’autre part. Enfin, la dernière partie de cet article présente nos travaux en cours sur l’évaluation d’une explication, qui peut être plus persuasive qu’informative, ce qui peut ainsi causer des problèmes d’ordre éthique.

The main goal of this research report is to define a generic framework for black-box explanation methods in order to make it easier to compare and classify different approaches. We focus on two components of this framework, called respectively “Sampling” and “Generation”, which are characterized formally and used to build a taxonomy of explanation methods. We also describe precisely how each method can be expressed in the framework.; Dans ce rapport de recherche, nous proposons un cadre générique pour décrire les méthodes d’explication fonctionnant en mode “boîte noire”, l’objectif étant de faciliter la comparaison et la classification de ces méthodes. Nous définissons formellement deux composantes principales, appelées respectivement l’“Echantillonnage” et la “Génération”, qui sont ensuite utilisées pour construire une taxonomie des méthodes d’explication. Nous décrivons aussi précisément la manière dont les méthodes de la littérature s’expriment dans ce cadre.

The main goal of this research report is to define a generic framework for black-box explanation methods in order to make it easier to compare and classify different approaches. We focus on two components of this framework, called respectively “Sampling” and “Generation”, which are characterized formally and used to build a taxonomy of explanation methods. We also describe precisely how each method can be expressed in the framework.; Dans ce rapport de recherche, nous proposons un cadre générique pour décrire les méthodes d’explication fonctionnant en mode “boîte noire”, l’objectif étant de faciliter la comparaison et la classification de ces méthodes. Nous définissons formellement deux composantes principales, appelées respectivement l’“Echantillonnage” et la “Génération”, qui sont ensuite utilisées pour construire une taxonomie des méthodes d’explication. Nous décrivons aussi précisément la manière dont les méthodes de la littérature s’expriment dans ce cadre.

Big data technologies and predictive analysis have changed the policing methods, as well as police management in the United States, since the early 2000s. The fact that predictive policing activities have been primarily deployed in the US is no coincidence. Even if crime in France and Europe is significant, especially in the presence of a high terrorist risk for several years, the United States is seeing the spread of large-scale crime and, above all, very significant armed urban violence.Today, however, predictive policing tools are no longer limited to the United States and are also being introduced in several European Union Member States. Nevertheless, the methods used are not identical. Generally speaking, "predictive policing" consists for the police (in France, police or gendarmerie) in using data and other indicators to calculate the probability of the risk of a crime occurring in the future. It may also be a probability calculation that a person, previously identified due to suspected illegal activities, may take action. Such information is useful, on the one hand, to prevent the commission of offences and, on the other hand, to better deploy police forces. Predictive policing tools can target places or individuals.This study, funded by CHEMI (French Ministère de l'intérieur), aims to provide a technical analysis of predictive policing tools used in the United States and Europe, as well as to measure their impact on the population, taking into account very different legislative frameworks. Recommendations were made to the French Ministère de l'intérieur to ensure the effectiveness of algorithmic tools while limiting the risks of violating the fundamental rights of individuals.; Les technologies des données massives et les analyses prédictives ont fait évoluer les méthodes de maintien de la paix et sécurité publique, ainsi que du management des forces de police aux États-Unis, dès le début des années 2000. Le fait que les activités de police prédictive se soient développées en premier lieu sur le territoire des États-Unis n'est pas l'effet du hasard. Même si la criminalité en France et en Europe n'est pas négligeable, en particulier en présence d'un risque terroriste élevé depuis plusieurs années, les États-Unis voient s'étendre une criminalité de grande ampleur et surtout une violence urbaine armée très significative.Aujourd'hui, les outils de police prédictive ne sont cependant plus l'apanage des États-Unis et sont aussi introduits dans plusieurs États membres de l'Union européenne. Toutefois, les méthodes utilisées ne sont pas identiques. De façon générale, la « police prédictive » consiste pour la police (en France, police ou gendarmerie) à utiliser des données et autres indicateurs pour calculer la probabilité du risque de survenance d'un crime dans le futur. Il peut également s'agir d'un calcul de probabilité qu'une personne, précédemment repérée en raison d'activités suspectées d'illégalité, puisse passer à l'action. De telles informations sont utiles, d'une part, pour prévenir la commission d'infractions et, d'autre part, pour mieux déployer les forces de police. Les outils de police prédictive peuvent cibler des lieux ou individus.Cette étude, financée par le CHEMI (Ministère de l'intérieur français), vise à faire une analyse technique des outils de police prédictive utilisé aux États-Unis et en Europe, ainsi que d'en mesurer l'impact sur la population, en tenant compte de cadres légaux très différents. Des recommandations ont été faites au Ministère de l'intérieur, afin de garantir l'efficacité des outils algorithmiques tout en limitant les risques d'atteinte aux droits fondamentaux des individus.

Big data technologies and predictive analysis have changed the policing methods, as well as police management in the United States, since the early 2000s. The fact that predictive policing activities have been primarily deployed in the US is no coincidence. Even if crime in France and Europe is significant, especially in the presence of a high terrorist risk for several years, the United States is seeing the spread of large-scale crime and, above all, very significant armed urban violence.Today, however, predictive policing tools are no longer limited to the United States and are also being introduced in several European Union Member States. Nevertheless, the methods used are not identical. Generally speaking, "predictive policing" consists for the police (in France, police or gendarmerie) in using data and other indicators to calculate the probability of the risk of a crime occurring in the future. It may also be a probability calculation that a person, previously identified due to suspected illegal activities, may take action. Such information is useful, on the one hand, to prevent the commission of offences and, on the other hand, to better deploy police forces. Predictive policing tools can target places or individuals.This study, funded by CHEMI (French Ministère de l'intérieur), aims to provide a technical analysis of predictive policing tools used in the United States and Europe, as well as to measure their impact on the population, taking into account very different legislative frameworks. Recommendations were made to the French Ministère de l'intérieur to ensure the effectiveness of algorithmic tools while limiting the risks of violating the fundamental rights of individuals.; Les technologies des données massives et les analyses prédictives ont fait évoluer les méthodes de maintien de la paix et sécurité publique, ainsi que du management des forces de police aux États-Unis, dès le début des années 2000. Le fait que les activités de police prédictive se soient développées en premier lieu sur le territoire des États-Unis n'est pas l'effet du hasard. Même si la criminalité en France et en Europe n'est pas négligeable, en particulier en présence d'un risque terroriste élevé depuis plusieurs années, les États-Unis voient s'étendre une criminalité de grande ampleur et surtout une violence urbaine armée très significative.Aujourd'hui, les outils de police prédictive ne sont cependant plus l'apanage des États-Unis et sont aussi introduits dans plusieurs États membres de l'Union européenne. Toutefois, les méthodes utilisées ne sont pas identiques. De façon générale, la « police prédictive » consiste pour la police (en France, police ou gendarmerie) à utiliser des données et autres indicateurs pour calculer la probabilité du risque de survenance d'un crime dans le futur. Il peut également s'agir d'un calcul de probabilité qu'une personne, précédemment repérée en raison d'activités suspectées d'illégalité, puisse passer à l'action. De telles informations sont utiles, d'une part, pour prévenir la commission d'infractions et, d'autre part, pour mieux déployer les forces de police. Les outils de police prédictive peuvent cibler des lieux ou individus.Cette étude, financée par le CHEMI (Ministère de l'intérieur français), vise à faire une analyse technique des outils de police prédictive utilisé aux États-Unis et en Europe, ainsi que d'en mesurer l'impact sur la population, en tenant compte de cadres légaux très différents. Des recommandations ont été faites au Ministère de l'intérieur, afin de garantir l'efficacité des outils algorithmiques tout en limitant les risques d'atteinte aux droits fondamentaux des individus.

The lack of validation and of explainability of some Machine Learning (ML) models involves operational, legal and ethical issues. One of the main objectives of our research project is to provide ethical explanations of the outputs produced by a ML based application, considered as a black box. The first step of this project, presented in this article, is to underline the epistemic differences between the validation of an ML model and of a causal mathematical model. ML is based on statistical correlations between input - which could have a high dimension - and output parameters without building causality links between them, unlike most mathematical models in science and engineering. This absence of causality is the major drawback of ML, making difficult the validation and the explanation of some ML methods, generally the most efficient ones. Our scientific contribution is to highlight, in this context, the epistemic distinctions between the different functions of a model, on the one hand and between the function and the use of a model, required to build explanation. Our current work in the evaluation of the quality of an explanation, which could be more persuasive than informative and consequently generates ethical problems, is reported in the last part of the article., Le déficit d’explicabilité des techniques d’apprentissage machine (AM) pose des problèmes opérationnels, juridiques et éthiques. Un des principaux objectifs de notre projet est de fournir des explications éthiques des sorties générées par une application fondée sur de l’AM, considérée comme une boîte noire. La première étape de ce projet, présentée dans cet article, consiste à montrer que la validation de ces boîtes noires diffère épistémologiquement de celle mise en place dans le cadre d’une modélisation mathématique et causale d’un phénomène physique. La différence majeure est qu’une méthode d’AM ne prétend pas représenter une causalité entre les paramètres d’entrées, qui peuvent être de plus de haute dimensionnalité, et ceux de sortie. Nous montrons dans cet article l’intérêt de mettre en œuvre les distinctions épistémologiques entre les différentes fonctions épistémiques d’un modèle, d’une part, et entre la fonction épistémique et l’usage d’un modèle, d’autre part. Enfin, la dernière partie de cet article présente nos travaux en cours sur l’évaluation d’une explication, qui peut être plus persuasive qu’informative, ce qui peut ainsi causer des problèmes d’ordre éthique.

International audience; L’intelligence artificielle explicable (XAI pour eXplainable Artificial Intelligence) se définit comme le fait de fournir une explication sur le comportement ou les prédictions d’un modèle IA à un public cible. Cette explication se doit d’être dans un format sémantiquement complet se suffisant à lui-même pour un public potentiellement varié : Enfant ou adulte, amateur ou expert naturaliste, décideurs politique ou citoyens, et bien d’autres. Selon le domaine d’application d’un modèle d’intelligence artificielle (santé, biologie, histoire, industrie, espace) et l’appétence du public cible au domaine et à l’intelligence artificielle, l’explicabilité revient donc à jouer le rôle d’un « interprète » adapté et adaptable entre les données ou une problématique et ce public. Si les modèles IA ont déjà fait leur preuve, par exemple, pour la classification d’espèces animales ou végétales à partir d’images, pour l’étude de la transmission des champs d’oiseaux afin de mieux les comprendre, ou encore l’optimisation des traitements phytosanitaires dans le domaine du smart farming, les raisons derrières les prédictions et comportement de ces modèles restent pour la plupart obscures. « Quels sont les attributs permettant de classer une espèce animale dans une catégorie plutôt qu’une autre ? », « S’il y a une erreur de classification, d’où vient-elle ? » « Pourquoi une espèce animale ou végétale se comporterait-t-elle comme prédit par un modèle IA ? » ou « Pourquoi une récolte est prédite meilleure ou moins bonne ? » sont autant de questions auxquels seuls les experts des différents domaines (biodiversité, agriculture ou viticulture) peuvent répondre. Or souvent face à des modèles computationnels complexes dit boites noires, même eux peuvent se retrouver dans l’incapacité de répondre. L’IA explicable, sous discipline de l’IA, a donc pour but de rendre les modèles IA, leur comportement et leur prédiction interprétable pour les citoyens, experts ou curieux. Une meilleure compréhension des répercussions des actions de chacune et chacun sur l’environnement, peut permettre par exemple une meilleure sensibilisation aux enjeux de le transition écologique et ainsi une meilleure préservation de la biodiversité. Nous proposons à travers ce talk de définir et démystifier l’intelligence artificielle explicable. A travers une revue non exhaustive de travaux de recherche ou d’applications de techniques XAI au domaine de la biodiversité, de la transition écologique ou encore de l’évaluation de l’impact de l’humain sur la nature, nous discuterons de l’importance et l’impact du XAI sur la diffusion de la connaissance scientifique et/ou technique.

In order to meet the explainability requirement of AI using Deep Learning (DL), this paper explores the contributions and feasibility of a process designed to create ontologically explainable classifiers while using domain ontologies. The approach is illustrated with the help of the Pizzas ontology that is used to create an image classifier that is able to provide visual explanations concerning a selection of ontological features. The approach is implemented by completing a DL model with ontological tensors that are generated from the ontology expressed in Description Logic., Répondant au besoin d’explicabilité des IA qui utilisent l’Apprentissage Profond (AP), ce papier explore les apports et la faisabilité d’un processus de création de classifieurs explicables basés sur des ontologies. La démarche est illustrée par l’utilisation de l’ontologie des Pizzas pour créer un classifieur d’images qui fournit des explications visuelles impliquant une sélection de features ontologiques. Nous proposons une implémentation en complétant un modèle d’AP avec des tenseurs ontologiques générés à partir de l’ontologie exprimée avec la Logique de Description.

International audience

With the advent of Transformer architectures in Natural Language Processing a few years ago, we have observed unprecedented progress in various text classification or generation tasks. However, the explosion in the number of parameters, and the complexity of these state-of-the-art blackbox models, is making ever more apparent the now urgent need for transparency in machine learning approaches. The ability to explain, interpret, and understand algorithmic decisions will become paramount as computer models start becoming more and more present in our everyday lives. Using eXplainable AI (XAI) methods, we can for example diagnose dataset biases, spurious correlations which can ultimately taint the training process of models, leading them to learn undesirable shortcuts, which could lead to unfair, incomprehensible, or even risky algorithmic decisions. These failure modes of AI, may ultimately erode the trust humans may have otherwise placed in beneficial applications. In this work, we more specifically explore two major aspects of XAI, in the context of Natural Language Processing tasks and models: in the first part, we approach the subject of intrinsic interpretability, which encompasses all methods which are inherently easy to produce explanations for. In particular, we focus on word embedding representations, which are an essential component of practically all NLP architectures, allowing these mathematical models to process human language in a more semantically-rich way. Unfortunately, many of the models which generate these representations, produce them in a way which is not interpretable by humans. To address this problem, we experiment with the construction and usage of Interpretable Word Embedding models, which attempt to correct this issue, by using constraints which enforce interpretability on these representations. We then make use of these, in a simple but effective novel setup, to attempt to detect lexical correlations, spurious or otherwise, in some popular NLP datasets. In the second part, we explore post-hoc explainability methods, which can target already trained models, and attempt to extract various forms of explanations of their decisions. These can range from diagnosing which parts of an input were the most relevant to a particular decision, to generating adversarial examples, which are carefully crafted to help reveal weaknesses in a model. We explore a novel type of approach, in parts allowed by the highly-performant but opaque recent Transformer architectures: instead of using a separate method to produce explanations of a model's decisions, we design and fine-tune an architecture which jointly learns to both perform its task, while also producing free-form Natural Language Explanations of its own outputs. We evaluate our approach on a large-scale dataset annotated with human explanations, and qualitatively judge some of our approach's machine-generated explanations., Avec l'avènement des architectures Transformer en Traitement Automatique des Langues il y a quelques années, nous avons observé des progrès sans précédents dans diverses tâches de classification ou de génération de textes. Cependant, l'explosion du nombre de paramètres et de la complexité de ces modèles "boîte noire" de l'état de l'art, rendent de plus en plus évident le besoin désormais urgent de transparence dans les approches d'apprentissage automatique. La capacité d'expliquer, d'interpréter et de comprendre les décisions algorithmiques deviendra primordiale à mesure que les modèles informatiques deviennent de plus en plus présents dans notre vie quotidienne. En utilisant les méthodes de l'IA eXplicable (XAI), nous pouvons par exemple diagnostiquer les biais dans des ensembles de données, des corrélations erronées qui peuvent au final entacher le processus d'apprentissage des modèles, les conduisant à apprendre des raccourcis indésirables, ce qui pourrait conduire à des décisions algorithmiques injustes, incompréhensibles, voire risquées. Ces modes d'échec de l'IA peuvent finalement éroder la confiance que les humains auraient pu placer dans des applications bénéfiques. Dans ce travail, nous explorons plus spécifiquement deux aspects majeurs de l'XAI, dans le contexte des tâches et des modèles de Traitement Automatique des Langues : dans la première partie, nous abordons le sujet de l'interprétabilité intrinsèque, qui englobe toutes les méthodes qui sont naturellement faciles à expliquer. En particulier, nous nous concentrons sur les représentations de plongement de mots, qui sont une composante essentielle de pratiquement toutes les architectures de TAL, permettant à ces modèles mathématiques de manipuler le langage humain d'une manière plus riche sur le plan sémantique. Malheureusement, la plupart des modèles qui génèrent ces représentations les produisent d'une manière qui n'est pas interprétable par les humains. Pour résoudre ce problème, nous expérimentons la construction et l'utilisation de modèles de plongement de mots interprétables, qui tentent de corriger ce problème, en utilisant des contraintes qui imposent l'interprétabilité de ces représentations. Nous utilisons ensuite ces modèles, dans une configuration nouvelle, simple mais efficace, pour tenter de détecter des corrélations lexicales, erronées ou non, dans certains ensembles de données populaires en TAL. Dans la deuxième partie, nous explorons les méthodes d'explicabilité post-hoc, qui peuvent cibler des modèles déjà entraînés, et tenter d'extraire diverses formes d'explications de leurs décisions. Ces méthodes peuvent aller du diagnostic des parties d'une entrée qui étaient les plus pertinentes pour une décision particulière, à la génération d'exemples adversariaux, qui sont soigneusement conçus pour aider à révéler les faiblesses d'un modèle. Nous explorons un nouveau type d'approche, en partie permis par les architectures Transformer récentes, très performantes mais opaques : au lieu d'utiliser une méthode distincte pour produire des explications des décisions d'un modèle, nous concevons et mettons au point une configuration qui apprend de manière jointe à exécuter sa tâche, tout en produisant des explications en langage naturel en forme libre de ses propres résultats. Nous évaluons notre approche sur un ensemble de données de grande taille annoté avec des explications humaines, et nous jugeons qualitativement certaines des explications générées par notre approche.

International audience; AGORAA's project, especially the thesis work, is a collaboration between the start-up AGORAA and the LORIA and it aims to bring back the user at the center of his search, his needs and his goals with a guarantee of privacy about his personal data. In our work, we're interested in the mechanisms that underpin computational creativity which are not fully understood. The importance and originality of our approach are that it not give the focus on the users' identities, but instead on their actual platform experience. To this experience, we add the creation, adaptation and integration of a narration in a dynamic, ever-shifting and probably multimedia context with an item recommendation objective. We will create fictional user models with pieces gathered from usage data which are already gathered by a lot of domestic devices and often made available by the users. AGORAA's project is precisely designed to offer maximum transparency about personal data uses, our approach echoes this concern to maintain the learner's trust about the system. We will explain the overall philosophy about this approach then describe our experimentations, work in progress and future works. Additionally these works are a collaboration between the LORIA at Lorraine's University and L3I at La Rochelle's University.; Le projet AGORAA, et surtout le travail de thèse, fruit de la collaboration de la société AGORAA avec le LORIA, vise à replacer l’utilisateur au cœur de ses recherches, de ses besoins et de ses objectifs, tout en lui garantissant une sécurité de ses données privées. Dans ces travaux, nous nous intéressons à un volet mal connu de l’usage des techniques d’apprentissage et d’intelligence artificielle. L’originalité de notre approche est de capitaliser non pas sur l'identité des personnes, mais sur l'expérience vécue en utilisant la plateforme. À ce vécu, nous ajoutons la création, l’intégration et l’adaptation d’une narration dans un contexte dynamique, mouvant et potentiellement multimédia dans une logique de recommandation de contenus. Nous allons élaborer des profils fictifs à partir de fragments tirés des données d'usages, ces données sont déjà récoltées par un grand nombre de dispositifs domestiques et souvent mises à disposition par les utilisateurs. Le projet AGORAA a pour vocation une transparence maximale vis-à-vis de l’usage des données personnelles, notre approche y fait écho afin de préserver la confiance des usagers apprenants. Nous détaillerons la philosophie générale de notre approche, avant de détailler les expérimentations et les travaux en cours ainsi que les perspectives qu’ils ouvrent. Ces travaux se font également au sein d’une collaboration entre le LORIA à l’université de Lorraine et le L3I à La Rochelle Université.

National audience; Discovering causal relationships between different observationsis the goal of many experiments in science. Whenobservational data are available, the potential outcome frameworkis a well-used framework for discovering such relationships.In this paper, we place ourselves in this frameworkto discover causal rules in Knowledge Graphs (KGs)that express that differences in treatments lead to differencesin a studied characteristic. However, quantifying thesimilarity between individuals represented in a knowledgegraph is challenging, especially because their descriptionscan be incomplete and erroneous. We propose a new approachbased on knowledge graph embeddings to discovercausal rules in KGs. The experiments that we conductedon two KGs, including a scientific knowledge graph, showedthat our approach is able to discover rules that explainmuch more differences in the studied characteristicthan existing state of the art approaches.; La découverte de relations causales est l'objectif de nombreuses expériences. Lorsque des données observationnelles sont disponibles, l'utilisation du cadre d'étude des résultats potentiels est un des standards pour découvrir de telles relations. Dans cet article, nous nous plaçons dans ce cadre afin de découvrir des règles causales au sein de graphes de connaissances (KGs). Ces règles expriment que des différences de traitements conduisent à des différences de valeur pour une caractéristique étudiée. Cependant, ce cadre repose sur la similarité entre instances, et sa quantification dans un KG n'est pas triviale, notamment parce que leurs descriptions peuvent être incomplètes et erronées. Nous proposons une nouvelle méthode de découverte de règles causales qui exploite un appariement basé sur les plongements de graphes de connaissances. Les expérimentations menées sur deux KG de domaines différents ont montré la capacité de notre approche à découvrir des règles qui expliquent plus de différences dans la caractéristique étudiée que les approches existantes, et qui est plus robuste en cas d'information incomplète.