Search

National audience; Les sites de questions-réponses permettent aux utilisateurs, qui partagent les mêmes intérêts, d'échanger des connaissances dans le cadre d'un processus d'apprentissage continu. En particulier, la plateforme Stack Overflow soutient des communautés de pratique où : (a) la majorité du contenu est produit par un petit nombre de membres très actifs ; (b) les réponses aux questions les plus récurrentes sont rapidement capitalisées. Nous proposons un modèle centré individus d'une communauté de pratique présentant une dynamique sociale conforme à ces faits stylisés et qui explique le phénomène de sécession des experts.

International audience; The VAGO tool is an expert system for lexical vagueness detection that also measures the degree of subjectivity of the speech, as well as its level of detail. In this paper, we build a neural clone of VAGO, based on a BERT-like architecture, trained on symbolic VAGO scores on a French press corpus (FreSaDa). The qualitative and quantitative analysis shows the fidelity of the neural version. By exploiting explainability tools (LIME), we then show the interest of this neural version for the enrichment of the lexicons of the symbolic version, and for the production of versions in other languages.; L'outil VAGO est un système expert de détection du vague lexical qui mesure aussi le degré de subjectivité du discours, ainsi que son niveau de détail. Dans cet article, nous construisons un clone neuronal de VAGO, fondé sur une architecture de type BERT, entraîné à partir des scores du VAGO symbolique sur un corpus de presse française (FreSaDa). L'analyse qualitative et quantitative montre la fidélité de la version neuronale. En exploitant des outils d'explicabilité (LIME), nous montrons ensuite l'intérêt de cette version neuronale d'une part pour l'enrichissement des lexiques de la version symbolique, et d'autre part pour la production de versions dans d'autres langues.

National audience; Cet ouvrage contient les contributions sélectionnées et présentées lors de la trente-et-unième édition des Journées Francophones sur les Systèmes Multi-Agents (JFSMA) qui se déroule à Strasbourg, du 5 au 7 juillet 2023, dans le cadre de la Plate-Forme Intelligence Artificielle (PFIA 2023).

We are interested in the development of autonomous and explainable artificial intelligence for uncertain environments. The tasks to be solved by artificial intelligences, and more particularly by machine learning algorithms, are increasingly complex: they must be able to adapt and co-evolve autonomously with complex, changing and uncertain environments that reflect our daily environment. Meanwhile, it is increasingly necessary to be able to explain the behavior of these algorithms, as they could make critical decisions that could have a major impact on an individual's life. To meet this double objective, the concepts of autonomy and explainability of artificial intelligences, as well as environmental uncertainty, have been framed to guide our design choices towards an intrinsically explainable machine learning algorithm such as rule-based approaches, and then towards anticipatory learning classifier systems. We then developed new anticipatory learning classifier systems to strengthen their ability to evolve autonomously and in an explainable way in uncertain environments. The capacities of each of these anticipatory learning classifier systems were evaluated through a carefully designed experimental evaluation protocol. This protocol enabled us to control the uncertainty of the environments to highlight the capabilities of the anticipatory learning classifier systems we devised. We also designed an algorithm dedicated to the extraction of knowledge that is specific to anticipatory learning classifier systems, capable of reinforcing the inherent explainability of these systems, without degrading their learning capacities and autonomy.; Nous nous sommes intéressés au développement d'une intelligence artificielle autonome et explicable pour des environnements incertains. Les tâches à résoudre par les intelligences artificielles, et plus particulièrement par les algorithmes d'apprentissage automatique, sont de plus en plus complexes : ils doivent pouvoir s'adapter et co-évoluer en autonomie avec des environnements complexes, changeants et incertains qui sont à l'image de nos environnements quotidiens. Dans le même temps, il est de plus en plus nécessaire de pouvoir expliquer les comportements de ces algorithmes, ceux-ci pouvant être amenés à prendre des décisions critiques dans des situations qui peuvent profondément impacter la vie d'un individu. Pour répondre à ce double objectif, les concepts d'autonomie et d'explicabilité des intelligences artificielles, ainsi que d'incertitude environnementale, ont été cadrés afin de guider nos choix de conception d'une intelligence artificielle d'abord vers un algorithme d'apprentissage automatique intrinsèquement explicable comme les approches à base de règles, puis vers les systèmes de classeurs à anticipation. Nous avons alors mis en place de nouveaux systèmes de classeurs à anticipation dont le but était de renforcer leurs capacités à évoluer en autonomie et de manière explicable dans des environnements incertains. Les capacités de chacun de ces systèmes de classeurs à anticipation ont été évaluées au travers d'un protocole d'évaluation expérimental que nous avons conçu. Ce protocole expérimental nous a notamment permis d'agir sur l'incertitude des environnements pour mettre en avant les capacités des systèmes de classeurs à anticipation que nous avons développés. Nous avons également conçu un algorithme d'extraction des connaissances propre aux systèmes de classeurs à anticipation capable de renforcer l'explicabilité inhérente à ces systèmes, sans détériorer leurs capacités d'apprentissage et leur autonomie.

International audience; Jacovi et al. in 2018 proposed a method for the explanation of Convolutional Neural Networks designed for text classification (Text-CNN). The problem with this method is that it only applies to Text-CNN with no hidden layer in the fully connected part. We will therefore find ourselves limited in terms of accuracy if we want to use this method. In addition, the LRP (Layer-wise Relevance Propagation) method makes it possible to compute the contributions of inputs of neural networks with multiple hidden layers, but cannot be applied directly to Text-CNNs because unlike images where each pixel has a meaning taken alone, each component of a vector representation (word embedding) of a word taken alone has no particular meaning. Therefore, we propose in this article to extend the method of Jacovi et al. by using the LRP method in order to be able to explain Text-CNN whose fully connected layer is deep. The qualitative evaluation suggests that the explanations provided by the proposed method are consistent on text classification problems such as Question-Answering (QA) and Sentiment Analysis. Moreover, the quantitative evaluation shows that the explanations provided are 100% faithful to the model.; Jacovi et al. en 2018 ont proposé une méthode pour l'explication des Réseaux de Neurones Convolutifs conçus pour la classification des textes (Text-CNN). Le problème avec cette méthode est qu'elle ne s'applique que sur les Text-CNN qui n'ont pas de couche cachée dans la partie densément connectée. On se retrouvera donc limité en terme de performance si on veut utiliser cette méthode d'explication. Par ailleurs, la méthode LRP (Layer-wise Relevance Propagation) permet de calculer les contributions des caractéristiques en entrée des réseaux de neurones avec un nombre quelconque de couches cachées, mais ne peut s'appliquer directement sur les Text-CNN car contrairement aux images où chaque pixel a un sens pris seul, chaque composante d'une représentation vectorielle (word embedding) d'un mot prise seule n'a pas de signification particulière. C'est ainsi que nous proposons dans cet article, d'étendre la méthode de Jacovi et al. en mettant à contribution la méthode LRP afin de pouvoir expliquer les Text-CNN dont la partie densément connectée est profonde (possède plusieurs couches). L'évaluation qualitative laisse percevoir que les explications fournies par la méthode proposée sont cohérentes sur les problèmes de classification des textes comme le Question-Answering (QA) ainsi que l'analyse des sentiments. Par ailleurs, l'évaluation quantitative montre que les explications fournies sont fidèles à 100% au modèle.

This thesis, written for the qualification of Doctor of Philosophy in Computer Science, studies the question of the individual importance of actions in sequential decision-making, through the lens of Reinforcement Learning, and with diverse applications.An important finding of this work is that two seemingly different open problems in Reinforcement Learning, namely the credit assignment problem and explainability, have partial solutions that involve similar tools that can all be viewed as the estimation of particular forms of action importance.Several algorithms that suit different forms of action importance are proposed and studied from a theoretical point of view, empirically, or both.; Cette thèse, écrite pour l'obtention du doctorat en Informatique, étudie la question de l'importance individuelle des actions dans la prise de décision séquentielle, via le prisme de l'Apprentissage par Renforcement, avec diverses applications.Une découverte importante de ce travail est que deux problèmes ouverts en apparence distincts en Apprentissage par Renforcement, à savoir le problème d'assignation de crédit et l'interprétabilité, ont des solutions partielles qui impliquent des outils communs qui peuvent être vus comme des estimations de formes particulières d'importance des actions.Des algorithmes qui correspondent à des formes distinctes d'importance des actions sont proposées et étudiées empiriquement, d'un point de vue plus théorique, ou les deux.

National audience; Nous étudions la plausibilité d’un mécanisme d’attention pour une tâche d’inférence de phrases (entailment), c’est-à-dire sa capacité à fournir une explication plausible pour un humain de la relation entre deux phrases. En s’appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a été montré que les poids d’attention sont peu plausibles en pratique et tendent à ne pas se concentrer sur les tokens importants. Nous étudions ici différentes approches pour rendre les poids d’attention plus plausibles, en nous appuyant sur des masques issus d’une analyse morphosyntaxique ou sur une régularisation pour forcer la parcimonie. Nous montrons que ces stratégies permettent d’améliorer sensiblement la plausibilité des poids d’attention et s’avèrent plus performantes que les approches par carte de saillance.

International audience; Progress in machine learning, more recently accelerated by deep learning, now makes possible to build high-performance models for recognition or generation tasks. However, these models are complex, making it difficult to justify their predictions. To avoid a "black box" effect and for an interpretability reason, the Orpailleur team is interested in model explanations, a research field that is still recent.These explainers manage to spot biased predictions of some models (e.g., decisions mainly based on skin color). The discoveries of the Orpailleur team show that it is possible to make predictions fairer (we generally talk about "fairness") thanks to ensemble methods and variable dropping, without altering the models performance. We particularly focus here on the specific case of textual data, as well as on an adaptation to deep learning models which hold a prominent place in natural language processing.Secondly, we will use these explainers on antibiotic classification models in order to determine how such a classifier reaches the conclusion that a molecule has antibiotic properties. This work will lead to the creation of an interactive web interface to highlight the important patterns learned by these models, through visualizations.; Les progrès en machine learning, plus récemment accélérés par le deep learning, permettent désormais de construire des modèles performants dans des tâches de reconnaissance ou de génération. Ces modèles sont cependant complexes, si bien qu'il devient difficile de justifier leurs prédictions. Pour éviter un effet « boîte noire » et dans un soucis d'interprétabilité, l'équipe Orpailleur s'intéresse aux explicateurs de modèles, un domaine de recherche encore récent.Ces explicateurs permettent, entre autres, de mettre en lumière les prédictions biaisées de certains modèles (exemple : décision principalement basée sur la couleur de peau). Les découvertes de l'équipe Orpailleur montrent qu'il est possible de rendre les prédictions plus justes (on parle généralement de « fairness ») grâce à des méthodes ensemblistes et de suppression de variables, sans altérer les performances des modèles. Nous nous intéressons plus particulièrement ici au cas spécifique des données textuelles, ainsi qu'à une adaptation aux modèles de deep learning qui occupent une place de premier choix dans le traitement automatique du langage.Dans un second temps, nous utilisons ces explicateurs sur des modèles de classification d'antibiotiques afin de déterminer comment un tel classificateur parvient à la conclusion qu'une molécule possède des propriétés antibiotiques. Ces travaux conduiront à la création d'une interface web interactive permettant de mettre en valeur les motifs importants appris par ces modèles, au travers de visualisations.

National audience; Nous sommes de plus en plus confrontés à des décisions prises par des algorithmes d'intelligence artificielle. Mais ces décisions prises par des machines sont souvent obscures et peuvent entraîner une certaine méfiance de l'utilisateur. Une piste envisagée pour augmenter la confiance est l'explicabilité des systèmes d’intelligence artificielle. Cette solution est apparemment séduisante, mais est-elle suffisante pour nous rassurer? Pas si simple...

National audience; Dans le domaine bancaire, la détection de fraudes doit être explicable et le modèle de décision compréhensible. Cela justifie un apprentissage direct de règles. CN2 et RIPPER sont comparés sur différents datasets.

In order to provide interactive explanations, a system must be generic enough to be able to address a wide range of questions from explainees with different levels of expertise. In this paper, we present a multi-layered approach allowing explainees to express their needs at different levels of abstraction. We describe a proof-of-concept system called IBEX (for “Interactive Black-box Explanations”) implementing this approach and show its application to a variety of case studies.; Pour fournir des explications interactives, le système explicatif doit être suffisemment générique pour répondre à une grande variété de questions des destinataires des explications ayant différents niveaux d’expertise. Dans cet article, nous présentons une approche multi-couche permettant aux destinataires des explications d’exprimer leurs besoins à différents niveaux d’abstraction. Nous décrivons aussi une preuve de concept, appelée IBEX (“Interactive Black-box EXplanations”), qui repose sur cette approche, et nous montrons quelques cas d’usage.

National audience

National audience; Dans cet exposé, je présenterai cette partie du travail engagé avec Christophe Denis (Denis, Varenne, 2019) dans laquelle je recours à l’épistémologie comparative des fonctions de connaissance des modèles scientifiques (Varenne 2018). Cette épistémologie se révèle utile pour aborder, plus finement que certaines autres approches, les problèmes spécifiques à l’apprentissage machine (AM), en particulier le déficit d’explicabilité. Même si l’on considère parfois que les méthodes à AM ne sont pas des approches par modèles dans leur processus même, de fait, elles aboutissent, in fine, à produire d’authentiques modèles de décision ou de prédiction. À la lumière de l’épistémologie des modèles, je propose de montrer en quoi le déficit d’explicabilité des modèles prédictifs à base d’AM tient – comme on le dit souvent et à juste raison – à l’absence de représentation d’une causalité. Je commencerai en montrant que les distinctions et liens entre interprétation, explication et compréhension doivent d’abord être clarifiés. Ensuite, je montrerai que les modèles à base d’AM s’apparentent aux modèles prédictifs classiques fondés sur l’analyse des données considérées comme des signaux plutôt que comme des signes, mais que certains s’en distinguent (comme les techniques de deep learning) en ce que le pari « métaphysique » sur lequel leur réussite se fonde est loin d’être aussi clair. Je soulignerai enfin les différences entre explication par le modèle, explication du modèle et explication ex post du comportement du modèle à quoi on réduit souvent les recherches en « explainable AI » (Mittelstadt et al. 2019). Cette dernière distinction permet de comprendre pourquoi le fait de détenir un modèle expliquant un modèle à AM, c’est-à-dire un modèle explicatif approché de second degré, expliquant partiellement, de manière locale ou ad hoc le comportement d’un modèle à AM, ne peut pas nous assurer d’une complète confiance en ce modèle.

International audience; Certaines techniques dites d'apprentissage machine (machine learning) sont de plus en plus employées pour concevoir des modèles mathématiques et informatiques à fonction soit de prédiction soit de décision. Dans des contextes de diagnostic médical ou de décision juridique, en particulier, il est demandé que ces modèles - ou bien les algorithmes associés ou encore leurs résultats - soient, dit-on, explicables. Parallèlement, dans ce sous-domaine de la philosophie des sciences nommé « épistémologie des modèles », il est devenu d'usage de distinguer les modèles utilisés dans les sciences au regard de leurs différentes fonctions de connaissance, selon qu'ils décrivent, prédisent, servent à comprendre, expliquent, etc. Dans cette conférence - qui présentera une partie des travaux que j'ai commencé à mener en collaboration avec Christophe Denis (LIP6, équipe ACASA) - je montrerai qu'il est possible et utile d'appliquer certaines analyses de cette épistémologie classificatrice des modèles au cas particulier des modèles à apprentissage machine. En revenant sur ce qu'il faut entendre derrière cette demande d'explication, ainsi que sur la différence entre expliquer le modèle et expliquer par le modèle, comme enfin sur le rapport entre explication et causalité, j'essaierai d'apporter quelques éclairages nouveaux sur un sujet controversé. Ce sujet est controversé car il mêle la pensée mathématique et informatique non seulement à l'IA, mais aussi à l'épistémologie des modèles comme à l'épistémologie des mathématiques appliquées.

Co-localisées avec la Plate-Forme Intelligence Artificielle (PFIA 2019); International audience; Despite the recent successes of deep learning, such models are still far from some human abilities like learning from few examples, reasoning and explaining their decisions. In this paper, we focus on object annotation in images and we introduce a reasoning framework that is based on learning fuzzy relations on a dataset for generating explanations. Given a catalogue of relations, it efficiently induces the most relevant relations and combines them for building constraints in order to both solve the target task and generate explanations. We test our approach on a publicly available dataset on which the goal was both to perform multiple organ annotation and to provide explanations. We show that our model can generate explanations and achieve high performance despite being trained on a small dataset containing as few as a couple of examples.; Malgré son récent succès, l’apprentissage profond semble loin d’égaler certaines capacités humaines comme l’apprentissage à partir de peu d’exemples, le raisonnement ou encore l’explicabilité. Dans cet article, nous mettons l’accent sur l’annotation d’objets dans des images et nous présentons un cadre de raisonnement s’appuyant sur l’apprentissage de relations floues qui permet notamment de générer des explications. Étant donné un ensemble de relations, les plus pertinentes d’entre elles sont induites et combinées pour construire des contraintes permettant de définir un problème de satisfaction de contraintes floues. La résolution de ce probléme nous permet d’annoter l’image et de générer des explications à l’aide des contraintes utilisées. Nous testons notre approche sur un jeu de données public avec deux objectifs : effectuer une annotation d’organes et fournir une explication à chaque annotation. Nous montrons que le modèle que nous obtenons peut générer des explications tout en atteignant des performances élevées malgré un jeu de données pouvant être constitué de seulement deux exemples.

Co-localisées avec la Plate-Forme Intelligence Artificielle (PFIA 2019); International audience; Despite the recent successes of deep learning, such models are still far from some human abilities like learning from few examples, reasoning and explaining their decisions. In this paper, we focus on object annotation in images and we introduce a reasoning framework that is based on learning fuzzy relations on a dataset for generating explanations. Given a catalogue of relations, it efficiently induces the most relevant relations and combines them for building constraints in order to both solve the target task and generate explanations. We test our approach on a publicly available dataset on which the goal was both to perform multiple organ annotation and to provide explanations. We show that our model can generate explanations and achieve high performance despite being trained on a small dataset containing as few as a couple of examples.; Malgré son récent succès, l’apprentissage profond semble loin d’égaler certaines capacités humaines comme l’apprentissage à partir de peu d’exemples, le raisonnement ou encore l’explicabilité. Dans cet article, nous mettons l’accent sur l’annotation d’objets dans des images et nous présentons un cadre de raisonnement s’appuyant sur l’apprentissage de relations floues qui permet notamment de générer des explications. Étant donné un ensemble de relations, les plus pertinentes d’entre elles sont induites et combinées pour construire des contraintes permettant de définir un problème de satisfaction de contraintes floues. La résolution de ce probléme nous permet d’annoter l’image et de générer des explications à l’aide des contraintes utilisées. Nous testons notre approche sur un jeu de données public avec deux objectifs : effectuer une annotation d’organes et fournir une explication à chaque annotation. Nous montrons que le modèle que nous obtenons peut générer des explications tout en atteignant des performances élevées malgré un jeu de données pouvant être constitué de seulement deux exemples.

Co-localisées avec la Plate-Forme Intelligence Artificielle (PFIA 2019); International audience; To provide artificial intelligence with better adaptability, we suggest a coupling based on an enactivist and cognitivist approach between deep neural networks and learning classifier systems. As autonomy is a vector for the development of adaptability, a definition is first proposed to support later the choices and contributions of perception, reasoning and memory models used. Those models, namely these networks, these systems and a learning tree we design, that keeps track of the experiences of the coupled system, should allow these intelligences to identify, by themselves, problems arising from their environment and design in complete transparency the most suitable solutions.; Pour procurer aux intelligences artificielles une meilleure adaptabilité, notre position est de proposer un couplage selon une approche énactiviste et cognitiviste entre réseaux de neurones profonds et systèmes de classeurs. L’autonomie étant un vecteur d’évolution de cette adaptabilité, une définition est proposée dans un premier temps afin d’appuyer dans un second temps les choix et apports des modèles de perception, de raisonnement et de mémoire employés. Ces modèles, que sont respectivement ces réseaux, ces systèmes et la proposition du concept d’arbre d’apprentissage traçant l’expérience du système couplé, doivent permettre à ces intelligences d’identifier elles-mêmes les problèmes issus de leur environnement et concevoir en toute transparence les solutions les plus adéquates.

International audience; The lack of validation and of explainability of some Machine Learning (ML) models involves operational, legal and ethical issues. One of the main objectives of our research project is to provide ethical explanations of the outputs produced by a ML based application, considered as a black box. The first step of this project, presented in this article, is to underline the epistemic differences between the validation of an ML model and of a causal mathematical model. ML is based on statistical correlations between input - which could have a high dimension - and output parameters without building causality links between them, unlike most mathematical models in science and engineering. This absence of causality is the major drawback of ML, making difficult the validation and the explanation of some ML methods, generally the most efficient ones. Our scientific contribution is to highlight, in this context, the epistemic distinctions between the different functions of a model, on the one hand and between the function and the use of a model, required to build explanation. Our current work in the evaluation of the quality of an explanation, which could be more persuasive than informative and consequently generates ethical problems, is reported in the last part of the article.; Le déficit d’explicabilité des techniques d’apprentissage machine (AM) pose des problèmes opérationnels, juridiques et éthiques. Un des principaux objectifs de notre projet est de fournir des explications éthiques des sorties générées par une application fondée sur de l’AM, considérée comme une boîte noire. La première étape de ce projet, présentée dans cet article, consiste à montrer que la validation de ces boîtes noires diffère épistémologiquement de celle mise en place dans le cadre d’une modélisation mathématique et causale d’un phénomène physique. La différence majeure est qu’une méthode d’AM ne prétend pas représenter une causalité entre les paramètres d’entrées, qui peuvent être de plus de haute dimensionnalité, et ceux de sortie. Nous montrons dans cet article l’intérêt de mettre en œuvre les distinctions épistémologiques entre les différentes fonctions épistémiques d’un modèle, d’une part, et entre la fonction épistémique et l’usage d’un modèle, d’autre part. Enfin, la dernière partie de cet article présente nos travaux en cours sur l’évaluation d’une explication, qui peut être plus persuasive qu’informative, ce qui peut ainsi causer des problèmes d’ordre éthique.

The main goal of this research report is to define a generic framework for black-box explanation methods in order to make it easier to compare and classify different approaches. We focus on two components of this framework, called respectively “Sampling” and “Generation”, which are characterized formally and used to build a taxonomy of explanation methods. We also describe precisely how each method can be expressed in the framework.; Dans ce rapport de recherche, nous proposons un cadre générique pour décrire les méthodes d’explication fonctionnant en mode “boîte noire”, l’objectif étant de faciliter la comparaison et la classification de ces méthodes. Nous définissons formellement deux composantes principales, appelées respectivement l’“Echantillonnage” et la “Génération”, qui sont ensuite utilisées pour construire une taxonomie des méthodes d’explication. Nous décrivons aussi précisément la manière dont les méthodes de la littérature s’expriment dans ce cadre.

The main goal of this research report is to define a generic framework for black-box explanation methods in order to make it easier to compare and classify different approaches. We focus on two components of this framework, called respectively “Sampling” and “Generation”, which are characterized formally and used to build a taxonomy of explanation methods. We also describe precisely how each method can be expressed in the framework.; Dans ce rapport de recherche, nous proposons un cadre générique pour décrire les méthodes d’explication fonctionnant en mode “boîte noire”, l’objectif étant de faciliter la comparaison et la classification de ces méthodes. Nous définissons formellement deux composantes principales, appelées respectivement l’“Echantillonnage” et la “Génération”, qui sont ensuite utilisées pour construire une taxonomie des méthodes d’explication. Nous décrivons aussi précisément la manière dont les méthodes de la littérature s’expriment dans ce cadre.

To provide artificial intelligence with better adaptability, we suggest a coupling based on an enactivist and cognitivist approach between deep neural networks and learning classifier systems. As autonomy is a vector for the development of adaptability, a definition is first proposed to support later the choices and contributions of perception, reasoning and memory models used. Those models, namely these networks, these systems and a learning tree we design, that keeps track of the experiences of the coupled system, should allow these intelligences to identify, by themselves, problems arising from their environment and design in complete transparency the most suitable solutions., Pour procurer aux intelligences artificielles une meilleure adaptabilité, notre position est de proposer un couplage selon une approche énactiviste et cognitiviste entre réseaux de neurones profonds et systèmes de classeurs. L’autonomie étant un vecteur d’évolution de cette adaptabilité, une définition est proposée dans un premier temps afin d’appuyer dans un second temps les choix et apports des modèles de perception, de raisonnement et de mémoire employés. Ces modèles, que sont respectivement ces réseaux, ces systèmes et la proposition du concept d’arbre d’apprentissage traçant l’expérience du système couplé, doivent permettre à ces intelligences d’identifier elles-mêmes les problèmes issus de leur environnement et concevoir en toute transparence les solutions les plus adéquates.

The lack of validation and of explainability of some Machine Learning (ML) models involves operational, legal and ethical issues. One of the main objectives of our research project is to provide ethical explanations of the outputs produced by a ML based application, considered as a black box. The first step of this project, presented in this article, is to underline the epistemic differences between the validation of an ML model and of a causal mathematical model. ML is based on statistical correlations between input - which could have a high dimension - and output parameters without building causality links between them, unlike most mathematical models in science and engineering. This absence of causality is the major drawback of ML, making difficult the validation and the explanation of some ML methods, generally the most efficient ones. Our scientific contribution is to highlight, in this context, the epistemic distinctions between the different functions of a model, on the one hand and between the function and the use of a model, required to build explanation. Our current work in the evaluation of the quality of an explanation, which could be more persuasive than informative and consequently generates ethical problems, is reported in the last part of the article., Le déficit d’explicabilité des techniques d’apprentissage machine (AM) pose des problèmes opérationnels, juridiques et éthiques. Un des principaux objectifs de notre projet est de fournir des explications éthiques des sorties générées par une application fondée sur de l’AM, considérée comme une boîte noire. La première étape de ce projet, présentée dans cet article, consiste à montrer que la validation de ces boîtes noires diffère épistémologiquement de celle mise en place dans le cadre d’une modélisation mathématique et causale d’un phénomène physique. La différence majeure est qu’une méthode d’AM ne prétend pas représenter une causalité entre les paramètres d’entrées, qui peuvent être de plus de haute dimensionnalité, et ceux de sortie. Nous montrons dans cet article l’intérêt de mettre en œuvre les distinctions épistémologiques entre les différentes fonctions épistémiques d’un modèle, d’une part, et entre la fonction épistémique et l’usage d’un modèle, d’autre part. Enfin, la dernière partie de cet article présente nos travaux en cours sur l’évaluation d’une explication, qui peut être plus persuasive qu’informative, ce qui peut ainsi causer des problèmes d’ordre éthique.

International audience; L’intelligence artificielle explicable (XAI pour eXplainable Artificial Intelligence) se définit comme le fait de fournir une explication sur le comportement ou les prédictions d’un modèle IA à un public cible. Cette explication se doit d’être dans un format sémantiquement complet se suffisant à lui-même pour un public potentiellement varié : Enfant ou adulte, amateur ou expert naturaliste, décideurs politique ou citoyens, et bien d’autres. Selon le domaine d’application d’un modèle d’intelligence artificielle (santé, biologie, histoire, industrie, espace) et l’appétence du public cible au domaine et à l’intelligence artificielle, l’explicabilité revient donc à jouer le rôle d’un « interprète » adapté et adaptable entre les données ou une problématique et ce public. Si les modèles IA ont déjà fait leur preuve, par exemple, pour la classification d’espèces animales ou végétales à partir d’images, pour l’étude de la transmission des champs d’oiseaux afin de mieux les comprendre, ou encore l’optimisation des traitements phytosanitaires dans le domaine du smart farming, les raisons derrières les prédictions et comportement de ces modèles restent pour la plupart obscures. « Quels sont les attributs permettant de classer une espèce animale dans une catégorie plutôt qu’une autre ? », « S’il y a une erreur de classification, d’où vient-elle ? » « Pourquoi une espèce animale ou végétale se comporterait-t-elle comme prédit par un modèle IA ? » ou « Pourquoi une récolte est prédite meilleure ou moins bonne ? » sont autant de questions auxquels seuls les experts des différents domaines (biodiversité, agriculture ou viticulture) peuvent répondre. Or souvent face à des modèles computationnels complexes dit boites noires, même eux peuvent se retrouver dans l’incapacité de répondre. L’IA explicable, sous discipline de l’IA, a donc pour but de rendre les modèles IA, leur comportement et leur prédiction interprétable pour les citoyens, experts ou curieux. Une meilleure compréhension des répercussions des actions de chacune et chacun sur l’environnement, peut permettre par exemple une meilleure sensibilisation aux enjeux de le transition écologique et ainsi une meilleure préservation de la biodiversité. Nous proposons à travers ce talk de définir et démystifier l’intelligence artificielle explicable. A travers une revue non exhaustive de travaux de recherche ou d’applications de techniques XAI au domaine de la biodiversité, de la transition écologique ou encore de l’évaluation de l’impact de l’humain sur la nature, nous discuterons de l’importance et l’impact du XAI sur la diffusion de la connaissance scientifique et/ou technique.

In order to meet the explainability requirement of AI using Deep Learning (DL), this paper explores the contributions and feasibility of a process designed to create ontologically explainable classifiers while using domain ontologies. The approach is illustrated with the help of the Pizzas ontology that is used to create an image classifier that is able to provide visual explanations concerning a selection of ontological features. The approach is implemented by completing a DL model with ontological tensors that are generated from the ontology expressed in Description Logic., Répondant au besoin d’explicabilité des IA qui utilisent l’Apprentissage Profond (AP), ce papier explore les apports et la faisabilité d’un processus de création de classifieurs explicables basés sur des ontologies. La démarche est illustrée par l’utilisation de l’ontologie des Pizzas pour créer un classifieur d’images qui fournit des explications visuelles impliquant une sélection de features ontologiques. Nous proposons une implémentation en complétant un modèle d’AP avec des tenseurs ontologiques générés à partir de l’ontologie exprimée avec la Logique de Description.

International audience

International audience; AGORAA's project, especially the thesis work, is a collaboration between the start-up AGORAA and the LORIA and it aims to bring back the user at the center of his search, his needs and his goals with a guarantee of privacy about his personal data. In our work, we're interested in the mechanisms that underpin computational creativity which are not fully understood. The importance and originality of our approach are that it not give the focus on the users' identities, but instead on their actual platform experience. To this experience, we add the creation, adaptation and integration of a narration in a dynamic, ever-shifting and probably multimedia context with an item recommendation objective. We will create fictional user models with pieces gathered from usage data which are already gathered by a lot of domestic devices and often made available by the users. AGORAA's project is precisely designed to offer maximum transparency about personal data uses, our approach echoes this concern to maintain the learner's trust about the system. We will explain the overall philosophy about this approach then describe our experimentations, work in progress and future works. Additionally these works are a collaboration between the LORIA at Lorraine's University and L3I at La Rochelle's University.; Le projet AGORAA, et surtout le travail de thèse, fruit de la collaboration de la société AGORAA avec le LORIA, vise à replacer l’utilisateur au cœur de ses recherches, de ses besoins et de ses objectifs, tout en lui garantissant une sécurité de ses données privées. Dans ces travaux, nous nous intéressons à un volet mal connu de l’usage des techniques d’apprentissage et d’intelligence artificielle. L’originalité de notre approche est de capitaliser non pas sur l'identité des personnes, mais sur l'expérience vécue en utilisant la plateforme. À ce vécu, nous ajoutons la création, l’intégration et l’adaptation d’une narration dans un contexte dynamique, mouvant et potentiellement multimédia dans une logique de recommandation de contenus. Nous allons élaborer des profils fictifs à partir de fragments tirés des données d'usages, ces données sont déjà récoltées par un grand nombre de dispositifs domestiques et souvent mises à disposition par les utilisateurs. Le projet AGORAA a pour vocation une transparence maximale vis-à-vis de l’usage des données personnelles, notre approche y fait écho afin de préserver la confiance des usagers apprenants. Nous détaillerons la philosophie générale de notre approche, avant de détailler les expérimentations et les travaux en cours ainsi que les perspectives qu’ils ouvrent. Ces travaux se font également au sein d’une collaboration entre le LORIA à l’université de Lorraine et le L3I à La Rochelle Université.

National audience; Discovering causal relationships between different observationsis the goal of many experiments in science. Whenobservational data are available, the potential outcome frameworkis a well-used framework for discovering such relationships.In this paper, we place ourselves in this frameworkto discover causal rules in Knowledge Graphs (KGs)that express that differences in treatments lead to differencesin a studied characteristic. However, quantifying thesimilarity between individuals represented in a knowledgegraph is challenging, especially because their descriptionscan be incomplete and erroneous. We propose a new approachbased on knowledge graph embeddings to discovercausal rules in KGs. The experiments that we conductedon two KGs, including a scientific knowledge graph, showedthat our approach is able to discover rules that explainmuch more differences in the studied characteristicthan existing state of the art approaches.; La découverte de relations causales est l'objectif de nombreuses expériences. Lorsque des données observationnelles sont disponibles, l'utilisation du cadre d'étude des résultats potentiels est un des standards pour découvrir de telles relations. Dans cet article, nous nous plaçons dans ce cadre afin de découvrir des règles causales au sein de graphes de connaissances (KGs). Ces règles expriment que des différences de traitements conduisent à des différences de valeur pour une caractéristique étudiée. Cependant, ce cadre repose sur la similarité entre instances, et sa quantification dans un KG n'est pas triviale, notamment parce que leurs descriptions peuvent être incomplètes et erronées. Nous proposons une nouvelle méthode de découverte de règles causales qui exploite un appariement basé sur les plongements de graphes de connaissances. Les expérimentations menées sur deux KG de domaines différents ont montré la capacité de notre approche à découvrir des règles qui expliquent plus de différences dans la caractéristique étudiée que les approches existantes, et qui est plus robuste en cas d'information incomplète.

De nombreuses méthodes IA supervisées ou non supervisées sont utilisées pour la détection d'anomalies et d'attaques. Pour apporter davantage de contexte et d'interprétabilitéà l'analyste SOC, cet article introduit une nouvelle approche d'apprentissage continu de la normalité et de détection de comportement anormal (nouveau ou déviant) avec la production d'une synthèse facilement interprétable par un analyste SOC. Cette approche s'appuie sur des stratégies IAévolutionnistes, des fonctions d'attentions auto paramétrables et des motivations intrinsèques de développement de connaissances comportementales. Dans un esprit d'accroissement de la confiance des analystes envers les algorithmes IA, ce modèle démontre de bonnes capacités de découverte de règles comportementales interprétables et de détection de comportements anormaux dans des logs applicatifs générés par un nouveau simulateur de Système d'Information (SI).