Search

One of the fundamental goals of Artificial Intelligence (ai) is to design embodied autonomous agents that can evolve in various environments, perform a multitude of tasks and interact with humans. To this end, ai researchers employ various approaches, with two primary methods standing out: developmental robotics and standard ai paradigms. While developmental robotics models agents’ cognitive development in simplified environments, standard AI paradigms focus on algorithmic contributions in precise and technical benchmarks. In this thesis, we extend upon recent calls to bridge these two fields and investigate the role of cultural conventions in the development of artificial agents using state-of-the-art ai algorithms. This research leverages work from developmental psychology and focuses on two crucial aspects of human development, namely autotelic and social learning. The former enables agents to form open-ended repertoires of skills by inventing and pursuing their own goals while the latter enables them to communicate, cooperate, teach, and organize their thoughts. Our contributions are organized around two fundamental scientific questions: 1) the formation of cultural conventions within populations of artificial agents, and 2) the exploitation of cultural conventions in their cognitive development. The first part of this manuscript deals with the formation of cultural conventions. It builds on recent studies in the field of emergent communication to propose two computational studies. The first one investigates the formation of cultural conventions in the ecological context where artificial agents communicate via a graphical sensory-motor channel. The second one draws inspiration from experimental semiotics and studies the emergence of communication in the architect-builder problem: a novel interactive learning paradigm where agents have asymmetries of information and affordances which makes the application of standard Multi-Agent Reinforcement Learning impossible. The second part focuses on the exploitation of cultural conventions. Inspired by the pioneering work of Vygotsky and other psychologists we first introduce the Vygotskian Autotelic ai Framework. This framework enables Reinforcement Learning agents to internalize social interactions in order to transform their cognitive abilities enabling them to form abstract representations, achieve systematic generalization, and creatively explore their environment. Following this conceptual contribution, we propose two computational studies. The first one explores the role of inductive biases in the language grounding problem where agents need to align their physical experience of the world with linguistic inputs provided by social partners. Our final computational contribution introduces the imagine agent: a Vygotskian autotelic agent that converts linguistic descriptions given by a social partner into targetable goals. imagine leverages language productivity and systematic generalization to grow an open-ended repertoire of skills in a creative way.; L'un des objectifs fondamentaux de l'Intelligence Artificielle (IA) est de concevoir des agents autonomes incarnés capables d'évoluer dans divers environnements, d'accomplir une multitude de tâches et d'interagir avec les humains. À cette fin, les chercheurs en IA utilisent différentes approches, avec deux méthodes principales se distinguant : la robotique développementale et les paradigmes d'IA standard. Alors que la robotique développementale modélise le développement cognitif des agents dans des environnements simplifiés, les paradigmes d'IA standard se concentrent sur les contributions algorithmiques dans des benchmarks précis et techniques. Dans cette thèse, nous prolongeons les appels récents à combler ces deux domaines et examinons le rôle des conventions culturelles dans le développement d'agents artificiels en utilisant des algorithmes d'IA de pointe.Cette recherche s'appuie sur le travail de la psychologie du développement et se concentre sur deux aspects cruciaux du développement humain, à savoir l'apprentissage autotélique et social. Le premier permet aux agents de former des répertoires de compétences ouverts en inventant et en poursuivant leurs propres objectifs, tandis que le second leur permet de communiquer, de coopérer, d'enseigner et d'organiser leurs pensées.Nos contributions sont organisées autour de deux questions scientifiques fondamentales : 1) la formation de conventions culturelles au sein de populations d'agents artificiels, et 2) l'exploitation de conventions culturelles dans leur développement cognitif.La première partie de ce manuscrit traite de la formation de conventions culturelles. Elle s'appuie sur des études récentes dans le domaine de la communication émergente pour proposer deux études computationnelles. La première étudie la formation de conventions culturelles dans le contexte écologique où les agents artificiels communiquent via un canal sensorimoteur graphique. La seconde s'inspire de la sémiotique expérimentale et étudie l'émergence de la communication dans le problème de l'architecte-constructeur : un nouveau paradigme d'apprentissage interactif où les agents ont des asymétries d'information et des affordances qui rendent l'application de l'apprentissage par renforcement multi-agent standard impossible.La seconde partie se concentre sur l'exploitation de conventions culturelles. Inspirés par les travaux pionniers de Vygotsky et d'autres psychologues, nous introduisons d'abord le framework Vygotskien d'IA autotélique. Ce framework permet aux agents d'apprentissage par renforcement d'intérioriser les interactions sociales afin de transformer leurs capacités cognitives, leur permettant de former des représentations abstraites, d'atteindre une généralisation systématique et d'explorer leur environnement de manière créative. À la suite de cette contribution conceptuelle, nous proposons deux études computationnelles. La première explore le rôle des biais inductifs dans le problème d'ancrage de langage où les agents doivent aligner leur expérience physique du monde avec les entrées linguistiques fournies par des partenaires sociaux. Notre dernière contribution computationnelle introduit l'agent IMAGINE : un agent autotélique Vygotskien qui convertit les descriptions linguistiques données par un partenaire social en objectifs atteignables. Imagine tire parti de la productivité linguistique et de la généralisation systématique pour développer de manière créative un répertoire de compétences ouvert.

Between acquiring new knowledge and reviewing old knowledge to mitigate forgetting, learners may find it difficult to organize their learning time effectively. Adaptive spacing algorithms, like SuperMemo, can help learners deal with this trade-off. Such algorithms sequentially plan reviews of a given piece of knowledge to adapt to the specific and ongoing needs of each learner. Compared to a fixed and identical temporal spacing between reviews, several experiments have shown that adaptive spacing improves long-term memory retention of the piece of knowledge.To date, research on adaptive spacing algorithms has focused on the pure memorization of simple pieces of knowledge, which are often represented by flashcards. However, several studies in cognitive psychology have shown that the benefits of spacing out learning episodes on long-term retention also extend to more complex knowledge, such as learning concepts and procedures in mathematics. In this thesis, we have therefore sought to develop adaptive and personalized spacing algorithms for optimizing long-term mastery of knowledge components (KCs).First, we develop and present a new statistical model of learning and forgetting of knowledge components, coined DAS3H, and we empirically show that DAS3H has better predictive performance than several learner models in educational data mining. Second, we develop several adaptive spacing heuristics for long-term mastery of KCs and compare their performance on simulated data. Two of these heuristics use the DAS3H model to select which KC should be reviewed by a given learner at a given time. In addition, we propose a new greedy procedure to select the most promising subset of KCs instead of the best KC to review. Finally, in the last chapter of this thesis, we develop AC4S, a deep reinforcement learning algorithm for adaptive spacing for KCs. We compare this data-driven approach to the heuristic methods that we presented previously.; Entre acquérir de nouvelles connaissances et revoir les anciennes pour en atténuer l’oubli, les apprenants peuvent avoir du mal à organiser efficacement leur temps d’apprentissage. Les algorithmes d’espacement adaptatif de l’apprentissage, tels SuperMemo, permettent d’aider les apprenants à résoudre cet arbitrage. Ces algorithmes planifient les révisions successives d’une même connaissance de manière optimale et personnalisée en tenant compte des besoins de chaque apprenant. Comparé à un espacement temporel entre les révisions identique pour tous les individus, plusieurs expériences montrent que l’espacement adaptatif maintient un plus haut degré d’ancrage en mémoire à long terme des informations apprises.Jusqu’ici, la recherche sur l’espacement adaptatif de l’apprentissage s’est concentrée sur la mémorisation pure de connaissances simples, représentées souvent par le biais de flashcards. Or, plusieurs études en psychologie cognitive montrent que les bénéfices de l’espacement de l’apprentissage sur la mémorisation à long terme s’étendent aussi à des connaissances plus complexes, telles que l’apprentissage de concepts et de procédures en mathématiques. Dans cette thèse, nous avons donc cherché à développer des algorithmes d’espacement adaptatif et personnalisé de l’apprentissage de composantes de connaissance (CC).Dans un premier temps, nous proposons un nouveau modèle statistique de l’apprentissage et l’oubli de CC, appelé DAS3H, et montrons empiriquement qu’il possède de meilleures performances prédictives que plusieurs modèles de l’apprenant en fouille de données éducatives. Ensuite, nous développons plusieurs heuristiques d’espacement adaptatif pour la maîtrise à long terme de CC et comparons leurs performances sur des données simulées. Deux de ces heuristiques reposent sur le modèle DAS3H pour sélectionner la CC à faire réviser à un instant donné. Nous proposons en outre une nouvelle procédure gloutonne pour sélectionner le sous-ensemble de CC le plus prometteur au lieu de la meilleure CC à faire réviser. Enfin, dans le dernier chapitre de cette thèse, nous développons AC4S, un algorithme d’apprentissage par renforcement profond pour l’espacement adaptatif de l’apprentissage de CC. Nous comparons cette approche fondée sur les données à nos méthodes heuristiques, présentées précédemment.

The computer science project (SiSU) of the CNRS Science for the Environment Joint Research Unit designs decision support methods to help better management of complex environmental systems.This thesis work is part of this context. They aim to study the contributions of several types of computer methods to improve our knowledge of complex systems and thus provide assistance in their management in situations of high uncertainty. Indeed, complex environmental systems cannot always be known and modeled with precision. This is for example the case in fisheries biology where management methods must be proposed despite a lack of knowledge on the observed system, in our case study: the Corsican coastal fishery. Our first work focused on the calibration of models, i.e. the search for parameter values allowing our models to best represent the dynamics of the system. They have shown the limits of the usual approaches and the need to use probabilistic approaches based on large quantities of simulations. They bring a precious help for the acquisition of knowledge, in particular by delimiting sets of solutions. These sets can then be used in robust optimization methods, or even in adjustable robust optimization. These approaches allow not only to take into account the uncertainties, but also to quantify the reduction of uncertainty that new years of data can bring, in order to propose more and more precise strategies in the long term. Optimization can therefore be used effectively at the level of decision makers. However, the small-scale coastal fishery in Corsica is a system in which a large number of actors act with different behaviors that are difficult to predict and control. Optimization does not seem adapted to the study of this scale because of the quantity of parameters and the infinite number of stochastic transitions generated. For this, methods based on deep reinforcement learning have been proposed. These approaches allowed us to propose a model that manages both decision-makers and fishermen, the former seeking to reduce the ecological impact, the latter to maximize their gains. From this, we were able to show that little knowledge is sufficient for the maximization of the fishermen's gains. Moreover, this approach, coupled with optimization, allowed us to obtain efficient quota decisions. Finally, this system allowed us to study the impact of certain individual behaviors of maximizing gains to the detriment of respecting the recommendations of the decision makers. It then appeared that effective and adapted management policies can help to mitigate the ecological impact of a significant amount of these behaviors. Thus, we were able to contribute in a theoretical way to broaden the application domains of the theory of modeling and simulation, to propose a set of optimization and machine learning tools for the management of dynamic systems partially observable, but also applicative for the problem of fisheries management in Corsica., Le projet informatique (SiSU) de l’Unité Mixe de Recherche CNRS Science pour l’Environnement conçoit des méthodes d’aide à la décision pour aider à une meilleure gestion des systèmes complexes environnementaux. Ces travaux de thèse s’inscrivent dans ce contexte. Ils ont pour objectif d'étudier les apports de plusieurs types de méthodes informatiques afin d'améliorer nos connaissances sur les systèmes complexes et ainsi de fournir une aide à leur gestion en situation de fortes incertitudes. En effet, les systèmes complexes environnementaux ne peuvent pas toujours être connus et modélisés avec précision. C’est par exemple le cas en biologie halieutique où des méthodes de gestion doivent être proposées malgré un manque de connaissances sur le système observé, dans notre cas d’étude : la pêche côtière Corse. Nos premiers travaux ont porté sur la calibration de modèles, c’est-à-dire le recherche de valeurs de paramètres permettant à nos modèles de représenter au mieux la dynamique du système. Ils ont montré les limites des approches habituelles et la nécessité d’utiliser des approches probabilistes basées sur de grandes quantités de simulations. Elles apportent une aide précieuse quant à l’acquisition de connaissances, notamment en délimitant des ensembles de solutions. Ceux-ci peuvent alors être utilisés dans des méthodes d’optimisation robuste, voire d’optimisation robuste ajustable. Ces approches permettent non seulement de prendre en compte les incertitudes, mais également de quantifier la réduction d’incertitude que de nouvelles années de données pourront apporter, afin de proposer des stratégies de plus en plus précises à long terme. L’optimisation est donc utilisable efficacement à l’échelle des décideurs. Cependant, la petite pêche côtière Corse, est un système sur lequel agissent un grand nombre d’acteurs avec des comportements différents et difficilement prévisibles et contrôlables. L’optimisation ne semble pas adaptée à l’étude de cette échelle de par la quantité de paramètres et le nombre infini de transitions stochastiques engendrées. Pour cela, des méthodes basées sur l’apprentissage profond par renforcement ont été proposées. Ces approches nous ont permis dans un premier temps de proposer un modèle gérant à la fois décideurs et pêcheurs, les uns cherchant à réduire l’impact écologique, les autres à maximiser leurs gains. À partir de cela, nous avons pu montrer que de faibles connaissances suffisent pour la maximisation des gains des pêcheurs. De plus, cette approche, couplée à de l’optimisation, a permis d’obtenir des décisions d’instauration de quotas efficaces. Enfin, ce système nous a permis d’étudier l’impact de certains comportements individuels de maximisation des gains au détriment du respect des recommandations des décideurs. Il est alors apparu que des politiques de gestion efficaces et adaptées peuvent permettre de pallier l’impact écologique d’une quantité non négligeable de ces comportements. Ainsi, nous avons pu contribuer de manière théorique à élargir les domaines d’application de la théorie de la modélisation et de la simulation, proposer un ensemble d’outils d’optimisation et d’apprentissage automatique à la gestion de systèmes dynamiques partiellement observables, mais également applicative pour la problématique de la gestion de la pêche en Corse.