Search

Bien qu'ils soient capables de représenter des fonctions très complexes, les réseaux de neurones profonds sont entraînés à l'aide de variations autour de la descente de gradient, un algorithme qui est basé sur une simple linéarisation de la fonction de coût à chaque itération lors de l'entrainement. Dans cette thèse, nous soutenons qu'une approche prometteuse pour élaborer une théorie générale qui expliquerait la généralisation des réseaux de neurones, est de s'inspirer d'une analogie avec les modèles linéaires, en étudiant le développement de Taylor au premier ordre qui relie des pas dans l'espace des paramètres à des modifications dans l'espace des fonctions. Cette thèse par article comprend 3 articles ainsi qu'une bibliothèque logicielle. La bibliothèque NNGeometry (chapitre 3) sert de fil rouge à l'ensemble des projets, et introduit une Interface de Programmation Applicative (API) simple pour étudier la dynamique d'entrainement linéarisée de réseaux de neurones, en exploitant des méthodes récentes ainsi que de nouvelles accélérations algorithmiques. Dans l'article EKFAC (chapitre 4), nous proposons une approchée de la Matrice d'Information de Fisher (FIM), utilisée dans l'algorithme d'optimisation du gradient naturel. Dans l'article Lazy vs Hasty (chapitre 5), nous comparons la fonction obtenue par dynamique d'entrainement linéarisée (par exemple dans le régime limite du noyau tangent (NTK) à largeur infinie), au régime d'entrainement réel, en utilisant des groupes d'exemples classés selon différentes notions de difficulté. Dans l'article NTK alignment (chapitre 6), nous révélons un effet de régularisation implicite qui découle de l'alignement du NTK au noyau cible, au fur et à mesure que l'entrainement progresse., Despite being able to represent very complex functions, deep artificial neural networks are trained using variants of the basic gradient descent algorithm, which relies on linearization of the loss at each iteration during training. In this thesis, we argue that a promising way to tackle the challenge of elaborating a comprehensive theory explaining generalization in deep networks, is to take advantage of an analogy with linear models, by studying the first order Taylor expansion that maps parameter space updates to function space progress. This thesis by publication is made of 3 papers and a software library. The library NNGeometry (chapter 3) serves as a common thread for all projects, and introduces a simple Application Programming Interface (API) to study the linearized training dynamics of deep networks using recent methods and contributed algorithmic accelerations. In the EKFAC paper (chapter 4), we propose an approximate to the Fisher Information Matrix (FIM), used in the natural gradient optimization algorithm. In the Lazy vs Hasty paper (chapter 5), we compare the function obtained while training using a linearized dynamics (e.g. in the infinite width Neural Tangent Kernel (NTK) limit regime), to the actual training regime, by means of examples grouped using different notions of difficulty. In the NTK alignment paper (chapter 6), we reveal an implicit regularization effect arising from the alignment of the NTK to the target kernel as training progresses.

National audience; Le neurofeedback (NF) est une méthode permettant à un individu d'apprendre à réguler son activité cérébrale. Les acquisitions simultanées par électroencéphalographie (EEG) et imagerie par résonance magnétique fonctionnelle (IRMf) permettent un entraînement NF plus efficace (Perronnet et al., 2017, https://doi.org/10.3389/fnhum.2017.00193). Cependant, l'utilisation de l'IRM étant très contraignante et coûteuse, nous souhaitons minimiser son utilisation. Ainsi, nous proposons une méthode basée sur un réseau de neurones convolutif unidimensionnel (CNN 1D) permettant de prédire les scores NF-IRMf à partir des signaux EEG.

With the enthusiasm for digital twins in various domains, surface reconstruction from raw 3D point clouds is increasingly demanded while facing multifaceted challenges. Low cost data acquisition devices make it possible to obtain 3D scans easily and quickly, but may lead to defect-laden point clouds. In addition, users expect lightweight and controllable surface re- construction approaches with personalized criteria depending on their applications. This thesis aims at addressing these issues by contributing several approaches to the problem of surface reconstruction from two aspects: (1) point cloud comprehension and (2) surface reconstruction with a priori information.Concretely, we first propose the notion of progressive discrete domain for global implicit re- construction approaches that refines and optimizes a discrete 3D domain in accordance with both input and output, and to user-defined criteria. Based on such a domain discretization, we devise a progressive primitive-aware surface reconstruction approach with the capacity to refine the implicit function and its representation, in which the most ill-posed parts of the re- construction problem are postponed to later stages of the reconstruction, and where the fine geometric details are resolved after discovering the topology. Secondly, we contribute a deep learning-based approach that learns to detect and consolidate sharp feature points on raw 3D point clouds, whose results can be taken as additional inputs to consolidate sharp features for the previous reconstruction approach. Finally, we contribute a variational shape reconstruction method from unoriented point clouds, leveraging both quadric error metrics (QEM) and clus- tering through variational partitioning. The output triangle mesh is concise and anisotropic, with mesh vertices equidistributed along sharp creases.In summary, this thesis seeks effective surface reconstruction from a global and progressive perspective. By combining multiple priors and designing meaningful criteria, the contributed approaches can deal with various defects and multi-scale features.; Avec l’enthousiasme pour les jumeaux numériques dans divers domaines, la reconstruction de surfaces à partir de nuages de points 3D est de plus en plus nécessaire, tout en faisant face à des défis scientifiques multiformes. Les dispositifs d’acquisition de données à faible coût permettent d’obtenir facilement et rapidement des scans 3D, mais peuvent conduire à des nuages de points 3D avec défauts. De plus, les utilisateurs attendent des approches de reconstruction de surface légères et contrôlables avec des critères personnalisés en fonction de leurs applications. Cette thèse vise à aborder ces questions en apportant plusieurs approches au problème de la reconstruction de surface sous deux aspects : (1) l’analyse de nuages de points, et (2) la reconstruction de surface avec des informations a priori.Nous proposons d’abord une discrétisation progressive (grossier vers fin) du domaine pour les approches globales implicite, leur permettant de gérer divers défauts. Cette méthode est étendue pour être informée par des primitives détectées dans le nuage de points. Ensuite, nous présentons une approche basée sur l’apprentissage profond qui apprend à détecter et à consoli- der des points appartenant aux singularités (coins, arêtes vives) dans le nuage de points 3D. Ces point singuliers sont ensuite considérés comme une entrée supplémentaire à la méthode de re- construction progressive. Enfin, nous apportons une méthode de reconstruction variationnelle à partir de nuages de points non-orientés, tirant parti à la fois des métriques d’erreur quadra- tiques et du clustering via partitionnement variationnel. Le maillage triangulaire de sortie est concis et anisotrope, avec des sommets de maillage répartis sur les arêtes vives.En résumé, cette thèse vise à contribuer des approches efficientes pour la reconstruction de surfaces dans une perspective globale et progressive. En combinant plusieurs a priori et en prenant en compte différents critères, les méthodes proposées peuvent traiter divers défauts et détails à plusieurs échelles.

L’apprentissage automatique repose pour un bon nombre de problèmes sur la minimisation d’une fonction de coût, pour ce faire il tire parti de la vaste littérature sur l’optimisation qui fournit des algorithmes et des garanties de convergences pour ce type de problèmes. Cependant récemment plusieurs modèles d’apprentissage automatique qui ne peuvent pas être formulé comme la minimisation d’un coût unique ont été propose, à la place ils nécessitent de définir un jeu entre plusieurs joueurs qui ont chaque leur propre objectif. Un de ces modèles sont les réseaux antagonistes génératifs (GANs). Ce modèle génératif formule un jeu entre deux réseaux de neurones, un générateur et un discriminateur, en essayant de tromper le discriminateur qui essaye de distinguer les vraies images des fausses, le générateur et le discriminateur s’améliore résultant en un équilibre de Nash, ou les images produites par le générateur sont indistinguable des vraies images. Malgré leur succès les GANs restent difficiles à entrainer à cause de la nature antagoniste du jeu, nécessitant de choisir les bons hyperparamètres et résultant souvent en une dynamique d’entrainement instable. Plusieurs techniques de régularisations ont été propose afin de stabiliser l’entrainement, dans cette thèse nous abordons ces instabilités sous l’angle d’un problème d’optimisation. Nous commençons par combler le fossé entre la littérature d’optimisation et les GANs, pour ce faire nous formulons GANs comme un problème d’inéquation variationnelle, et proposons de la littérature sur le sujet pour proposer des algorithmes qui convergent plus rapidement. Afin de mieux comprendre quels sont les défis de l’optimisation des jeux, nous proposons plusieurs outils afin d’analyser le paysage d’optimisation des GANs. En utilisant ces outils, nous montrons que des composantes rotationnelles sont présentes dans le voisinage des équilibres, nous observons également que les GANs convergent rarement vers un équilibre de Nash mais converge plutôt vers des équilibres stables locaux (LSSP). Inspirer par le succès des GANs nous proposons pour finir, une nouvelle famille de jeux que nous appelons adversarial example games qui consiste à entrainer simultanément un générateur et un critique, le générateur cherchant à perturber les exemples afin d’induire en erreur le critique, le critique cherchant à être robuste aux perturbations. Nous montrons qu’à l’équilibre de ce jeu, le générateur est capable de générer des perturbations qui transfèrent à toute une famille de modèles., Many machine learning (ML) problems can be formulated as minimization problems, with a large optimization literature that provides algorithms and guarantees to solve this type of problems. However, recently some ML problems have been proposed that cannot be formulated as minimization problems but instead require to define a game between several players where each player has a different objective. A successful application of such games in ML are generative adversarial networks (GANs), where generative modeling is formulated as a game between a generator and a discriminator, where the goal of the generator is to fool the discriminator, while the discriminator tries to distinguish between fake and real samples. However due to the adversarial nature of the game, GANs are notoriously hard to train, requiring careful fine-tuning of the hyper-parameters and leading to unstable training. While regularization techniques have been proposed to stabilize training, we propose in this thesis to look at these instabilities from an optimization perspective. We start by bridging the gap between the machine learning and optimization literature by casting GANs as an instance of the Variational Inequality Problem (VIP), and leverage the large literature on VIP to derive more efficient and stable algorithms to train GANs. To better understand what are the challenges of training GANs, we then propose tools to study the optimization landscape of GANs. Using these tools we show that GANs do suffer from rotation around their equilibrium, and that they do not converge to Nash-Equilibria. Finally inspired by the success of GANs to generate images, we propose a new type of games called Adversarial Example Games that are able to generate adversarial examples that transfer across different models and architectures.

Malgré des progrès remarquables dans une grande variété de sujets, les réseaux de neurones éprouvent toujours des difficultés à exécuter certaines tâches simples pour lesquelles les humains excellent. Comme indiqué dans des travaux récents, nous émettons l'hypothèse que l'écart qualitatif entre l'apprentissage en profondeur actuel et l'intelligence humaine est le résultat de biais inductifs essentiels manquants. En d'autres termes, en identifiant certains de ces biais inductifs essentiels, nous améliorerons le transfert d'informations dans les réseaux artificiels, ainsi que certaines de leurs limitations actuelles les plus importantes sur un grand ensemble de tâches. Les limites sur lesquelles nous nous concentrerons dans cette thèse sont la généralisation systématique hors distribution et la capacité d'apprendre sur des échelles de temps extrêmement longues. Dans le premier article, nous nous concentrerons sur l'extension des réseaux de neurones récurrents (RNN) à contraintes spectrales et proposerons une nouvelle structure de connectivité basée sur la décomposition de Schur, en conservant les avantages de stabilité et la vitesse d'entraînement des RNN orthogonaux tout en améliorant l'expressivité pour les calculs complexes à court terme par des dynamiques transientes. Cela sert de première étape pour atténuer le problème du "exploding vanishing gradient" (EVGP). Dans le deuxième article, nous nous concentrerons sur les RNN avec une mémoire externe et un mécanisme d'auto-attention comme un moyen alternatif de résoudre le problème du EVGP. Ici, la contribution principale sera une analyse formelle sur la stabilité asymptotique du gradient, et nous identifierons la pertinence d'événements comme un ingrédient clé pour mettre à l'échelle les systèmes d'attention. Nous exploitons ensuite ces résultats théoriques pour fournir un nouveau mécanisme de dépistage de la pertinence, qui permet de concentrer l'auto-attention ainsi que de la mettre à l'échelle, tout en maintenant une bonne propagation du gradient sur de longues séquences. Enfin, dans le troisième article, nous distillons un ensemble minimal de biais inductifs pour les tâches cognitives purement relationnelles et identifions que la séparation des informations relationnelles des entrées sensorielles est un ingrédient inductif clé pour la généralisation OoD sur des entrées invisibles. Nous discutons en outre des extensions aux relations non-vues ainsi que des entrées avec des signaux parasites., Despite remarkable advances in a wide variety of subjects, neural networks are still struggling on simple tasks humans excel at. As outlined in recent work, we hypothesize that the qualitative gap between current deep learning and human-level artificial intelligence is the result of missing essential inductive biases. In other words, by identifying some of these key inductive biases, we will improve information transfer in artificial networks, as well as improve on some of their current most important limitations on a wide range of tasks. The limitations we will focus on in this thesis are out-of-distribution systematic generalization and the ability to learn over extremely long-time scales. In the First Article, we will focus on extending spectrally constrained Recurrent Neural Networks (RNNs), and propose a novel connectivity structure based on the Schur decomposition, retaining the stability advantages and training speed of orthogonal RNNs while enhancing expressivity for short-term complex computations via transient dynamics. This serves as a first step in mitigating the Exploding Vanishing Gradient Problem (EVGP). In the Second Article, we will focus on memory augmented self-attention RNNs as an alternative way to tackling the Exploding Vanishing Gradient Problem (EVGP). Here the main contribution will be a formal analysis on asymptotic gradient stability, and we will identify event relevancy as a key ingredient to scale attention systems. We then leverage these theoretical results to provide a novel relevancy screening mechanism, which makes self-attention sparse and scalable, while maintaining good gradient propagation over long sequences. Finally, in the Third Article, we distill a minimal set of inductive biases for purely relational cognitive tasks, and identify that separating relational information from sensory input is a key inductive ingredient for OoD generalization on unseen inputs. We further discuss extensions to unseen relations as well as settings with spurious features.

Le processus du don d’organes, crucial pour la survie de nombreux patients, ne répond pas à la demande croissante. Il dépend d’une identification, par les cliniciens, des potentiels donneurs d’organes. Cette étape est imparfaite et manque entre 30% et 60% des potentiels donneurs d’organes et ce indépendamment des pays étudiés. Améliorer ce processus est un impératif à la fois moral et économique. L’objectif de ce mémoire était de développer et valider un modèle afin de détecter automatiquement les potentiels donneurs d’organes. Pour ce faire, les données cliniques de l’ensemble des patients adultes hospitalisés aux soins intensifs du CHUM entre 2012 et 2019 ont été utilisées. 103 valeurs de laboratoires temporelles différentes et 2 valeurs statiques ont été utilisées pour développer un modèle de réseaux de neurones convolutifs entrainé à prédire les potentiels donneurs d’organes. Ce modèle a été comparé à un modèle fréquentiste linéaire non temporel. Le modèle a par la suite été validé dans une population externe cliniquement distincte. Différentes stratégies ont été comparées pour peaufiner le modèle dans cette population externe et améliorer les performances. Un total de 19 463 patients, dont 397 donneurs potentiels, ont été utilisés pour développer le modèle et 4 669, dont 36 donneurs potentiels, ont été utilisés pour la validation externe. Le modèle démontrait une aire sous la courbe ROC (AUROC) de 0.966 (IC95% 0.9490.981), supérieure au modèle fréquentiste linéaire (AUROC de 0.940 IC95% 0.908-0.969, p=0.014). Le modèle était aussi supérieur dans certaines sous populations d’intérêt clinique. Dans le groupe de validation externe, l’AUROC du modèle de réseaux de neurones était de 0.820 (0.682-0.948) augmentant à 0.874 (0.731-0.974) à l’aide d’un ré-entrainement. Ce modèle prometteur a le potentiel de modifier et d’améliorer la détection des potentiels donneurs d’organes. D’autres étapes de validation prospectives et d’amélioration du modèle, notamment l’ajout de données spécifiques, sont nécessaires avant une utilisation clinique de routine., The organ donation process, however crucial for many patients’ survival, is not enough to address the increasing demand. Its efficiency depends on potential organ donors’ identification by clinicians. This imperfect step misses between 30%–60% of potential organ donor. Improving that process is a moral and economic imperative. The main goal of this work was to address that liming step by developing and validating a predictive model that could automatically detect potential organ donors. The clinical data from all patients hospitalized, between 2012 and 2019 to the CHUM critical care units were extracted. The temporal evolution of 103 types of laboratory analysis and 2 static clinical data was used to develop and test a convolutive neural network (CNN), trained to predict potential organ donors. This model was compared to a non-temporal logistical model as a baseline. The CNN model was validated in a clinically distinct external population. To improve the performance in this external cohort, strategies to fine-tune the network were compared. 19 463 patients, including 397 potential organ donors, were used to create the model and 4 669 patients, including 36 potential organ donors, served as the external validation cohort. The CNN model performed better with an AUROC of 0.966 (IC95% 0.949-0.981), compared to the logistical model (AUROC de 0.940 IC95% 0.908-0.969, p=0.014). The CNN model was also superior in specific subpopulation of increased clinical interest. In the external validation cohort, the CNN model’s AUROC was 0.820 (0.682-0.948) and could be improved to 0.874 (0.731-0.974) after fine tuning. This promising model could change potential organ donors' detection for the better. More studies are however required to improve the model, by adding more types of data, and to validate prospectively the mode before routine clinical usage.

Artificial intelligence is part of our daily life. The models developed are more and more complex. Regulations such as the French Law for a Digital Republic (Loi Pour une République Numérique) are directing software development towards more ethics and explainability. Understanding the functioning of deep models is of technical and human interest. The solutions proposed by the community are numerous, and there is no miracle method that answers all the problems. We address the following question: how to integrate explainability in an AI project based on deep learning techniques? After a state of the art presenting the richness of the literature in the field, we present the context and prerequisites for our work. Then we present a protocol for evaluating local explanations and a modular methodology for global model characterization. Finally, we show that our work is integrated into its industrial environment. This work results in concrete tools allowing the reader to apprehend the richness of the explicability tools at their disposal.; L’intelligence Artificielle fait partie de notre quotidien. Les modèles développés sont de plus en plus complexes. Les régulations telles que la Loi Pour une République Numérique orientent les développements logiciels vers plus d’éthique et d’explicabilité. Comprendre le fonctionnement des modèles profonds a un intérêt technique et humain. Les solutions proposées par la communauté sont nombreuses, et il n’y a pas de méthode miracle répondant à toutes les problématiques. Nous abordons la question suivante : comment intégrer l’explicabilité dans un projet d’IA basé sur des techniques d’apprentissage profond? Après un état de l’art présentant la richesse de la littérature du domaine, nous présentons le contexte et les prérequis de nos travaux. Ensuite nous présentons un protocole d’évaluation d’explications locales et une méthodologie modulaire de caractérisation globale du modèle. Enfin, nous montrons que nos travaux sont intégrés à leur environnement industriel. Ces travaux résultent en l’obtention d’outils concrets permettant au lecteur d’appréhender la richesse des outils d’explicabilité à sa disposition.

Artificial neural networks are at the core of recent advances in Artificial Intelligence. One of the main challenges faced today, especially by companies likeThales designing advanced industrial systems is to ensure the safety of newgenerations of products using these technologies. In 2013 in a key observation, neural networks were shown to be sensitive to adversarial perturbations, raising serious concerns about their applicability in critically safe environments. In the last years, publications studying the various aspects of this robustness of neural networks, and rising questions such as "Why adversarial attacks occur?", "How can we make the neural network more robust to adversarial noise?", "How to generate stronger attacks?" etc., have grown exponentially. The contributions of this thesis aim to tackle such problems. The adversarial machine learning community concentrates majorly on classification scenarios, whereas studies on regression tasks are scarce. Our contributions bridge this significant gap between adversarial machine learning and regression applications.The first contribution in Chapter 3 proposes a white-box attackers designed to attack regression models. The presented adversarial attacker is derived from the algebraic properties of the Jacobian of the network. We show that our attacker successfully fools the neural network and measure its effectiveness in reducing the estimation performance. We present our results on various open-source and real industrial tabular datasets. Our analysis relies on the quantification of the fooling error as well as different error metrics. Another noteworthy feature of our attacker is that it allows us to optimally attack a subset of inputs, which may help to analyze the sensitivity of some specific inputs. We also, show the effect of this attacker on spectrally normalised trained models which are known to be more robust in handling attacks.The second contribution of this thesis (Chapter 4) presents a multivariate Lipschitz constant analysis of neural networks. The Lipschitz constant is widely used in the literature to study the internal properties of neural networks. But most works do a single parametric analysis, which do not allow to quantify the effect of individual inputs on the output. We propose a multivariate Lipschitz constant-based stability analysis of fully connected neural networks allowing us to capture the influence of each input or group of inputs on the neural network stability. Our approach relies on a suitable re-normalization of the input space, intending to perform a more precise analysis than the one provided by a global Lipschitz constant. We display the results of this analysis by a new representation designed for machine learning practitioners and safety engineers termed as a Lipschitz star. We perform experiments on various open-access tabular datasets and an actual Thales Air Mobility industrial application subject to certification requirements.The use of spectral normalization in designing a stability control loop is discussed in Chapter 5. A critical part of the optimal model is to behave according to specified performance and stability targets while in operation. But imposing tight Lipschitz constant constraints while training the models usually leads to a reduction of their accuracy. Hence, we design an algorithm to train "stable-by-design" neural network models using our spectral normalization approach, which optimizes the model by taking into account both performance and stability targets. We focus on Small Unmanned Aerial Vehicles (UAVs). More specifically, we present a novel application of neural networks to detect in real-time elevon positioning faults to allow the remote pilot to take necessary actions to ensure safety.; Les réseaux de neurones artificiels sont au cœur des avancées récentes en Intelligence Artificielle. L'un des principaux défis auxquels on est aujourd'hui confronté, notamment au sein d'entreprises comme Thales concevant des systèmes industriels avancés, est d'assurer la sécurité des nouvelles générations de produits utilisant cette technologie. En 2013, une observation clé a révélé que les réseaux de neurones sont sensibles à des perturbations adverses. Ceci soulève de sérieuses inquiétudes quant à leur applicabilité dans des environnements où la sécurité est critique. Au cours des dernières années, des publications ont étudiées les différents aspects de la robustesse des réseaux de neurones, et des questions telles que ``Pourquoi des attaques adverses se produisent?", ``Comment pouvons-nous rendre les réseaux de neurones plus robustes à ces bruits ?", ``Comment générer des attaques plus fortes", etc., se sont posées avec une acuité croissante. Cette thèse vise à apporter des réponses à de telles questions. La communauté s'intéressant aux attaques adverses en apprentissage automatique travaille principalement sur des scénarios de classification, alors que les études portant sur des tâches de régression sont rares. Nos contributions comblent le fossé existant entre les méthodes adverses en apprentissage et les applications de régression.Notre première contribution, dans le chapitre 3, propose un algorithme de type ``boîte blanche" pour attaquer les modèles de régression. L'attaquant adverse présenté est déduit des propriétés algébriques du Jacobien du réseau. Nous montrons que notre attaquant réussit à tromper le réseau de neurones et évaluons son efficacité à réduire les performances d'estimation. Nous présentons nos résultats sur divers ensembles de données tabulaires industriels en libre accès et réels. Notre analyse repose sur la quantification de l'erreur de tromperie ainsi que différentes métriques. Une autre caractéristique remarquable de notre algorithme est qu'il nous permet d'attaquer de manière optimale un sous-ensemble d'entrées, ce qui peut aider à identifier la sensibilité de certaines d'entre elles. La deuxième contribution de cette thèse (Chapitre 4) présente une analyse de la constante de Lipschitz multivariée des réseaux de neurones. La constante de Lipschitz est largement utilisée dans la littérature pour étudier les propriétés intrinsèques des réseaux de neurones. Mais la plupart des travaux font une analyse mono-paramétrique, qui ne permet pas de quantifier l'effet des entrées individuelles sur la sortie. Nous proposons une analyse multivariée de la stabilité des réseaux de neurones entièrement connectés, reposant sur leur propriétés Lipschitziennes. Cette analyse nous permet de saisir l'influence de chaque entrée ou groupe d'entrées sur la stabilité du réseau de neurones. Notre approche repose sur une re-normalisation appropriée de l'espace d'entrée, visant à effectuer une analyse plus précise que celle fournie par une constante de Lipschitz globale. Nous visualisons les résultats de cette analyse par une nouvelle représentation conçue pour les praticiens de l'apprentissage automatique et les ingénieurs en sécurité appelée étoile de Lipschitz. L'utilisation de la normalisation spectrale dans la conception d'une boucle de contrôle de stabilité est abordée au chapitre 5. Une caractéristique essentielle du modèle optimal consiste à satisfaire aux objectifs de performance et de stabilité spécifiés pour le fonctionnement. Cependant, contraindre la constante de Lipschitz lors de l'apprentissage des modèles conduit généralement à une réduction de leur précision. Par conséquent, nous concevons un algorithme permettant de produire des modèles de réseaux de neurones ``stable dès la conception" en utilisant une nouvelle approche de normalisation spectrale, qui optimise le modèle, en tenant compte à la fois des objectifs de performance et de stabilité. Nous nous concentrons sur les petits drones aériens (UAV).

In a global context of climate change and water insecurity, soil moisture is an important land parameter for applications strongly dependent on water resources such as agriculture. Given its role in the soil-vegetation-atmosphere interactions, it is recognized as an essential climate variable (ECV). Root-Zone Soil Moisture (RZSM) is of particular interest since plants extract water and nutrients from the root zone. Over the past decades, remote sensing techniques have been employed to observe surface soil moisture (SSM). However, they do not allow the retrieval of RZSM due to the shallow penetration depth of the current sensors. In addition to direct measurements and indirect in-situ measurements, RZSM can be estimated via physically-based models, data assimilation techniques or data-driven methods. This thesis is structured in three axes and is centered on the prediction of RZSM at large scales and subkilometric resolutions using Artificial Neural Networks (ANNs). The first part focuses on the prediction of RZSM at different locations around the world using an ANN model based on only in-situ SSM information. A transferability study of the approach as well as the contribution of each soil moisture network were conducted. Overall, the model proved to be reliable in areas of strong seasonal dynamics but less efficient in areas where the link between surface and the root zone is weak, namely in regions of high evaporation rates. The second axis aims at complexifying the method in order to improve the performances there where the first approach was lacking. A hybridization of the method was conducted by feeding physical process-related variables to the ANN model, namely the soil moisture index (SWI), evaporation efficiency and the normalized difference vegetation index (NDVI). The results demonstrated that the ANN model composed of SSM features and all process-related variables was reliable in predicting RZSM. The individual impact of each variable on the quality of predictions was also highlighted via a climate analysis. The last axis concerns RZSM spatial mapping over continental Europe at a subkilometric resolution using the locally-trained ANN model of the second axis. RZSM 1 km maps were produced based on SSM 1 km data provided by the Copernicus SSM1km product and process-related variables. For validation purposes, 9 km and 36 km RZSM maps were also produced based on other SSM products. The 1 km RZSM product was consistent with the validation data over some areas but constrained by the C-band limitations (product SSM1km) over complex sceneries. The 9 km and 36 km RZSM maps which were generated by the same ANN model highlight the impact of data quality on the quality of the predictions. Overall, we demonstrated the feasibility of spatializing RZSM at large scales and subkilometric resolution from a locally-trained ANN model. More qualitative SSM data are expected from future missions and are promising for the enhancement of the prediction product.; Dans un contexte global de changement climatique et de défis liés à l'insécurité hydrique, l'humidité du sol est bel et bien une variable de fort intérêt pour des applications dépendant des ressources en eau telle que l'agriculture. Vu son rôle majeur dans les interactions sol-végétation-atmosphère, elle est reconnue comme une variable climatique essentielle (ECV). L'humidité du sol de la zone racinaire (RZSM) est particulièrement intéressante car les plantes extraient l'eau et les nutriments de la zone racinaire. Au cours des dernières décennies, les techniques de télédétection ont permis d'observer l'humidité du sol de surface (SSM) mais ne permettent pas l'acquisition de la RZSM vu la profondeur de pénétration limitée des capteurs actuels. Outre les mesures directes et les mesures indirectes in-situ, la RZSM peut être estimée via des méthodes basées sur la modélisation physique, techniques d'assimilation de données ou des méthodes basées sur les données. Cette thèse est structurée en trois axes et se focalise sur la prédiction de la RZSM à large échelle et à résolution subkilométrique en utilisant les réseaux de neurones artificiels (ANN). La première partie est centrée autour de la prédiction de la RZSM à différents endroits du monde à l'aide d'un modèle ANN qui se base uniquement sur des données in-situ de la SSM. Une étude de transférabilité de l'approche ainsi que de la contribution de chaque réseau d'humidité a été conduite. Dans l'ensemble, le modèle s'est avéré fiable dans les zones à fortes dynamiques saisonnières mais moins performant dans les zones où le lien entre surface et zone racinaire s'affaiblit telles que les zones à forts taux d'évaporation. Le deuxième axe vise à complexifier la méthode pour améliorer les performances là où la première approche est insuffisante. Une hybridation de la méthode est effectuée en alimentant le ANN par des variables liées aux processus physiques, à savoir l'indice d'humidité des sols (SWI), une efficacité d'évaporation et l'indice de végétation par différence normalisée (NDVI). Les résultats ont montré que le modèle ANN composé des entrées SSM et de toutes les variables liées aux processus était plus fiable pour prédire la RZSM. L'impact individuel de chaque variable sur la qualité des prédictions a été également mis en évidence via une analyse climatique. Le dernier axe concerne la cartographie de la RZSM à l'échelle de l'Europe continentale et à résolution subkilométrique en utilisant le modèle ANN localement entraîné du deuxième axe. Des cartes de la RZSM à 1 km ont été produites à partir de données SSM à 1 km fournies par le produit Copernicus SSM1km et à partir des variables liées aux processus. En guise de validation, des cartes RZSM à 9 km et 36 km ont été aussi produites à partir d'autres produits SSM. Le produit RZSM à 1 km était en accord avec les données de validation sur certaines régions mais contrarié par les limitations de la bande C (produit SSM1km) sur les scènes complexes. Les cartes RZSM à 9 km et 36 km, générées par le même modèle ANN, soulignent l'impact de la qualité des données sur les prédictions. Dans l'ensemble, on a démontré la faisabilité de spatialiser la RZSM à large échelle et à résolution subkilométrique à partir d'un modèle ANN localement entraîné. Des données plus qualitatives de la SSM sont attendues de prochaines missions satellitaires et constituent une piste d'amélioration de l'approche.

Modern wireless communications are pushing the limits of data rate and communication bandwidth needs. With the appearance of new services, users are expected to increase their data usage and access to services, requiring instantaneous response time. To that extent, 5G and future wireless technologies are in the race for high data rate communications, low-latency and connectivity of billions of things, offering new services for users. However, these improvements lead to key challenges, namely sustainability, energy efficiency and overall system complexity. Looking at the future, it appears that for 6G technology, these challenges will become primordial. Specifically, particular attention shall be paid to offer a sustainable design and development of transmitters and receivers hardware components, which are exhibiting key issues about energy consumption. Thus, the design of transceivers must be rethought to put forward low-complexity and sustainable solutions.In this thesis, our objective is to enhance the power efficiency of radio-frequency power amplifiers, leading to a high global system energy efficiency. Indeed, the power amplifier represents the most power hungry hardware component of the transmitter chain. Then, its power efficiency must be maximized to improve global carbon footprint. Nonetheless, this hardware component exhibits strong nonlinearities when operated close to its saturation, where its power efficiency is high. Therefore, we focus on digital pre-distortion approach to linearize the power amplifier and improve its power efficiency. To propose an efficient linearizing module, deep learning, neural networks, solutions have emerged as they offer robustness and reliability to solve nonlinear problems. However, neural networks and particularly applied to digital pre-distortion are facing several issues which represent a bottleneck. Complexity, adaptivity and energy efficiency are the main aspects that a pre-distortion module must take into consideration to be robust. These represent the main challenges of neural networks in this use case. To address these challenges, we propose in this thesis, a novel design of digital pre-distortion based on neural networks to linearize efficiently a power amplifier.To achieve such goal, this thesis is structured on three main axes. (1) First, we propose a fully customized architecture of neural networks dedicated to perform digital pre-distortion. By doing so, we think differently from the ``blackbox'' architecture design and drastically lower the complexity of the digital pre-distortion module. By breaking down the complexity, we are able to offer a cost-effective digital pre-distortion. (2) Second, we investigate approaches to deal with the time-varying effects that may affect the power amplifier, such as the temperature or electrical variations. Usually, neural networks have a poor capacity to adapt to unseen events during their training. Then, to improve the adaptivity of our solution, we choose to use a new class of learning algorithms called meta-learning. Using the latter, we demonstrate that with few data and calibration time, our proposed digital pre-distortion is able to deal with time-varying power amplifiers, with satisfying results for real-world applications. (3) Third, we further optimize our module by considering hardware implementation aspects. We propose to perform quantization on our neural networks to improve the computing resource usage and lower the energy consumption. This step is crucial to propose a hardware implementation since we would like to optimize the computing load and energy efficiency of the system. To avoid the noise induced by the quantization operation, we learn our model how to mitigate this noise by using a quantization aware training. Our results show that our quantized digital pre-distortion has the same performance as without quantization, and presents the same complexity as the implementation of a fast Fourier transform.; Les technologies de communications sans-fil modernes repoussent les limites actuelles en termes de débit et bande passante. En effet, l'apparition de nouveaux services impose un débit et accès fortement accrus. La 5G et les technologies de communications futures font l'objet d'une course au haut-débit, à la faible latence et à la connexion de milliards d'objets. Cependant, de telles améliorations impliquent pléthore de défis à relever tels que la durabilité, l'efficacité énergétique, et la complexité des systèmes. A long terme, il semble que pour la 6G, ces défis deviendront primordiaux. En l'occurrence, une attention particulière devra être portée à la conception durable des éléments matériels constituant les transmetteurs et récepteurs sans-fil. Ainsi, il convient de repenser leur conception pour mettre avant des solutions basse complexité et durables.Cette thèse a pour objectif d'améliorer l'efficacité énergétique des amplificateurs de puissance radiofréquence. L'amplificateur de puissance est le composant le plus énergivore de la chaine de transmission radiofréquence. Ainsi, son efficacité énergétique doit être maximisée pour améliorer l'empreinte carbone du système. Mais, ce composant matériel présente des non-linéarités quand il est utilisé proche de sa saturation, zone où son efficacité est maximale. Par conséquent, dans cette thèse, nous nous intéressons à la pré-distorsion numérique pour linéariser l'amplificateur de puissance, et ainsi améliorer son efficacité énergétique. Afin de proposer un module de linéarisation efficace, des techniques d'apprentissage profond, reposant sur des réseaux de neurones, sont considérées. En effet, elles offrent une certaine robustesse et fiabilité pour résoudre des problèmes non linéaires. Toutefois, les réseaux de neurones et particulièrement appliqués à la pré-distorsion numérique, présentent plusieurs problèmes. La complexité, l'adaptabilité et l'efficacité énergétique sont les principaux aspects à prendre en compte pour concevoir une pré-distorsion efficace ; ces derniers faisant défaut aux réseaux de neurones. Pour traiter ces défis, nous proposons une nouvelle conception de pré-distorsion numérique basée sur des réseaux de neurones pour linéariser efficacement l'amplificateur de puissance.Pour atteindre un tel but, cette thèse se construit autour de trois grands axes. (1) Tout d'abord, nous proposons une architecture de réseaux de neurones spécifique et dédiée à la conception d'une fonction de pré-distorsion. Ce faisant, nous améliorons drastiquement la complexité de cette dernière. (2) Ensuite, nous abordons des approches permettant de faire face aux contraintes temporelles qui influent sur l’amplificateur de puissance. On peut notamment citer des effets relatifs à la température et variations électriques du composant. Généralement, les réseaux de neurones sont peu performants lorsqu'ils doivent s'adapter à des événements inconnus de leur apprentissage. Ainsi, pour améliorer l’adaptabilité de notre solution, nous employons une classe d'algorithmes nommée "méta-apprentissage". Par ce biais, nous démontrons que notre système peut s'adapter en utilisant peu de données et temps de calibration avec des résultats satisfaisants, permettant ainsi son usage en condition réelle. (3) Finalement, nous optimisons notre module en vue d’une implémentation matérielle. Spécifiquement, nous proposons d'agir sur la quantification de nos réseaux de neurones pour améliorer leurs consommations en ressources et énergie. Cette opération s’avère cruciale pour une implémentation où les ressources s'avèrent limitées. Pour éviter le bruit induit par la quantification, nous apprenons à notre solution comment l'atténuer. Nos résultats montrent que l’emploi de la quantification n'altère pas les performances du système. De plus, la solution quantifiée présente la même complexité matérielle qu'une transformée de Fourier.

This thesis addresses different aspects of learning for computational Magnetic Resonance Imaging. The first chapter is an introduction to computational imaging and it illustrates through the case of MRI the developments that have guided this field. It also contains a pedagogical introduction to inverse problems and the associated reconstruction methods. This introduction traces the early linear reconstruction methods, the emergence of non-linear methods and recent advances in reconstruction methods that are learned with neural networks. The following chapters are based on different publications or preprints and, although links are made between the different chapters, they can be read independently of each other. The second chapter deals with spurious minimizers in the optimization of non-uniform Fourier sampling schemes. The motivation is the optimization of MRI sampling schemes for a chosen reconstruction method and for a specific image database. This chapter shows that this type of problem has a combinatorial number of minimizers that can disappear with the large number of images in the training database but that classical MRI databases do not contain enough images to expect this phenomenon to appear. The third chapter proposes a method to globalize the convergence for the optimization of Fourier sampling schemes. This drastically reduces the numerical cost of the optimization while maintaining a significant gain in the image quality. The fourth chapter deals with the training of neural networks that are adaptive to changes in the physics of the acquisition. This formalism allows to solve several blind inverse problems. Finally, the fifth chapter tackles the optimization of neural networks. It proposes a method to scale the learning rate and this opens the way to automate the choice of the hyperparameters during the training phase.; Cette thèse traite d'aspects liés à l'apprentissage pour l'Imagerie par Résonance Magnétique computationnelle. Le premier chapitre est une introduction à l'imagerie computationnelle et illustre à travers le cas de l'IRM les évolutions ayant guidé ce domaine. Il contient aussi une introduction pédagogique aux problèmes inverses et les méthodes de reconstruction associées. Cette introduction retrace les premières méthodes de reconstruction linéaires, l'apparition de méthodes non linéaires et les méthodes récentes de reconstruction apprises à l'aide de réseaux de neurones. Le second chapitre traite des minimiseurs parasites dans l'optimisation de schémas d'échantillonnage de Fourier dont la motivation est l'optimisation de schémas d'échantillonnage pour l'IRM pour une méthode de reconstruction choisie et pour une base de données d'images spécifique. Ce chapitre montre que ce type de problème a un nombre combinatoire de minimiseurs qui peuvent disparaître avec le grand nombre d'images dans la base de données mais que les bases de données classiques d'IRM ne contiennent pas assez d'images pour espérer voir apparaître ce phénomène. Le troisième chapitre propose une méthode de globalisation de la convergence pour l'optimisation de schémas de Fourier. Cela permet de grandement réduire le coût numérique de l'optimisation tout en conservant un gain dans l'amélioration des images. Le quatrième chapitre traite de l'entraînement de réseaux de neurones "unrolled" adaptatifs à des changements dans la physique de l'acquisition. Ce formalisme permet de résoudre plusieurs problèmes inverses aveugles. Enfin, le cinquième chapitre traite des méthodes d'optimisation pour des réseaux de neurones de manière générale. Il propose une méthode permettant d'introduire une mise à l'échelle du pas pour l'optimisation de réseaux de neurones. Cela ouvre la voie à une automatisation du choix des hyperparamètres lors de l'entraînement.

Sensorimotor learning refers to the acquisition of motor skills by an individual, guided by sensory perception, for instance, learning to speak. Human speech acquisition is rather similar to vocal learning by songbirds. Hence, we use songbirds to study the neural circuitry underlying sensorimotor learning. We build computational models to explore the utility of parallel cortical and subcortical pathways that govern song acquisition, and investigate the interplay between functional and structural plasticity within this circuitry. Inspired from the vocal learning behaviour, we look at biologically plausible mechanisms to optimise sensorimotor learning. We investigate the neural correlates of reinforcement learning contributing to vocal learning by observing the neural activity in the song system of male zebra finches. By using both theoretical and experimental approaches of neuroscience, we hope to advance our understanding of vocal learning, and, in general, sensorimotor learning.; L’apprentissage sensorimoteur est l’acquisition d’aptitudes motrices par un individu, guidée par la perception sensorielle, comme l’acquisition de la parole chez l’homme et les oiseaux chanteurs. Nous utilisons les oiseaux chanteurs pour étudier les circuits neuronaux qui soutiennent l’apprentissage sensorimoteur. Nous créons des modèles informatiques pour explorer l’utilité des voies corticales et sous-corticales parallèles qui régissent l’acquisition du chant, et nous étudions l’interaction entre la plasticité fonctionnelle et structurelle dans ces circuits. Inspirés par le comportement d’apprentissage vocal, nous étudions les mécanismes biologiquement plausibles pour optimiser l’apprentissage sensorimoteur. Nous étudions les corrélats neuraux de l’apprentissage par renforcement contribuant à l’apprentissage vocal en observant l’activité neuronale dans le système de chant. En utilisant les approches théoriques et expérimentales, nous espérons mieux comprendre l’apprentissage sensorimoteur.

In this thesis, we study different theoretical aspects of deep learning, in particular optimization, robustness, and approximation. Optimization: We study the optimization landscape of the empirical risk of deep linear neural networks with the square loss. It is known that, under weak assumptions, there are no spurious local minima and no local maxima. However, the existence and diversity of non-strict saddle points, which can play a role in first-order algorithms' dynamics, have only been lightly studied. We go a step further with a full analysis of the optimization landscape at order 2. We characterize, among all critical points, which are global minimizers, strict saddle points, and non-strict saddle points. We enumerate all the associated critical values. The characterization is simple, involves conditions on the ranks of partial matrix products, and sheds some light on global convergence or implicit regularization that have been proved or observed when optimizing linear neural networks. In passing, we provide an explicit parameterization of the set of all global minimizers and exhibit large sets of strict and non-strict saddle points. Robustness: We study the theoretical properties of orthogonal convolutional layers. We establish necessary and sufficient conditions on the layer architecture guaranteeing the existence of an orthogonal convolutional transform. The conditions prove that orthogonal convolutional transforms exist for almost all architectures user in practice for 'circular' padding. We also exhibit limitations with 'valid' boundary conditions and 'same' boundary conditions with zero-padding. Recently, a regularization term imposing the orthogonality of convolutional layers has been proposed, and impressive empirical results have been obtained in different applications cite{wang2020orthogonal}. The second motivation is to specify the theory behind this. We make the link between this regularization term and orthogonality measures. In doing so, we show that this regularization strategy is stable with respect to numerical and optimization errors and that, in the presence of small errors and when the size of the signal/image is large, the convolutional layers remain close to isometric. The theoretical results are confirmed with experiments and the landscape of the regularization term is studied. Experiments on real datasets show that when orthogonality is used to enforce robustness, the parameter multiplying the regularization term can be used to tune a tradeoff between accuracy and orthogonality, for the benefit of both accuracy and robustness. Altogether, the study guarantees that the regularization proposed in (Wang et al. 2020) is an efficient, flexible and stable numerical strategy to learn orthogonal convolutional layers. Approximation: We study the fundamental limits to the expressive power of neural networks. Given two sets dollarFdollar, dollarGdollar of real-valued functions, we first prove a general lower bound on how well functions in dollarFdollarcan be approximated in dollarL^p(mu) dollar norm by functions in dollarGdollar, for any dollarp geq 1dollar and any probability measure dollarmudollar. The lower bound depends on the packing number of dollarFdollar, the range of dollarFdollar, and the fat-shattering dimension of dollarGdollar. We then instantiate this bound to the case where dollarGdollar corresponds to a piecewise-polynomial feed-forward neural network, and describe in details the application to two sets dollarFdollar: Hölder balls and multivariate monotonic functions. Beside matching (known or new) upper bounds up to log factors, our lower bounds shed some light on the similarities or differences between approximation in dollarL^pdollar norm or in sup norm, solving an open question by (DeVore et al. 2021).; Dans cette thèse, nous étudions différents aspects théoriques de l'apprentissage profond, en particulier l'optimisation, la robustesse et l'approximation. Optimisation: Nous étudions le paysage d'optimisation du risque empirique des réseaux neuronaux linéaires profonds avec la perte des moindres carrées. Il est connu que, sous des hypothèses faibles, il n'y a pas de minimiseurs locaux non-globaux et pas de maximiseurs locaux. Cependant, l'existence et la diversité des points selle non-stricts, qui peuvent jouer un rôle dans la dynamique des algorithmes du premier ordre, n'ont été que peu étudiées. Nous fournissons une analyse complète du paysage d'optimisation à l'ordre 2. Nous caractérisons, parmi tous les points critiques, les minimiseurs globaux, les points-selles stricts et les points-selles non stricts. Nous énumérons toutes les valeurs critiques associées. La caractérisation est simple, elle implique des conditions sur les rangs des produits partiels de matrices, et éclaire la convergence globale ou la régularisation implicite qui ont été prouvées ou observées lors de l'optimisation de réseaux neuronaux linéaires. Au passage, nous fournissons une paramétrisation explicite de l'ensemble de tous les minimiseurs globaux et exposons de grands ensembles de points selle stricts et non stricts. Robustesse: Nous étudions les propriétés théoriques des couches convolutives orthogonales. Nous établissons des conditions nécessaires et suffisantes sur l'architecture de la couche garantissant l'existence d'une transformée convolutive orthogonale. Ces conditions prouvent que les transformées convolutives orthogonales existent pour presque toutes les architectures utilisées en pratique pour le padding "circulaire". Nous montrons également des limitations avec des conditions aux bords "valid" et des conditions aux bords "same" avec un zero-padding. Récemment, un terme de régularisation imposant l'orthogonalité des couches convolutives a été proposé, et des résultats empiriques impressionnants ont été obtenus dans différentes applications : (Wang et al. 2020). Nous faisons le lien entre ce terme de régularisation et les mesures d'orthogonalité. Ce faisant, nous montrons que cette stratégie de régularisation est stable vis-à-vis des erreurs numériques et d'optimisation et que, en présence de petites erreurs et lorsque la taille du signal/de l'image est grande, les couches convolutives restent proches de l'isométrie. Les résultats théoriques sont confirmés par des expériences et le paysage du terme de régularisation est étudié. Les expériences sur des jeux de données réels montrent que lorsque l'orthogonalité est utilisée pour renforcer la robustesse, le paramètre multipliant le terme de régularisation peut être utilisé pour régler un compromis entre la précision et l'orthogonalité, au profit de la précision et de la robustesse. Approximation: Nous étudions les limites fondamentales du pouvoir expressif des réseaux de neurones. Étant donné deux ensembles F, G de fonctions à valeurs réelles, nous prouvons d'abord une limite inférieure générale sur la façon dont les fonctions de F peuvent être approximées en norme L^p par des fonctions de G. La borne inférieure dépend du "packing number" de F, de l'étendue de F, et de la "fat-shattering dimension" G. Nous instancions ensuite cette borne au cas où G correspond à un réseau de neurones feedforward dont la fonction d'activation est polynomiale par morceaux, et décrivons en détail l'application à deux ensembles F : les boules de Hölder et les fonctions monotones multivariées. En plus de correspondre aux limites supérieures (connues ou nouvelles) à des facteurs logarithmiques près, nos limites inférieures éclairent les similitudes ou les différences entre l'approximation en norme L^p et en norme sup, résolvant ainsi une question ouverte par (DeVore et al. 2021).

Nowadays, graph-based semi-supervised learning (GB-SSL) is a fast-growing area of classifying nodes in a graph with an extremely low number of labelled nodes. However, the GB-SSL algorithms have two general limitations: the first is the memory/time complexity that arises in all state-of-the-art GB-SSL algorithms on extremely large graphs. In particular, the high memory consumption occurs in graph convolution networks and leads to Out of Memory (OOM) issues on GPU or RAM; the second one appears in all GB-SSL algorithms based on Laplacian regularization loss. This thesis' major contribution is divided into two parts in order to suggest strategies that would guarantee to avoid the restrictions mentioned above. In the first part of this thesis, we propose a novel linear algorithm called Markov-Batch Stochastic Approximation (MBSA) for solving Personalized PageRank. MBSA updates node batches and proposes a significantly better tradeoff between memory consumption and convergence rate for an optimal classification result than other linear models. Then, we propose a novel scaling graph convolution network, denoted as MBSA-NN, which embeds our linear MBSA. MBSA-NN avoids OOM issues and significantly reduces time and memory consumption on GPU and RAM. We applied MBSA-NN on several very large datasets, and we showed that it can handle graphs with more than 10M nodes and 2M of features in under one minute on one standard machine, including preprocessing, training and inference time. Furthermore, we show that it has significantly improved memory/time consumption and competitive accuracy concerning the latest best GB-SSL scaling algorithms. The second part of this thesis focuses on solutions to Laplacian regularization loss issues. For that reason, we propose a novel framework called Graph Diffusion & PCA (GDPCA). This framework combines a modified Principal Component Analysis with the classical supervised loss and Laplacian regularization loss. GDPCA allows handling the case where the adjacency matrix presents through Binary edges and avoids the Curse of dimensionality. Also, GDPCA can be applied to non-graph datasets, such as images, by constructing a similarity graph. Furthermore, we propose a framework that embeds PageRank SSL in a generative model (GenPR). GenPR joint training of nodes latent space representation and label spreading through the reweighted adjacency matrix by node similarities in the latent space. We demonstrate that a generative model can improve accuracy and reduce the number of iteration steps for PageRank SSL. Moreover, we show how to embed MBSA into the GenPR framework for providing the batch training regime of GenPR. Finally, we propose a flexible SSL framework based on stacking GDPCA and Zoetrope Genetic Programming algorithms into a novel framework: PaZoe. This self-labelling framework shows that graph-based and non-graph based algorithms jointly improve the quality of predictions and outperform each component taken alone. We also show that PaZoe outperforms state-of-the-art SSL algorithms on real datasets. Note that one of the datasets was generated in house, taking data from industrial graded equipment to mimic DC motors during operation.; De nos jours, l'apprentissage semi-supervisé basé sur les graphes (GB-SSL) est un domaine en plein essor pour classer les nœuds d'un graphe avec un nombre extrêmement faible de nœuds labélisés. Cependant, les algorithmes GB-SSL ont deux limites générales: la première est la complexité mémoire/temps qui se présente dans tous les algorithmes GB-SSL de pointe sur de larges graphes. En particulier, la forte consommation de mémoire se produit dans les réseaux de convolution de graphes et conduit à des problèmes d'OOM (Out of Memory) sur GPU ou RAM; la seconde apparaît dans tous les algorithmes GB-SSL basés sur la perte de régularisation Laplacienne. La contribution majeure de cette thèse est divisée en deux parties afin de proposer des stratégies qui garantiraient d'éviter les restrictions mentionnées ci-dessus. Dans la première partie de cette thèse, nous proposons un nouvel algorithme linéaire appelé Markov-Batch Stochastic Approximation (MBSA) pour résoudre le PageRank Personnalisé. MBSA met à jour des lots de nœuds et propose un compromis significativement meilleur que les autres modèles linéaires entre la consommation de mémoire et le taux de convergence pour un résultat de classification optimal. Ensuite, nous proposons un nouveau réseau de convolution de graphes à échelle, appelé MBSA-NN, qui intègre notre MBSA linéaire. Le MBSA-NN évite les problèmes d'OOM et réduit considérablement la consommation de temps et de mémoire sur GPU et RAM. Nous avons appliqué le MBSA-NN à plusieurs grands ensembles de données, et nous avons montré qu'il peut traiter des graphes avec plus de 10M nœuds et 2M de caractéristiques en une minute sur une machine standard, y compris le temps de prétraitement, d'apprentissage et d'inférence. De plus, nous montrons qu'il a une consommation mémoire/temps significativement améliorée et une précision compétitive par rapport aux meilleurs algorithmes de mise à l'échelle GB-SSL les plus récents.La deuxième partie de cette thèse se concentre sur les solutions aux problèmes de perte de régularisation du Laplacien. Pour cette raison, nous proposons un nouveau cadre appelé Graph Diffusion & PCA (GDPCA). Ce cadre combine une analyse en composantes principales modifiée avec la perte supervisée classique et la perte de régularisation laplacienne. GDPCA permet de traiter le cas où la matrice d'adjacence présente des Arêtes binaires et évite la Malédiction de la dimensionnalité. De plus, GDPCA peut être appliqué à des ensembles de données non graphiques, tels que des images, en construisant un graphe de similarité. En outre, nous proposons un cadre qui intègre PageRank SSL dans un modèle génératif (GenPR). GenPR joint l'entraînement de la représentation de l'espace latent des nœuds et la propagation des labels à travers la matrice d'adjacence repondérée par les similarités des nœuds dans l'espace latent. Nous démontrons qu'un modèle génératif peut améliorer la précision et réduire le nombre d'étapes d'itération pour PageRank SSL. En outre, nous montrons comment intégrer MBSA dans le cadre de GenPR pour fournir le régime de formation par lots de GenPR. Enfin, nous proposons un cadre SSL flexible basé sur l'empilement des algorithmes GDPCA et de Zoetrope Genetic Programming dans un nouveau cadre : PaZoe. Ce cadre d'auto-labélisation montre que les algorithmes basés sur les graphes et les algorithmes non basés sur les graphes améliorent conjointement la qualité des prédictions et sont plus performants que chaque composant pris séparément. Nous montrons également que PaZoe surpasse les algorithmes SSL de pointe sur des jeux de données réels. Notez que l'un des ensembles de données a été généré par nos soins, en prenant les données d'un équipement industriel classé pour imiter les moteurs à courant continu pendant leur fonctionnement.

The study of seabird movement is fundamental to understanding how seabirds interact with their environment, and to developing conservation policies for marine ecosystems. In response to the recent accumulation of data describing their movements and habitats, this thesis proposes to characterize and simulate the movements of tropical seabirds using artificial intelligence approaches, more specifically deep learning. On one hand, convolutional neural networks are used to identify seabird habitats from satellite data and to describe their behavior from GPS trajectories. These tools are able to exploit heterogeneous data by taking into account several spatio-temporal scales. They automatically define relevant data mining metrics that can be generalized to the analysis of the movement of other bird species. On the second hand, generative networks are used to simulate foraging trajectories of seabirds. Most of the existing movement simulation tools, such as random walks, focus mainly on small-scale statistics of trajectory data and fail to reproduce realistic large-scale movement patterns. Here we show that generative adversarial networks are able to reproduce geometric features at both small and large scales. These results suggest that generative models can become a pragmatic solution for simulating and predicting complex stochastic processes, such as seabird trajectories, for which the underlying mechanistic rules are unclear or too difficult to be anatically formulated.; L'étude du mouvement des oiseaux marins est fondamentale pour comprendre la manière dont ils interagissent avec leur environnement, et pour élaborer des politiques de conservation des écosystèmes marins. En réponse à l'accumulation récente des données décrivant leurs déplacements et leurs habitats, cette thèse propose de caractériser et de simuler les mouvements d'oiseaux marins tropicaux en utilisant des approches d'intelligence artificielle, et plus précisément d'apprentissage profond. Dans un premier temps, on utilise des réseaux de neurones convolutifs pour l'identification d'habitats d'oiseaux marins à partir de données satellites, et pour la description de leurs comportements à partir de trajectoires GPS. Ces outils sont en mesure d'exploiter des données hétérogènes en prenant en compte plusieurs échelles spatio-temporelles. Ils définissent des métriques de fouille de données pertinentes de manière automatique et généralisable à l'analyse du mouvement d'autres espèces d'oiseaux. Dans un second temps, on utilise des réseaux génératifs afin de simuler les trajectoires de recherche alimentaires d'oiseaux marins. La plupart des outils existants de simulation du mouvement, tels que les marches aléatoires, se concentrent principalement sur les statistiques à petite échelle des données des trajectoires et ne parviennent pas à reproduire un modèle de mouvement réaliste à grande échelle. On montre ici que les réseaux antagonistes profonds sont capables de reproduire les caractéristiques géométriques aussi bien aux petites qu'aux grandes échelles. Ces résultats suggèrent que les modèles génératifs peuvent devenir une solution pragmatique pour simuler et prédire des processus stochastiques complexes, tels que les trajectoires d'oiseaux marins, dont les règles mécanistes qui les sous-tendent ne sont pas clairs ou trop difficiles à formuler de manière analytique.

We aim at retrieving 3D refractive optical index (RI) of large samples (around 200 µm) from Intensity Diffraction Tomography (IDT) where the dataset is obtained by recording diffraction image with a variety of illumination angles.IDT targets biological imaging in a label-free manner using the optical variation within the sample and multiple tilted imaging to reconstruct the 3D map of RIs. However, standard IDT techniques reveal several drawbacks in terms of limited field of view and feasibility of imaging living samples in time-lapse conditions. We focused on time-lapse imaging of large sample (>200µm) without the need of large NA objective or immersion oil.The challenge created by the absence of the phase information (intensity only measurements) as well as the limited illumination angle (low NA due to low magnification) has been solved using a Beam Propagation Method (BPM) embedded inside a deep leaning framework. The layers are encoding the 3D optical representation of the sample. Besides, we included in the forward model the effect of the spherical aberration introduced by the optical interfaces, which gave a strong impact on measurements under oblique illumination in terms of 3D spatial resolution.Using this framework, we achieved 3D reconstructions of mouse embryos (>100µm) in time-lapse conditions over 7 days, as well as liver organoid. We could observe the intrinsic embryonic development from single cell (low-scattering sample) to the blastocyst level (highly scattering sample) as well as the rotational movement and growth rate of liver organoid. Such time-lapse yields quantitative information on the development and viability of biological sample in view of the sub-cellular imaging capacities. Our technology opens up novel opportunities for 3D live cell imaging of whole organoids in time-lapse.However, the use of a wide field of view inherently limits the maximum illumination angle possible. This directly affects the 3D reconstruction as it generates an axial elongation of each object or inner substructure, leading to a poor axial resolution (10 times greater than radial resolution)Motivated by the great results of Convolutional Neural Network in correcting reconstruction problem, we decided to applied deep learning methods to our elongation problem. The idea of our process is to combine two learning methods each proven to solve a different axial reconstruction issue. One network recovers the inner structures; the other retrieves the global structure of the object. To ensure the continuity of the CNN output along each direction the training is performed on 3D random synthetic volumes.We will assess the quality of this learning method by checking its efficiency on mouse embryo and prostatic organoid as well as many various synthetic data.; Le but de cette thèse est de reconstruire en 3D l’indice de réfraction de gros échantillons biologiques (> 200 µm) grâce à de la tomographie de diffraction à partir d’image d’intensité (IDT). L’information 3D est encodée dans une multitude d'images de diffraction à des angles d’éclairage différents.La tomographie de diffraction n’a pas besoin de fluorescence pour imager des échantillons biologiques, elle se contente d’exploiter les changements de propriétés optiques de l’échantillon pour en reconstruire une carte 3D de l’indice de réfraction. Comme les techniques standards ont des champs de vue limités ainsi que des systèmes complexes souvent non compatibles avec les incubateurs, on s’est principalement concentré sur la création d’un système compact pouvant imager de gros échantillons (> 200 µm) sans huile de couplage ni objectifs à forte ouverture numérique.La complexité de la reconstruction 3D causée par une faible couverture angulaire (elle même causée par une faible ouverture numérique d’objectif à faible grossissement), un manque d’information (Image d’intensité uniquement, sans la phase) est grande. Afin d’y parvenir, un modèle multicouche prenant en compte les diffractions multiples (le BPM) a été implémenté dans une infrastructure logicielle d’apprentissage profond. Les aberrations sphériques générées par des épaisseurs de verres non standards sont aussi prises en compte dans le modèle direct. Cela nous a permis d’imager toutes les heures pendant sept jours le développement d’un embryon de souris du stade unicellulaire au stade blastocyste. Ces capacités d’imagerie ont aussi été validées sur des organoïdes de foie. Ces timelapses apportent des informations quantitatives sur le développement et la viabilité des échantillons biologiques. Cette technologie apporte de nouvelles possibilités pour l’imagerie 3D en incubateur.Cependant, l’utilisation d’un grand champ de vue limite la couverture angulaire exploitable. Cela affecte grandement les reconstructions 3D, qui se retrouvent étirées axialement, dégradant cette résolution.Motivé par de récentes utilisations de réseaux de neurones convolutifs dans le domaine de la correction d’artefact de reconstructions, nous avons décidé de résoudre ce problème à l’aide d’une approche moderne par apprentissage profond. L’idée principale est de combiner deux réseaux, un qui retrouve la forme originale des structures intracellulaires, et un qui estime la forme extérieure de l’objet. Les réseaux sont entraînés sur données simulées uniquement. Ces données sont produites avec des objets 3D aléatoires mimant de possibles formes d’objets multicellulaires.La généralisation de cet ensemble de réseaux est testée avec succès sur l’embryon à différents stade de développement, mais peine à se généraliser aux organoïdes de foie.

Species distribution models link the geographic distribution of a species to its environment. The objectives of using these models are multiple. They can be used to extract knowledge on species and their environmental preferences, to help with conservation plans and policies, to monitor and anticipate the spread of invasive species, or to simulate environmental changes and their impacts on species. To best meet these objectives, it is necessary to design efficient, accurate and interpretable models. Most of the models used today are relatively simple models. These models have the advantage of being easy to interpret by producing simple relationships between a species and its environment. However, they often share some shortcomings such as sensitivity to overfitting, which requires a careful choice of descriptive data of the environment to avoid interpretation errors. Models based on machine learning approaches have shown performances that are often as good or even better, with a stronger robustness against overfitting. However, these methods are more often criticized for their lack of interpretability. This is the case with convolutional neural networks whose first experiments have shown promising results for their use in species distribution modeling. Convolutional neural networks are known for their particularly high performance in all image processing tasks (classification, object detection, counting, etc.). They have the particularity of being able to use very large data with little risk of overfitting. Even more than other machine learning approaches, these models are often described as black boxes that are difficult to interpret. We propose to study the use of these models, called Deep-SDMs, in the context of species distribution prediction with a particular attention to interpretation in order to highlight the potential interests of this new approach while trying to clarify the mechanisms involved.We present the use and analysis of Deep-SDMs with several interpretability experiments in different contexts. We conduct comparisons on some aspects with more state-of-the-art models. We propose qualitative and quantitative analyses on the interpretation of Deep-SDMs learning. In particular, we propose to study what the model captures, either by analyzing the differences in performance according to the data used and the information they contain, or directly by studying the learned representation space of the model (the last layer of the model).Overall we show that it is possible to analyze and interpret model learning in several ways, leading to interesting ecological conclusions. We show an interesting potential of Deep-SDMs that allow: (1) to learn a single model for many species simultaneously and using observation data without absence data, (2) to use more complex and richer representations of the environment thanks to their ability to use very high dimensional data, (3) often better performances than other models, especially on rare species, (4) learning on a very large scale (thousands of species and regions the size of countries) and at a very fine resolution (around ten meters) thanks to remote sensing data, and (5) possible reuse of models in similar contexts, taking advantage of the learning already done.; Les modèles de distributions d'espèces font le lien entre la distribution géographique d’une espèce et son environnement. Les objectifs de l’utilisation de ces modèles sont multiples. On peut citer entre autres l’extraction de connaissance sur les espèces et leur préférences environnementales, l’aide aux plans de conservations et politiques de protections des espèces, la surveillance et l’anticipation de la propagation d’espèces envahissantes ou encore les simulations d’évolution de l’environnement et leurs impacts sur les espèces. Pour répondre au mieux à ces objectifs il est nécessaire de concevoir des modèles performants, précis et interprétables. La plupart des modèles utilisés aujourd’hui sont des modèles relativement peu complexes. Ces modèles ont l’avantage d’être faciles à interpréter en produisant des relations simples entre une espèce et son environnement. Cependant, ils partagent souvent certains défauts comme la sensibilité au sur-apprentissage nécessitant ainsi de bien choisir les données descriptives de l’environnement pour éviter les erreurs d’interprétation. Des modèles basés sur des approches d’apprentissage artificiel ont montré des performances souvent aussi bonnes voire meilleures avec une plus forte robustesse contre le sur-apprentissage. Ces méthodes sont en revanche plus souvent critiquées pour leur manque d’interprétabilité. C'est le cas avec les réseaux de neurones convolutifs dont les premières expériences ont montré des résultats prometteurs pour leur utilisation en modélisation de la distribution d’espèces. Les réseaux de neurones convolutifs sont connus pour leurs performances particulièrement élevées dans toutes les tâches de traitement d’image (classification, détection d’objets, comptage, etc.). Ils ont la particularité de pouvoir utiliser des données de très grandes dimensions avec peu de risques de sur-apprentissage. Encore plus que les autres modèles d’apprentissage artificiel, ces modèles sont très souvent décrits comme des boîtes noires difficiles à interpréter. Nous proposons d’étudier l’utilisation de ces modèles, appelés Deep-SDMs, dans le contexte de la prédiction de distribution d’espèces en portant une attention particulière à l'interprétation afin de mettre en avant les intérêts potentiels de cette nouvelle approche tout en essayant d’éclaircir au mieux les mécanismes en jeu.Nous présentons l’utilisation et l’analyse des modèles Deep-SDMs avec plusieurs expériences d’interprétabilité dans différents contextes. Nous menons des comparaisons sur certains aspects avec des modèles plus état-de-l’art. Nous proposons des analyses qualitatives et quantitatives sur l’interprétation des apprentissages de Deep-SDMs. Nous proposons notamment d’étudier ce que le modèle capture, soit en analysant les différences de performances selon les données utilisées et les informations qu’elles contiennent, soit directement en étudiant l’espace de représentation appris du modèle (la dernière couche du modèle).Dans l’ensemble nous montrons qu’il est possible d'analyser et d'interpréter l’apprentissage des modèles de plusieurs manières, permettant d’aboutir à des conclusions écologiques intéressantes. Nous montrons un potentiel intéressant des Deep-SDMs qui permettent: (1) d’apprendre un unique modèles pour de nombreuses espèces simultanément et en utilisant des données d’observations sans données d’absences, (2) d’utiliser des représentations plus complexes et plus riches de l’environnement grâce à leur capacité à utiliser des données de très grande dimension, (3) des performances souvent meilleures que les autres modèles, en particulier sur les espèces rares, (4) un apprentissage à la fois à très grande échelle (sur des milliers d’espèces et des régions de la taille de pays) et à très fine résolution (de l’ordre de la dizaine de mètres) grâce aux données de remote sensing, et (5) une réutilisation possible des modèles dans des contextes proches profitant en partie des apprentissage déjà effectués.

Les réseaux neuronaux sont remarquablement performants pour une grande variété de tâches d'apprentissage automatique et ont eu un impact profond sur la définition même de l'intelligence artificielle (IA). Cependant, malgré leur rôle important dans l'état actuel de l'IA, il est important de réaliser que nous sommes encore loin d'atteindre une intelligence de niveau humain. Une étape cruciale à l'amélioration de la performance des réseaux neuronaux consiste à faire progresser notre compréhension théorique, qui est en retard par rapport aux développements pratiques. Les dynamiques d'optimisation complexes des réseaux neuronaux, qui résultent d’interactions en haute dimension entre les nombreux paramètres du réseau, constituent un défi majeur pour l'élaboration des fondements théoriques de l'apprentissage profond. Ces dynamiques non triviales donnent lieu à des comportements empiriques déroutants qui, dans certains cas, contrastent fortement avec les prédictions théoriques. L'absence de surapprentissage dans les réseaux sur-paramétrés, leur recours à des corrélations fallacieuses et les courbes de généralisation non monotones font partie des comportements de généralisation des réseaux neuronaux qui laissent perplexe. Dans cette thèse, notre objectif est d'étudier certains de ces phénomènes perplexes en tant que pièces différentes d'un même casse-tête; un casse-tête dans lequel chaque phénomène sert de signal d'orientation pour développer une meilleure compréhension des réseaux neuronaux. Nous présentons trois articles en vue d’atteindre cet objectif; Le premier article sur multi-scale feature learning dynamics étudie les raisons qui sous-tendent la courbe de généralisation à double descente observée dans les réseaux neuronaux modernes. L'une des principales conclusions est que la double descente à travers les époques peut être attribuée à l'apprentissage de traits caractéristiques distincts à différentes échelles : Alors que les représentations faciles/rapides à apprendre sont en sur-apprentissage, les représentations plus complexes/lentes commencent à bien apprendre, ce qui entraîne une deuxième descente de l'erreur sur l’ensemble de test. Le deuxième article sur la famine de gradient identifie un phénomène fondamental qui peut entraîner une inclination à l'apprentissage dans les réseaux neuronaux. La famine de gradient se produit lorsqu'un réseau neuronal apprend à minimiser la perte en ne capturant qu'un sous-ensemble des traits caractéristiques pertinents à la classification, malgré la présence d'autres traits caractéristiques informatifs qui ne sont pas découverts. La famine de gradient a des conséquences bénéfiques et néfastes dont nous discutons. Le troisième article sur les méthodes simples de ré-équilibrage des données présente une étude empirique sur le problème de la généralisation à des groupes sous-représentés lorsque les données d'entraînement souffrent de déséquilibres importants. Ce travail porte sur les modèles qui généralisent bien en moyenne mais ne parviennent pas à généraliser à des groupes minoritaires. Notre principale conclusion est que des méthodes simples de ré-équilibrage de données permettent d'atteindre l’état de l’art pour la précision sur les groupes minoritaires, ce qui appelle à une examination plus approfondie des valeurs de référence et des méthodes de recherche sur la généralisation en-dehors du support de la distribution. Nos résultats permettent de mieux comprendre la mécanique interne des réseaux neuronaux et d'identifier les obstacles à la construction de modèles plus fiables, et ont des implications pratiques quant à l'entraînement des réseaux neuronaux., Neural networks perform remarkably well in a wide variety of machine learning tasks and have had a profound impact on the very definition of artificial intelligence (AI). However, despite their significant role in the current state of AI, it is important to realize that we are still far from achieving human-level intelligence. A critical step in further improving neural networks is to advance our theoretical understanding which is in fact lagging behind our practical developments. A key challenge in building theoretical foundations for deep learning is the complex optimization dynamics of neural networks, resulting from the high-dimensional interactions between a large number of network parameters. Such non-trivial dynamics lead to puzzling empirical behaviors that, in some cases, appear in stark contrast with existing theoretical predictions. Lack of overfitting in over-parameterized networks, their reliance on spurious correlations, and double-descent generalization curves are among the perplexing generalization behaviors of neural networks. In this dissertation, our goal is to study some of these perplexing phenomena as different pieces of the same puzzle. A puzzle in which every phenomenon serves as a guiding signal towards developing a better understanding of neural networks. We present three articles towards this goal; The first article on multi-scale feature learning dynamics investigates the reasons underlying the double-descent generalization curve observed in modern neural networks. A central finding is that epoch-wise double descent can be attributed to distinct features being learned at different scales: as fast-learning features overfit, slower-learning features start to fit, resulting in a second descent in test error. The second article on gradient starvation identifies a fundamental phenomenon that can result in a learning proclivity in neural networks. Gradient starvation arises when a neural network learns to minimize the loss by capturing only a subset of features relevant for classification, despite the presence of other informative features which fail to be discovered. We discuss how gradient starvation can have both beneficial and adverse consequences on generalization performance. The third article on simple data balancing methods conducts an empirical study on the problem of generalization to underrepresented groups when the training data suffers from substantial imbalances. This work looks into models that generalize well on average but fail to generalize to minority groups of examples. Our key finding is that simple data balancing methods already achieve state-of-the-art accuracy on minority groups which calls for closer examination of benchmarks and methods for research in out-of-distribution generalization. These three articles take steps towards bringing insights into the inner mechanics of neural networks, identifying the obstacles in the way of building reliable models, and providing practical suggestions for training neural networks.

Les réseaux de neurones sont un type de modèle d'apprentissage automatique (ML) qui résolvent des tâches complexes d'intelligence artificielle (AI) sans nécessiter de représentations de données élaborées manuellement. Bien qu'ils aient obtenu des résultats impressionnants dans des tâches nécessitant un traitement de la parole, d’image, et du langage, les réseaux de neurones ont encore de la difficulté à résoudre des tâches de compréhension de scènes dynamiques. De plus, l’entraînement de réseaux de neurones nécessite généralement de nombreuses données annotées manuellement, ce qui peut être un processus long et coûteux. Cette thèse est composée de quatre articles proposant des modèles génératifs pour des scènes dynamiques. La modélisation générative est un domaine du ML qui étudie comment apprendre les mécanismes par lesquels les données sont produites. La principale motivation derrière les modèles génératifs est de pouvoir, sans utiliser d’étiquettes, apprendre des représentations de données utiles; c’est un sous-produit de l'approximation du processus de génération de données. De plus, les modèles génératifs sont utiles pour un large éventail d'applications telles que la super-résolution d'images, la synthèse vocale ou le résumé de texte. Le premier article se concentre sur l'amélioration de la performance des précédents auto-encodeurs variationnels (VAE) pour la prédiction vidéo. Il s’agit d’une tâche qui consiste à générer les images futures d'une scène dynamique, compte tenu de certaines observations antérieures. Les VAE sont une famille de modèles à variables latentes qui peuvent être utilisés pour échantillonner des points de données. Comparés à d'autres modèles génératifs, les VAE sont faciles à entraîner et ont tendance à couvrir tous les modes des données, mais produisent souvent des résultats de moindre qualité. En prédiction vidéo, les VAE ont été les premiers modèles capables de produire des images futures plausibles à partir d’un contexte donné, un progrès marquant par rapport aux modèles précédents car, pour la plupart des scènes dynamiques, le futur n'est pas une fonction déterministe du passé. Cependant, les premiers VAE pour la prédiction vidéo produisaient des résultats avec des artefacts visuels visibles et ne fonctionnaient pas sur des ensembles de données réalistes complexes. Dans cet article, nous identifions certains des facteurs limitants de ces modèles, et nous proposons pour chacun d’eux une solution pour en atténuer l'impact. Grâce à ces modifications, nous montrons que les VAE pour la prédiction vidéo peuvent obtenir des résultats de qualité nettement supérieurs par rapport aux références précédentes, et qu'ils peuvent être utilisés pour modéliser des scènes de conduite autonome. Dans le deuxième article, nous proposons un nouveau modèle en cascade pour la génération vidéo basé sur les réseaux antagonistes génératifs (GAN). Après le succès des VAE pour prédiction vidéo, il a été démontré que les GAN produisaient des échantillons vidéo de meilleure qualité pour la génération vidéo conditionnelle à des classes. Cependant, les GAN nécessitent de très grandes tailles de lots ainsi que des modèles de grande capacité, ce qui rend l’entraînement des GAN pour la génération vidéo coûteux computationnellement, à la fois en termes de mémoire et en temps de calcul. Nous proposons de scinder le processus génératif en une cascade de sous-modèles, chacun d'eux résolvant un problème plus simple. Cette division nous permet de réduire considérablement le coût computationnel tout en conservant la qualité de l'échantillon, et nous démontrons que ce modèle peut s'adapter à de très grands ensembles de données ainsi qu’à des vidéos de haute résolution. Dans le troisième article, nous concevons un modèle basé sur le principe qu'une scène est composée de différents objets, mais que les transitions de trame (également appelées règles dynamiques) sont partagées entre les objets. Pour mettre en œuvre cette hypothèse de modélisation, nous concevons un modèle qui extrait d'abord les différentes entités d'une image. Ensuite, le modèle apprend à mettre à jour la représentation de l'objet d'une image à l'autre en choisissant parmi différentes transitions possibles qui sont toutes partagées entre les différents objets. Nous montrons que, lors de l'apprentissage d'un tel modèle, les règles de transition sont fondées sémantiquement, et peuvent être appliquées à des objets non vus lors de l'apprentissage. De plus, nous pouvons utiliser ce modèle pour prédire les observations multimodales futures d'une scène dynamique en choisissant différentes transitions. Dans le dernier article nous proposons un modèle génératif basé sur des techniques de rendu 3D qui permet de générer des scènes avec plusieurs objets. Nous concevons un mécanisme d'inférence pour apprendre les représentations qui peuvent être rendues avec notre modèle et nous optimisons simultanément ce mécanisme d'inférence et le moteur de rendu. Nous montrons que ce modèle possède une représentation interprétable dans laquelle des changements sémantiques appliqués à la représentation de la scène sont rendus dans la scène générée. De plus, nous montrons que, suite au processus d’entraînement, notre modèle apprend à segmenter les objets dans une scène sans annotations et que la représentation apprise peut être utilisée pour résoudre des tâches de compréhension de scène dynamique en déduisant la représentation de chaque observation., Neural networks are a type of Machine Learning (ML) models that solve complex Artificial Intelligence (AI) tasks without requiring handcrafted data representations. Although they have achieved impressive results in tasks requiring speech, image and language processing, neural networks still struggle to solve dynamic scene understanding tasks. Furthermore, training neural networks usually demands lots data that is annotated manually, which can be an expensive and time-consuming process. This thesis is comprised of four articles proposing generative models for dynamic scenes. Generative modelling is an area of ML that investigates how to learn the mechanisms by which data is produced. The main motivation for generative models is to learn useful data representations without labels as a by-product of approximating the data generation process. Furthermore, generative models are useful for a wide range of applications such as image super-resolution, voice synthesis or text summarization. The first article focuses on improving the performance of previous Variational AutoEncoders (VAEs) for video prediction, which is the task of generating future frames of a dynamic scene given some previous occurred observations. VAEs are a family of latent variable models that can be used to sample data points. Compared to other generative models, VAEs are easy to train and tend to cover all data modes, but often produce lower quality results. In video prediction VAEs were the first models that were able to produce multiple plausible future outcomes given a context, marking an advancement over previous models as for most dynamic scenes the future is not a deterministic function of the past. However, the first VAEs for video prediction produced results with visible visual artifacts and could not operate on complex realistic datasets. In this article we identify some of the limiting factors for these models, and for each of them we propose a solution to ease its impact. With our proposed modifications, we show that VAEs for video prediction can obtain significant higher quality results over previous baselines and that they can be used to model autonomous driving scenes. In the second article we propose a new cascaded model for video generation based on Generative Adversarial Networks (GANs). After the success of VAEs in video prediction, GANs were shown to produce higher quality video samples for class-conditional video generation. However, GANs require very large batch sizes and high capacity models, which makes training GANs for video generation computationally expensive, both in terms of memory and training time. We propose to split the generative process into a cascade of submodels, each of them solving a smaller generative problem. This split allows us to significantly reduce the computational requirements while retaining sample quality, and we show that this model can scale to very large datasets and video resolutions. In the third article we design a model based on the premise that a scene is comprised of different objects but that frame transitions (also known as dynamic rules) are shared among objects. To implement this modeling assumption we design a model that first extracts the different entities in a frame, and then learns to update the object representation from one frame to another by choosing among different possible transitions, all shared among objects. We show that, when learning such a model, the transition rules are semantically grounded and can be applied to objects not seen during training. Further, we can use this model for predicting multimodal future observations of a dynamic scene by choosing different transitions. In the last article we propose a generative model based on 3D rendering techniques that can generate scenes with multiple objects. We design an inference mechanism to learn representations that can be rendered with our model and we simultaneously optimize this inference mechanism and the renderer. We show that this model has an interpretable representation in which semantic changes to the scene representation are shown in the output. Furthermore, we show that, as a by product of the training process, our model learns to segment the objects in a scene without annotations and that the learned representation can be used to solve dynamic scene understanding tasks by inferring the representation of each observation.

L’avènement d’internet suivi des réseaux sociaux a permis un accès facile et une diffusion rapide de l’information par toute personne disposant d’une connexion internet. L’une des conséquences néfastes de cela est la propagation de fausses informations appelées «fake news». Les fake news représentent aujourd’hui un enjeu majeur au regard de ces conséquences. De nombreuses personnes affirment encore aujourd’hui que sans la diffusion massive de fake news sur Hillary Clinton lors de la campagne présidentielle de 2016, Donald Trump n’aurait peut-être pas été le vainqueur de cette élection. Le sujet de ce mémoire concerne donc la détection automatique des fake news. De nos jours, il existe un grand nombre de travaux à ce sujet. La majorité des approches présentées se basent soit sur l’exploitation du contenu du texte d’entrée, soit sur le contexte social du texte ou encore sur un mélange entre ces deux types d’approches. Néanmoins, il existe très peu d’outils ou de systèmes efficaces qui détecte une fausse information dans la vie réelle, tout en incluant l’évolution de l’information au cours du temps. De plus, il y a un manque criant de systèmes conçues dans le but d’aider les utilisateurs des réseaux sociaux à adopter un comportement qui leur permettrait de détecter les fausses nouvelles. Afin d’atténuer ce problème, nous proposons un système appelé DS-Fake. À notre connaissance, ce système est le premier à inclure l’exploration de flux de données. Un flux de données est une séquence infinie et dénombrable d’éléments et est utilisée pour représenter des données rendues disponibles au fil du temps. DS-Fake explore à la fois l’entrée et le contenu d’un flux de données. L’entrée est une publication sur Twitter donnée au système afin qu’il puisse déterminer si le tweet est digne de confiance. Le flux de données est extrait à l’aide de techniques d’extraction du contenu de sites Web. Le contenu reçu par ce flux est lié à l’entrée en termes de sujets ou d’entités nommées mentionnées dans le texte d’entrée. DS-Fake aide également les utilisateurs à développer de bons réflexes face à toute information qui se propage sur les réseaux sociaux. DS-Fake attribue un score de crédibilité aux utilisateurs des réseaux sociaux. Ce score décrit la probabilité qu’un utilisateur puisse publier de fausses informations. La plupart des systèmes utilisent des caractéristiques comme le nombre de followers, la localisation, l’emploi, etc. Seuls quelques systèmes utilisent l’historique des publications précédentes d’un utilisateur afin d’attribuer un score. Pour déterminer ce score, la majorité des systèmes utilisent la moyenne. DS-Fake renvoie un pourcentage de confiance qui détermine la probabilité que l’entrée soit fiable. Contrairement au petit nombre de systèmes qui utilisent l’historique des publications en ne prenant pas en compte que les tweets précédents d’un utilisateur, DS-Fake calcule le score de crédibilité sur la base des tweets précédents de tous les utilisateurs. Nous avons renommé le score de crédibilité par score de légitimité. Ce dernier est basé sur la technique de la moyenne Bayésienne. Cette façon de calculer le score permet d’atténuer l’impact des résultats des publications précédentes en fonction du nombre de publications dans l’historique. Un utilisateur donné ayant un plus grand nombre de tweets dans son historique qu’un autre utilisateur, même si les tweets des deux sont tous vrais, le premier utilisateur est plus crédible que le second. Son score de légitimité sera donc plus élevé. À notre connaissance, ce travail est le premier qui utilise la moyenne Bayésienne basée sur l’historique de tweets de toutes les sources pour attribuer un score à chaque source. De plus, les modules de DS-Fake ont la capacité d’encapsuler le résultat de deux tâches, à savoir la similarité de texte et l’inférence en langage naturel hl(en anglais Natural Language Inference). Ce type de modèle qui combine ces deux tâches de TAL est également nouveau pour la problématique de la détection des fake news. DS-Fake surpasse en termes de performance toutes les approches de l’état de l’art qui ont utilisé FakeNewsNet et qui se sont basées sur diverses métriques. Il y a très peu d’ensembles de données complets avec une variété d’attributs, ce qui constitue un des défis de la recherche sur les fausses nouvelles. Shu et al. ont introduit en 2018 l’ensemble de données FakeNewsNet pour résoudre ce problème. Le score de légitimité et les tweets récupérés ajoutent des attributs à l’ensemble de données FakeNewsNet., The advent of the internet, followed by online social networks, has allowed easy access and rapid propagation of information by anyone with an internet connection. One of the harmful consequences of this is the spread of false information, which is well-known by the term "fake news". Fake news represent a major challenge due to their consequences. Some people still affirm that without the massive spread of fake news about Hillary Clinton during the 2016 presidential campaign, Donald Trump would not have been the winner of the 2016 United States presidential election. The subject of this thesis concerns the automatic detection of fake news. Nowadays, there is a lot of research on this subject. The vast majority of the approaches presented in these works are based either on the exploitation of the input text content or the social context of the text or even on a mixture of these two types of approaches. Nevertheless, there are only a few practical tools or systems that detect false information in real life, and that includes the evolution of information over time. Moreover, no system yet offers an explanation to help social network users adopt a behaviour that will allow them to detect fake news. In order to mitigate this problem, we propose a system called DS-Fake. To the best of our knowledge, this system is the first to include data stream mining. A data stream is a sequence of elements used to represent data elements over time. This system explores both the input and the contents of a data stream. The input is a post on Twitter given to the system that determines if the tweet can be trusted. The data stream is extracted using web scraping techniques. The content received by this flow is related to the input in terms of topics or named entities mentioned in the input text. This system also helps users develop good reflexes when faced with any information that spreads on social networks. DS-Fake assigns a credibility score to users of social networks. This score describes how likely a user can publish false information. Most of the systems use features like the number of followers, the localization, the job title, etc. Only a few systems use the history of a user’s previous publications to assign a score. To determine this score, most systems use the average. DS-Fake returns a percentage of confidence that determines how likely the input is reliable. Unlike the small number of systems that use the publication history by taking into account only the previous tweets of a user, DS-Fake calculates the credibility score based on the previous tweets of all users. We renamed the credibility score legitimacy score. The latter is based on the Bayesian averaging technique. This way of calculating the score allows attenuating the impact of the results from previous posts according to the number of posts in the history. A user who has more tweets in his history than another user, even if the tweets of both are all true, the first user is more credible than the second. His legitimacy score will therefore be higher. To our knowledge, this work is the first that uses the Bayesian average based on the post history of all sources to assign a score to each source. DS-Fake modules have the ability to encapsulate the output of two tasks, namely text similarity and natural language inference. This type of model that combines these two NLP tasks is also new for the problem of fake news detection. There are very few complete datasets with a variety of attributes, which is one of the challenges of fake news research. Shu et al. introduce in 2018 the FakeNewsNet dataset to tackle this issue. Our work uses and enriches this dataset. The legitimacy score and the retrieved tweets from named entities mentioned in the input texts add features to the FakeNewsNet dataset. DS-Fake outperforms all state-of-the-art approaches that have used FakeNewsNet and that are based on various metrics.

In a numerical climate model, fine-scale processes are represented by parameterizations. A new method to develop parameterizations consists in using Artificial Intelligence (AI) techniques, by learning the representation of these processes from data coming from high resolution simulations. But a number of problems remain to be solved before the learned parameterizations can be used in a climate model. The objective of this thesis is to study some problems preventing the use of AI parameterizations in a climate model: numerical stability and online performance. These problems are studied through two studies on toy models. The results obtained are then placed in perspective, through the learning of a parameterization implemented in a climate model.First of all, the use of NN-learned physics can make the climate model in which it is plugged unstable. The first part of this thesis is dedicated to the study of this instability in a toy model specifically developed to investigate this problem. A second problem is the performance of the learned parameterization, once they are plugged into a climate model, especially in terms of model climatology (e.g., long-term bias). We have developed a method to adjust the long-term statistics of a learned parameterization. The method was illustrated using toy models. Finally, we focused on the learning of a deep convection scheme using NN. The learned scheme was successfully implemented in the global climate model developed at CNRM, ARPEGE-Climat, as a replacement of the physical scheme. We have performed several years of simulation without noticing any drift of the model. The main characteristics of the mean climate are well represented. The learned parameterization is interpreted using sensitivity analysis tools. This study lays some groundwork for the development of learned parameterizations from high-resolution data, the use of which could improve the accuracy of numerical climate models.; Dans un modèle de climat, les paramétrisations physiques ont pour rôle de représenter l’effet moyen des processus sous-maille (e.g., convection profonde, turbulence) à la résolution du modèle. Elles sont numériquement efficaces, mais aussi la principale source d’incertitude dans les modèles de climat. Depuis quelques années, l’utilisation des techniques d’Intelligence Artificielle (IA), en particulier celle des réseaux de neurones (Neural Networks, NN), a permis de développer des paramétrisations d’un genre nouveau. Contrairement aux paramétrisations physiques traditionnelles, développées en utilisant des connaissances théoriques et des observations, les paramétrisations apprises sont ajustées à un jeu de données issu d’une simulation haute-résolution directement, dans le but d’apprendre une représentation plus précise des différents processus sous-maille. Les premiers résultats sont prometteurs, mais il reste des problèmes majeurs à résoudre avant leur utilisation dans un modèle de climat, en remplacement des paramétrisations traditionnelles. Le but de cette thèse est l’étude de quelques-uns de ces problèmes à l’aide de modèles jouets et à travers l’apprentissage d’une partie de la paramétrisation physique implémentée dans un modèle de climat.Tout d’abord, l’utilisation d’une physique apprise par des NN peut rendre instable le modèle de climat dans lequel elle est branchée. La première partie de cette thèse est dédiée à l’étude de cette instabilité avec l’aide d’un modèle jouet, spécifiquement développé pour étudier ce problème. Un deuxième problème concerne la performance des physiques apprises, une fois celles-ci branchées dans un modèle de climat, notamment en terme de climatologie du modèle (e.g., biais de long-terme). Nous avons développé une méthode permettant d’ajuster les statistiques de long-terme d’une physique apprise. La méthode a été illustrée à l’aide de modèles jouets. Enfin, nous nous sommes intéressés à l’apprentissage d’un schéma de convection profonde à l’aide de NN. Le schéma appris a été implémenté avec succès dans le modèle de climat global développé au CNRM, ARPEGE-Climat, en remplacement du schéma physique. Nous avons réalisé plusieurs années de simulation sans constater de divergence du modèle. Les principales caractéristiques du climat moyen sont bien représentées. La physique apprise est interprétée en utilisant des outils d’analyse de sensibilité. Cette étude pose quelques bases en vue du développement de paramétrisations apprises à partir de données haute-résolution, dont l’utilisation pourrait améliorer la précision des modèles numériques du climat.

In the context of climate change and its mitigation, the development of the circular bioeconomy, and the resulting increased pressure on the wood resource, one of the priority research areas is to optimize the transformation of this resource, which can be done at different levels. The objective here is to extract information on wood quality from the analysis of cross-sections of logs or logs in the forest or in the sawmill. To estimate this quality, several visible characteristics can be extracted: sapwood and heartwood areas, position of the pith and geometric center, number of tree rings and their width. First, we are interested in the segmentation of the log in the image. This segmentation makes the analysis of other features easier and allows us to locate the geometric center. For this, we propose several approaches. First, classical methods from image processing are discussed, such as the K-Means method or active contours. We also use convolutional neural networks. We show the advantage of neural networks over the other methods. The second estimated feature is the duramen area (more colored central area). We propose a new attention layer for neural networks using the less commonly used mathematical morphology. Attention layers have allowed networks to outperform by focusing on the most relevant information. In our context, this layer has two goals: reduceing the amount of parameters and increasing performance. Our attention layer shows better performances compared to other attention layers. In the third step, we propose to analyze the tree rings. Our method is in three main steps. First, a directional smoothing to enhance the rings ( keeping the edges as well as possible) and reduce both the intra tree rings texture and the saw marks. Then, an adaptive thresholding to segment the areas of potential tree rings. Finally, a second thresholding in order to have the ring limits. From the final segmentation, the analysis of the rings (number, average width, etc.) is made possible. Finally, the estimation of the pith position is addressed. We propose a new original approach based on the ant colony algorithm to estimate the location of the pith. Using this approach allows to skip a usual step, namely the way to accumulate normals at the tree ring tangents. Our method shows many advantages compared to state-of-the-art approaches, including neural networks. In a last part, we will present a work in discrete geometry: a directional filter. It estimates the maximal digital straight segments at any point of a connected set. This work is intended to be applied to estimate some tree ring features.; Dans le contexte du changement climatique et de son atténuation, du développement de la bioéconomie circulaire, et d'une pression accrue qui en découle sur la ressource en bois, un des axes de recherche prioritaire est l'optimisation de la transformation de cette ressource qui peut se faire à différents niveaux. L'objectif ici est d'extraire des informations sur la qualité du bois à partir de l'analyse de sections transversales du grumes ou billons de bois en forêt ou en scierie. Pour estimer cette qualité, plusieurs caractéristiques visibles peuvent être extraites : zones d'aubier et de duramen, position de la moelle et du centre géométrique, le nombre de cernes et leur largeur. Dans un premier temps, nous nous intéressons à la segmentation de la grume dans l'image. Cette segmentation rend plus simple l'analyse des autres caractéristiques et permet de localiser le centre géométrique. Pour cela, nous proposons plusieurs approches. D'abord, des méthodes classiques issues du traitement d'images sont abordées, comme la méthode des K-Means ou les contours actifs. Nous utilisons également des réseaux de neurones convolutifs. Nous montrons l'avantage des réseaux de neurones par rapport à ces deux autres méthodes. La deuxième caractéristique estimée est la zone de duramen (zone centrale plus colorée). Nous proposons une nouvelle couche d'attention pour les réseaux de neurones utilisant la morphologie mathématique moins souvent utilisée. Les couches d'attention ont permis aux réseaux d'être plus performants en se focalisant sur les informations les plus pertinentes. Dans notre cadre, l'objectif de cette couche est double : réduire la quantité de paramètres et augmenter les performances. Notre couche d'attention montre de meilleures performances par rapport à d'autres couches d'attention. Dans un troisième temps, nous proposons d'analyser les cernes. Notre méthode est en trois grandes étapes. D'abord, un lissage directionnel pour rehausser les cernes (tout en gardant au mieux les contours) et réduire à la fois la texture intracernes et les marques de sciage. Puis, un seuillage adaptatif pour déterminer les zones de cernes potentiels. Enfin, un deuxième seuillage afin d'avoir les limites de cernes. À partir de la segmentation finale, l'analyse des cernes (nombre, largeur moyenne, etc.) est rendue possible. Enfin, l'estimation de la position de la moelle est abordée. Nous proposons une nouvelle approche originale basée sur l'algorithme des colonies de fourmis pour estimer la position de la moelle. L'utilisation de cet algorithme permet de s'abstraire d'une étape habituelle, à savoir l'accumulation des normales aux tangentes des cernes. Notre méthode montre de nombreux avantages par rapport aux approches de l'état de l'art, réseaux de neurones inclus. Dans une dernière partie, nous présenterons un travail en géométrie discrète : un filtre directionnel. Il estime les segments les plus longs en tout point d'un ensemble connexe. La présentation de cet outil est fait par le biais d'un filtre. En appliquant ce filtre,nous pouvons estimer des caractéristiques géométriques à l'échelle locale. Cet outil a pour objectif d'être appliqué aux cernes.

National audience; Nous résumons ici notre article à KCAP dont l'approche permet de générer un jeu de test comparatif et fournit des métriques pour évaluer les explications de prédictions de liens dans les graphes de connaissances par des réseaux convolutifs pour les graphes relationnels et ceci en présence de plusieurs explications possibles.

International audience; Nous proposons deux méthodes de résolution pour le transport dynamique, i.e. arrivage des requêtes en temps réel, suivant une synergie entre apprentissage automatique et optimisation. La méthode d'optimisation de base est une ré-optimisation selon [Bertsimas et al., 2019]. La première amélioration utilise un réseau de neurones pour exploiter le contexte des instances à résoudre et produire des temps de ramassage de points réalistes. Tandis que la deuxième amélioration fait usage de l'apprentissage par renforcement en plus de marches aléatoire pour la construction du graphe support pour l'instance du problème correspondant à chaque pas de temps. Les benchmarks considérés dans le projet sont ceux de [Bertsimas et al., 2019] pour le transport urbain et de [Skiredj, 2021] pour le transport sanitaire.

Enseignement Cours et séminaires – L’apprentissage face à la malédiction de la grande dimension Les sciences des données ont pour objectif « d’extraire de la connaissance » de données numériques, avec des algorithmes. Les applications sont considérables, pour stocker, analyser et valoriser les masses de données : images, sons, textes, mesures physiques ou données d’Internet. On distingue deux types de problèmes : la prédiction et la modélisation. Les prédictions sont faites par des algorithme...

In this work, we are interested in the place of task-oriented dialogue systems in both automatic language processing and human-machine interaction. In particular, we focus on the difference in information processing and memory use, from one turn to the next, by humans and machines, during a written chat conversation. After having studied the mechanisms of memory retention and recall in humans during a dialogue, in particular during the accomplishment of a task, we hypothesize that one of the elements that may explain why the performance of machines remains below that of humans, is the ability to possess not only an image of the user, but also an image of oneself, explicitly summoned during the inferences linked to the continuation of the dialogue. This translates into the following three axes for the system. First, by the anticipation, at a given turn of speech, of the next turn of the user. Secondly, by the detection of an inconsistency in one's own utterance, facilitated, as we demonstrate, by the anticipation of the user's next turn as an additional cue. Finally, by predicting the number of remaining turns in the dialogue in order to have a better vision of the dialogue progression, taking into account the potential presence of an incoherence in one's own utterance, this is what we call the dual model of the system, which represents both the user and the image that the system sends to the user. To implement these features, we exploit end-to-end memory networks, a recurrent neural network model that has the specificity not only to handle long dialogue histories (such as an RNN or an LSTM) but also to create reflection jumps, allowing to filter the information contained in both the user's utterance and the dialogue history. In addition, these three reflection jumps serve as a "natural" attention mechanism for the memory network, similar to a transformer decoder. For our study, we enhance a type of memory network called WMM2Seq (sequence-based working memory network) by adding our three features. This model is inspired by cognitive models of memory, presenting the concepts of episodic memory, semantic memory and working memory. It performs well on dialogue response generation tasks on the DSTC2 (human-machine in the restaurant domain) and MultiWOZ (multi-domain created with Wizard of Oz) corpora; these are the corpora we use for our experiments. The three axes mentioned above bring two main contributions to the existing. Firstly, it adds complexity to the intelligence of the dialogue system by providing it with a safeguard (detected inconsistencies). Second, it optimizes both the processing of information in the dialogue (more accurate or richer answers) and the duration of the dialogue. We evaluate the performance of our system with firstly the F1 score for the entities detected in each speech turn, secondly the BLEU score for the fluency of the system utterance and thirdly the joint accuracy for the success of the dialogue. The results obtained show that it would be interesting to direct research towards more cognitive models of memory management in order to reduce the performance gap in a human-machine dialogue.; Dans ce travail, nous nous intéressons à la place des systèmes de dialogue orientés-tâche à la fois dans le traitement automatique des langues, et dans l’interaction humain-machine. Nous nous concentrons plus particulièrement sur la différence de traitement de l’information et de l’utilisation de la mémoire, d’un tour de parole à l’autre, par l’humain et la machine, pendant une conversation écrite de type clavardage. Après avoir étudié les mécanismes de rétention et de rappel mémoriels chez l’humain durant un dialogue, en particulier dans l'accomplissement d'une tâche, nous émettons l’hypothèse qu’un des éléments susceptible d'expliquer que les performances des machines demeurent en deçà de celles des humains, est la capacité à posséder non seulement une image de l’utilisateur, mais également une image de soi, explicitement convoquée pendant les inférences liées à la poursuite du dialogue. Cela se traduit pour le système par les trois axes suivants. Tout d’abord, par l’anticipation, à un tour de parole donné, du tour suivant de l’utilisateur. Ensuite, par la détection d’une incohérence dans son propre énoncé, facilitée, comme nous le démontrons, par l’anticipation du tour suivant de l’utilisateur en tant qu’indice supplémentaire. Enfin, par la prévision du nombre de tours de paroles restants dans le dialogue afin d’avoir une meilleure vision de la progression du dialogue, en prenant en compte la potentielle présence d’une incohérence dans son propre énoncé, c’est que nous appelons le double modèle du système, qui représente à la fois l’utilisateur et l’image que le système renvoie à l’utilisateur. Pour mettre en place ces fonctionnalités, nous exploitons les réseaux de mémoire de bout-en-bout, un modèle de réseau de neurones récurrent qui possède la spécificité non seulement de traiter des historiques de dialogue longs (comme un RNN ou un LSTM) mais également de créer des sauts de réflexion, permettant de filtrer l’information contenue à la fois dans l’énoncé de l’utilisateur et dans celui de l’historique de dialogue. De plus, ces trois sauts de réflexion servent de mécanisme d’attention “naturel” pour le réseau de mémoire, à la manière d’un décodeur de transformeur. Pour notre étude, nous améliorons, en y ajoutant nos trois fonctionnalités, un type de réseau de mémoire appelé WMM2Seq (réseau de mémoire de travail par séquence). Ce modèle s’inspire des modèles cognitifs de la mémoire, en présentant les concepts de mémoire épisodique, de mémoire sémantique et de mémoire de travail. Il obtient des résultats performants sur des tâches de génération de réponse de dialogue sur les corpus DSTC2 (humain-machine dans le domaine de restaurant) et MultiWOZ (multi-domaine créé avec Magicien d’Oz); ce sont les corpus que nous utilisons pour nos expériences. Les trois axes mentionnés précédemment apportent deux contributions principales à l’existant. En premier lieu, ceci complexifie l’intelligence du système de dialogue en le dotant d’un garde-fou (incohérences détectées). En second lieu, cela optimise à la fois le traitement des informations dans le dialogue (réponses plus précises ou plus riches) et la durée de celui-ci. Nous évaluons les performances de notre système avec premièrement la f-mesure pour les entités détectées à chaque tour de parole, deuxièmement de score BLEU pour la fluidité de l’énoncé du système et troisièmement de taux d’exactitude jointe pour la réussite du dialogue. Les résultats obtenus montrent l’intérêt d’orienter les recherches vers des modèles de gestion de la mémoire plus cognitifs afin de réduire l’écart de performance dans un dialogue entre l’humain et la machine.