Search

Data-Flow reversal is at the heart of Source-Transformation reverse Algorithmic Differentiation (Reverse ST-AD), arguably the most efficient way to obtain gradients of numerical models. However, when the model implementation language uses Garbage Collection (GC), for instance in Java or Python, the notion of address that is needed for Data-Flow reversal disappears. Moreover, GC is asynchronous and does not appear explicitly in the source. We present an extension to the model of Reverse ST-AD suitable for a language with GC. We validate this approach on a Java implementation of a simple Navier-Stokes solver. We compare performance with existing AD tools ADOL-C and Tapenade on an equivalent implementation in C and Fortran.; Le renversement du flot de données est au centre du mode inverse de la Différentiation Algorithmique, qui est la manière la plus efficace d’obtenir le gradient d’un code numérique. Pourtant, quand le langage d’implémentation de ce code utilise le GC (Garbage Collection), par exemple en Java ou en Python, la notion d’adresse disparaît alors que cette notion est nécessaire aux techniques classiques de renversement du flot de données. De plus, le GC est asynchrone et ne correspond pas à une instruction explicite dans le code. Nous présentons une extension du mode inverse de la Différentiation Algorithmique qui le rend compatible avec le GC. Nous validons ce modèle étendu sur un solveur Navier-Stokes simple implémenté en Java. Nous comparons les performances avec celles d’outils de DA existants tels que ADOL-C et Tapenade, appliqués à des implémentations équivalentes du même solveur réécrit en C et Fortran.

International audience; A computational fluid dynamics code relying on a high-order spatial discretization is differentiated using algorithmic differentiation (AD). Two unsteady test cases are considered: a decaying incompressible viscous shear layer and an inviscid compressible flow around a NACA 0012 airfoil. Both tangent and adjoint modes of AD are explored in the viscous case, while only the tangent mode is applied to the inviscid case. The layer of message passing interface (MPI) communications was handled by the AD tool (Tapenade) through the Adjoinable MPI library, with fully automatic inversion of the MPI communications in adjoint mode. A description of the necessary code modifications is provided along with the validation of the computed derivatives and a comparison of the performance of the different codes. The explicit time integration loop of the viscous problem required of the order of 10^6 time steps, which could be inverted in the backward sweep of the adjoint code by means of binomial checkpointing.

International audience; Algorithmic Differentiation (AD) provides the analytic derivatives of functions given as programs. Adjoint AD, which computes gradients, is similar to Back Propagation for Machine Learning. AD researchers study strategies to overcome the difficulties of adjoint AD, to get closer to its theoretical efficiency. To promote fruitful exchanges between Back Propagation and adjoint AD, we present three of these strategies and give our view of their interest and current status.

International audience; Checkpointing is a classical strategy to reduce the peak memory consumption of the adjoint. Checkpointing is vital for long run-time codes, which is the case of most MPI parallel applications. However, for MPI codes this question has always been addressed by ad-hoc hand manipulations of the differentiated code, and with no formal assurance of correctness. In a previous work, we investigated the assumptions implicitly made during past experiments, to clarify and generalize them. On one hand we proposed an adaptation of checkpointing to the case of MPI parallel programs with point-to-point communications, so that the semantics of an adjoint program is preserved for any choice of the checkpointed part. On the other hand, we proposed an alternative adaptation of checkpointing, more efficient but that requires a number of restrictions on the choice of the checkpointed part. In this work we see checkpointing MPI parallel programs from a practical point of view. We propose an implementation of the adapted techniques inside the AMPI library. We discuss practical questions about the choice of technique to be applied within a checkpointed part and the choice of the checkpointed part itself. Finally, we validate our theoretical results on representative CFD codes.

Checkpointing is a classical technique to mitigate the overhead of adjoint Algorithmic Differentiation (AD). In the context of source transformation AD with the Store-All approach, checkpointing reduces the peak memory consumption of the adjoint, at the cost of duplicate runs of selected pieces of the code. Checkpointing is vital for long run-time codes, which is the case of most MPI parallel applications. However, the presence of MPI communications seriously restricts application of checkpointing. In most attempts to apply checkpointing to adjoint MPI codes (the ``popular'' approach), a number of restrictions apply on the form of communications that occur in the checkpointed piece of code. In many works, these restrictions are not explicit, and an application that does not respect these restrictions may produce erroneous code. We propose techniques to apply checkpointing to adjoint MPI codes, that either do not suppose these restrictions, or explicit them so that the end users can verify their applicability. These techniques rely on both adapting the snapshot mechanism of checkpointing and on modifying the behavior of communication calls. One technique is based on logging the values received, so that the duplicated communications need not take place.Although this technique completely lifts restrictions on checkpointing MPI codes, message logging makes it more costly than the popular approach. However, we can refine this technique to blend message logging and communications duplication whenever it is possible, so that the refined technique now encompasses the popular approach.We provide elements of proof of correction of our refined technique, i.e. that it preserves the semantics of the adjoint code and that it doesn't introduce deadlocks.; Le ``Checkpointing'' est une technique classique pour atténuer le surcoût de la différentiation algorithmique adjointe (DA). Dans le contexte de la DA par transformation de source avec l'approche Store-All, le checkpointing réduit le pic de consommation de mémoire de l'adjoint au prix d'exécutions dupliquées de morceaux de code sélectionnés. Le checkpointing est vital pour les codes de temps d'exécution long, ce qui est le cas de la plupart des applications parallèles MPI. Cependant, la présence des communications MPI restreint sérieusement l'application du checkpointing. Dans la plupart des tentatives pour appliquer le checkpointing aux codes MPI adjoints (l'approche ``populaire''), certaines restrictions s'appliquent sur la forme des communications qui ont lieu dans le morceau de code apres le checkpointing. Dans plusieurs travaux, ces restrictions ne sont pas explicites, et une application qui ne respecte pas ces restrictions peut produire des résultats erronés. Nous proposons des techniques pour appliquer le checkpointing aux codes MPI adjoints, qui ou bien ne supposent pas ces restrictions, ou bien les explicitent de telle façon que les utilisateurs finaux peuvent vérifier leur applicabilité. Ces techniques utilisent à la fois l'adaptation des mécanismes de snapshot de checkpoining et sur la modification de comportement des appels de communications. Une technique est fondée sur l'enregistrement des valeurs reçues, de telle façon que les communications n'ont pas besoin d'être répétées. Malgré que cette technique lève complètement les restrictions sur le checkpointing des codes MPI, l'enregistrement des messages la rend plus coûteuse que l'approche populaire. Cependant, nous pouvons raffiner cette technique pour remplacer l'enregistrement des valeurs par la duplication des communications à chaque fois que c'est possible, de telle façon que la technique raffinée englobe maintenant l'approche populaire. Nous fournissons des éléments de preuve de correction de notre technique raffinée, à savoir qu'elle préserve la sémantique du code adjoint et qu'elle n'introduit pas de deadlock.

International audience; Efficient Algorithmic Differentiation of Fixed-Point loops requires a specific strategy to avoid explosion of memory requirements. Among the strategies documented in literature, we have selected the one introduced by B. Christianson. This method features original mechanisms such as repeated access to the trajectory stack or duplicated differentiation of the loop body with respect to different independent variables. We describe in this paper how the method must be further specified to take into account the particularities of real codes, and how data flow information can be used to automate detection of relevant sets of variables. We describe the way we implement this method inside an AD tool. Experiments on a medium-size application demonstrate a minor, but non negligible improvement of the accuracy of the result, and more importantly a major reduction of the memory needed to store the trajectories.

The information on sensitivity provided by derivatives is indispensable in many fields of science. In numerical analysis, computing the accurate value of the derivatives of a function can be a challenge. The classical Finite Differences (FD) method is a simple solution to implement when estimating the value of a derivative. However, it remains highly sensitive numerically and costly in calculation time. Conversely, the Algorithmic Differentiation Method (AD) is a powerful tool for calculating the derivatives of a function described by a computer program. Whatever the complexity of the algorithms implemented in the expression of a function, AD calculates its derivative accurately and reduces development efforts. This article presents the contribution of AD in comparison to FD in the problem of calibrating an industrial class 1D shallow water model. Model calibration is performed by a deterministic mathematical optimiser requiring accurate calculation of the sensitivity of the water surface profile in relation to the friction on a river bed. Two comparative real test cases are presented. They permit validating the better performance expected from AD as a tool used to obtain optimal calibration., Les informations de sensibilité fournies par les dérivées sont indispensables en science dans de nombreux domaines. En analyse numérique, calculer très précisément la valeur des dérivées d'une fonction d'un simulateur physique peut relever du défi. La méthode classique des Différences Finies (DF) est une solution simple à mettre en oeuvre pour estimer la valeur d'une dérivée. Cependant, elle reste très sensible numériquement et coûteuse en temps de calcul. A contrario la méthode de la Différentiation Algorithmique (DA) est une aide puissante pour le calcul des dérivées d'une fonction décrite au moyen d'un programme informatique. Quelle que soit la complexité des algorithmes mis en oeuvre dans l'expression d'une fonction, elle calcule précisément sa dérivée en minimisant les efforts de développement. Cet article montre l'apport de la DA en comparaison des DF sur le problème du calage d'un modèle hydraulique à surface libre 1D de classe industrielle. Le calage du modèle est réalisé par un optimiseur mathématique déterministe nécessitant le calcul précis de la sensibilité de la cote d'eau par rapport au frottement sur le fond de la rivière. Deux cas tests réels de comparaison sont présentés. Ils permettent de valider la supériorité attendue de la DA comme outil d'aide à l'obtention d'un calage optimal.