Search

In signal processing literature, noise's sources are often assumed to be Gaussian. However, in many fields the conventional Gaussian noise assumption is inadequate and can lead to the loss of resolution and/or accuracy. This is particularly the case of noise that exhibits impulsive nature. The latter is found in several areas, especially telecommunications. α-stable distributions are suitable for modeling this type of noise. In this context, the main focus of this thesis is to propose novel methods for the joint estimation of the state and the noise in impulsive environments. Inference is performed within a Bayesian framework using sequential Monte Carlo methods. First, this issue has been addressed within an OFDM transmission link assuming a symmetric α-stable model for channel distortions. For this purpose, a particle filter is proposed to include the joint estimation of the transmitted OFDM symbols and the noise parameters. Then, this problem has been tackled in the more general context of nonlinear dynamic systems. A flexible Bayesian nonparametric model based on Dirichlet Process Mixtures is introduced to model the α-stable noise. Moreover, sequential Monte Carlo filters based on efficient importance densities are implemented to perform the joint estimation of the state and the unknown measurement noise density; Dans un nombre croissant d'applications, les perturbations rencontrées s'éloignent fortement des modèles classiques qui les modélisent par une gaussienne ou un mélange de gaussiennes. C'est en particulier le cas des bruits impulsifs que nous rencontrons dans plusieurs domaines, notamment celui des télécommunications. Dans ce cas, une modélisation mieux adaptée peut reposer sur les distributions α-stables. C'est dans ce cadre que s'inscrit le travail de cette thèse dont l'objectif est de concevoir de nouvelles méthodes robustes pour l'estimation conjointe état-bruit dans des environnements impulsifs. L'inférence est réalisée dans un cadre bayésien en utilisant les méthodes de Monte Carlo séquentielles. Dans un premier temps, cette problématique a été abordée dans le contexte des systèmes de transmission OFDM en supposant que les distorsions du canal sont modélisées par des distributions α-stables symétriques. Un algorithme de Monte Carlo séquentiel a été proposé pour l'estimation conjointe des symboles OFDM émis et des paramètres du bruit α-stable. Ensuite, cette problématique a été abordée dans un cadre applicatif plus large, celui des systèmes non linéaires. Une approche bayésienne non paramétrique fondée sur la modélisation du bruit α-stable par des mélanges de processus de Dirichlet a été proposée. Des filtres particulaires basés sur des densités d'importance efficaces sont développés pour l'estimation conjointe du signal et des densités de probabilité des bruits

Independent component analysis (ICA) is a form of multivariate analysis that emerged as a concept in the eighties/nineties. It is a type of inverse problem where one observes a variable X whose components are linear mixtures of an unobservable variable S. The components of S are mutually independent. The relation between both variables is expressed by X=AS, where A is an unknown mixing matrix.The main problem in ICA is to estimate the matrix A, seeing an i.i.d. sample of X, to reach S which constitutes a better explicative system than X, in the study of some phenomena. The problem is generally resolved through the minimization of a criteria coming from some dependence measure.ICA looks like principal component analysis (PCA) in the formulation. In PCA, one seeks after uncorrelated components, that is to say pairwise independent at order 2 ; as for ICA, one seeks after mutually independent components, which is much more constraining, and there is not any more a simple algebraic solution in the general case. The main problems in the identification of A are removed by restrictions imposed in the classical ICA model.The approach which is proposed in this thesis adopts a non parametric point of view. Under Besov assumptions, we study several estimators of an exact dependence criteria given by the L2 norm between a density and the product of its marginals. This criteria constitutes an alternative to mutual information which represented so far the exact criteria of reference for the majority of ICA methods.We give an upper bound of the mean squared error of different estimators of the L2 contrast. This bound takes into account the approximation bias between the Besov space and the projection space which, here, stems from a multiresolution analysis (MRA) generated by the tensorial product of Daubechies wavelets. This type of bound, taking into account the approximation bias, is generally absent from recent non parametric methods in ICA (kernel methods, mutual information).The L2 norm criteria makes it possible to get closer to well-known problems in the statistical literature, estimation of integral of squared f, L2 norm homogeneity tests, convergence rates for estimators adopting block thresholding. We propose estimators of the L2 contrast that reach the optimal minimax rate of the problem integral of squared f. These estimators, of U-statistic type, have numerical complexities quadratic in n, which can be a problem for the contrast minimization to follow, to obtain a concrete estimation of matrix A. However these estimators also admit a block-thresholded version, where knowledge of the regularity s of the underlying multivariate density is useless to obtain an optimal rate.We propose a plug-in type estimator whose convergence rate is sub-optimal but with a numerical complexity linear in n. The plug-in estimator also admits a term by term thresholded version, which dampens the convergence rate but yields an adaptive criteria. In its linear version, the plug-in estimator already seems auto-adaptive in facts, that is to say under the constraint 2^{jd} < n, where d is the dimension of the problem and n the number of observations, the majority of resolutions j allow to estimate A after minimization.To obtain these results, we had to develop specific combinatorial tools, that allow to bound the rth moment of a U-statistic or a V-statistic. Standard results on U-statistics are indeed not directly usable and not easily adaptable in the context of study of the thesis. The tools that were developed are usable in other contexts.The wavelet method builds upon the usual paradigm, estimation of an independence criteria, then minimization. So we study in the thesis the elements useful for minimization. In particular we give filter aware formulations of the gradient and the hessian of the contrast estimator, that can be computed with a complexity equivalent to that of the estimator itself.Simulations proposed in the thesis confirm the applicability of the method and give excellent results. All necessary information for the implementation of the method, and the commented code of key parts of the program (notably d-dimensional algorithms) also appear in the document., L'analyse en composantes indépendantes (ACI) est une forme d'analyse multivariée qui a émergée en tant que concept dans les années 1980-90. C'est un type de problème inverse où on observe une variable X dont les composantes sont les mélanges linéaires d'une variable S inobservable. Les composantes de S sont mutuellement indépendantes. La relation entre les deux variables s'exprime par X=AS, où A est une matrice de mixage inconnue .Le problème principal de l'ACI est d'estimer la matrice A, à partir de l'observation d'un échantillon i.i.d. de X, pour atteindre S qui constitue un système explicatif meilleur que X dans l'étude d'un phénomène particulier. Le problème se résout généralement par la minimisation d'un certain critère, issu d'une mesure de dépendance.L'ACI ressemble à l'analyse en composantes principales (ACP) dans la formulation du problème. Dans le cas de l'ACP on cherche des composantes non corrélées, c'est-à-dire indépendantes par paire à l'ordre 2 ; dans le cas de l'ACI on cherche des composantes mutuellement indépendantes, ce qui est beaucoup plus contraignant; dans le cas général, il n'existe plus de solution algébrique simple. Les principaux problèmes d'identification de A sont évités par un certain nombre de conventions adoptées dans le modèle ACI classique.L'approche qui est proposée dans cette thèse est du type non paramétrique. Sous des hypothèses de type Besov, on étudie plusieurs estimateurs d'un critère de dépendance exact donné par la norme L2 de la différence entre une densité et le produit de ses marges. Ce critère constitue une alternative à l'information mutuelle qui représentait jusqu'ici le critère exact de référence de la plupart des méthodes ACI.On donne une majoration de l'erreur en moyenne quadratique de différents estimateurs du contraste L2. Cette majoration prend en compte le biais d'approximation entre le Besov et l'espace de projection qui, ici, est issu d'une analyse multirésolution (AMR) générée par le produit tensoriel d'ondelettes de Daubechies. Ce type de majoration avec prise en compte du biais d'approximation est en général absent des méthodes non paramétriques récentes en ACI (méthodes kernel, information mutuelle).Le critère en norme L2 permet de se rapprocher de problèmes déjà connus dans la littérature statistique, estimation de l'intégrale de f au carré, tests d'homogénéité en norme L2, résultats de convergence d'estimateurs adoptant un seuillage par bloc. On propose des estimateurs du contraste L2 qui atteignent la vitesse minimax optimale du problème de intégrale de f au carré. Ces estimateurs de type U-statistique ont des complexités numériques quadratique en n, ce qui peut poser un problème pour la minimisation du contraste à suivre, en vue d'obtenir l'estimation concrète de la matrice A. En revanche, ces estimateurs admettent une forme de seuillage par bloc où la connaissance de la régularité s de la densité multivariée sous-jacente est inutile pour obtenir une vitesse optimale.On propose un estimateur de type plug-in dont la vitesse de convergence est sous-optimale mais qui est de complexité numérique linéaire en n. L'estimateur plug-in admet aussi une forme seuillée terme à terme, qui dégrade la vitesse de convergence mais permet d'obtenir un critère auto-adaptatif. Dans sa version linéaire, l'estimateur plug-in semble déjà quasiment auto-adaptatif dans les faits, c'est-à-dire que sous la contrainte 2^{jd} < n, où d est la dimension du problème et n le nombre d'observations, la majorité des résolutions j permettent d'estimer A après minimisation.Pour obtenir ces résultats on a été amené à développer une technique combinatoire spécifique permettant de majorer le moment d'ordre r d'une U-statistique ou d'une V-statistique. Les résultats classiques sur les U-statistiques ne sont en effet pas directement utilisables et pas facilement adaptables dans le contexte d'étude de la thèse. La méthode développée est utilisable dans d'autres contextes.La méthode par ondelettes s'appuie sur le paradigme usuel estimation d'un critère de dépendance, puis minimisation. On étudie donc dans la thèse les éléments permettant de faciliter la minimisation. On donne notamment des formulations du gradient et du hessien de l'estimateur du contraste qui se prêtent à un changement de résolution par simple filtrage et qui se calculent selon une complexité équivalente à celle de l'évaluation de l'estimateur lui même. Des simulations proposées dans la thèse confirment l'applicabilité de la méthode et donnent des résultats excellents. Tous les éléments nécessaires à l'implémentation de la méthode, et le code commenté des parties clefs de la programmation (notamment des algorithmes d-dimensionnels) figurent également dans le document.

This thesis deals with maximum likelihood estimation in inverse problems. In the tree first chapters, we consider statistical models involving missing data in a parametric framework. Chapter 1 presents a version of the EM algorithm (Expectation Maximization), which combines a stochastic approximation with a Monte Carlo Markov Chain method: the missing data are drawn from a well-chosen transition probability. The almost sure convergence of the sequence generated by the algorithm to a local maximum of the likelihood of the observations is proved. Some applications to deconvolution and change-point detection are presented. Chapter 2 deals with the application of the algorithm to nonlinear mixed effects models. Besides the estimation of the parameters, we estimate the likelihood of the model and the Fisher information matrix. We assess the performance of the algorithm, comparing the results obtained with other methods, on examples coming from pharmacocinetics and pharmacodynamics. Chapter 3 presents an application to geophysics. We perform a joint inversion between teleseismic times and velocity and between gravimetric data and density. Our point of view is innovative because we estimate the parameters of the model which were generally fixed arbitrarily. Moreover we take into account a linear relation between slowness and density. Chapter 4 deals with non parametric density estimation in missing data problems. We propose a logspline estimator of the density of the non observed data, which maximizes the observed likelihood in a logspline model. We apply our algorithm in this parametric model. We study the convergence of this estimator to the density of the non observed data, when the size of the logpline model and the number of observations tend to infinity. Some applications illustrate this method., Cette thèse est consacrée à l'estimation par maximum de vraisemblance dans des problèmes inverses. Nous considérons des modèles statistiques à données manquantes, dans un cadre paramétrique au cours des trois premiers chapitres. Le Chapitre 1 présente une variante de l'algorithme EM (Expectation Maximization) qui combine une approximation stochastique à une méthode de Monte Carlo par chaînes de Markov : les données manquantes sont simulées selon une probabilité de transition bien choisie. Nous prouvons la convergence presque sûre de la suite générée par l'algorithme vers un maximum local de la vraisemblance des observations. Nous présentons des applications en déconvolution et en détection de ruptures. Dans le Chapitre 2, nous appliquons cet algorithme aux modèles non linéaires à effets mixtes et effectuons outre l'estimation des paramètres du modèle, des estimations de la vraisemblance du modèle et de l'information de Fisher. Les performances de l'algorithme sont illustrées via des comparaisons avec d'autres méthodes sur des exemples de pharmacocinétique et de pharmacodynamique. Le Chapitre 3 présente une application de l'algorithme en géophysique. Nous effectuons une inversion jointe, entre les temps de parcours des ondes sismiques et leurs vitesses et entre des mesures gravimétriques de surface et les densités du sous-sol, en estimant les paramètres du modèle, qui étaient en général fixés arbitrairement. De plus, nous prenons en compte une relation linéaire entre les densités et les vitesses des ondes. Le Chapitre 4 est consacré à l'estimation non paramétrique de la densité des données manquantes. Nous exhibons un estimateur logspline de cette densité qui maximise la vraisemblance des observations dans un modèle logspline et appliquons notre algorithme à ce modèle paramétrique. Nous étudions la convergence de cet estimateur vers la vraie densité lorsque la dimension du modèle logspline et le nombre d'observations tendent vers l'infini. Nous présentons quelques applications.