Search

Two principles at the forefront of modern machine learning and statistics are sparse modeling and robustness. Sparse modeling enables the construction of simpler statistical models. At the same time, statistical models need to be robust they should perform well when data is noisy in order to make reliable decisions. While sparsity and robustness are often closely related, the exact relationship and subsequent trade-offs are not always transparent. For example, convex penalties like the Lasso are often motivated by sparsity considerations, yet the success of these methods is also driven by their robustness. In this thesis, we work at improving the quality of the estimators in supervised machine learning in terms of robustness and sparsity. We propose methods that, jointly, perform variable selection and outlier detection, and formulate the obtained optimization problems using mixed integer programming (MIP) benefiting from the significant improvement of MIP solvers. First we focus on proposing a robust and sparse method for linear regression. To solve the problem exactly, we recast it as a mixed integer programming problem. In addition, and in order to decrease the computational time, we propose a discrete first algorithm providing a near-optimal solution in a very short time. The obtained solution is used as a warm start for the MIP solver. However, the proposed problem suffered from overfitting for low signal-to-noise ratio values. Then, to fix the overfitting behavior of the proposed method, we use penalized regularization to improve its performance when the noise is high. We also propose a discrete first order algorithm to solve the regularized approach. Finally, we propose a robust and sparse classification method based on the classical hinge-loss classifier. The obtained problem is formulated using mixed integer programming and shown to be efficient on both real and synthetic data sets., Deux points clés de l’apprentissage machine et des statistiques modernes sont la modélisation parcimonieuse et la robustesse. La modélisation parcimonieuse permet la construction de modèles statistiques plus performant et économes en ressources. Dans un même temps, les modèles statistiques doivent être robustes ; ils doivent être performants lorsque les données sont bruitées afin de permettre de prendre des décisions fiables. Si la parcimonie et la robustesse sont souvent étroitement liées, la relation qui les unit et les compromis qui en découlent ne sont pas toujours explicitement formulés. Par exemple, des pénalités convexes comme celle du Lasso sont souvent motivés par des considérations de sélection de variable, mais le succès de ces méthodes est aussi dû à leur robustesse. Dans cette thèse, nous travaillons à l’amélioration de la qualité des estimateurs dans le cadre de l’apprentissage supervisé simultanément en termes de robustesse et de parcimonie. Nous proposons des méthodes qui réalisent simultanément les deux tâches de sélection de variables et de détection de points aberrants. Ce problème est formulé dans différents contextes sous la forme de problèmes d’optimisation utilisant la programmation mixte en nombres entiers (MIP), dont la résolution bénéficie de l’amélioration significative des solveurs MIP. Nous nous concentrons d’abord sur la proposition d’une méthode robuste et peu répandue pour la régression linéaire. Pour résoudre le problème exactement, nous le reformulons en un problème de programmation mixte en nombres entiers. Ensuite, afin de réduire le temps de calcul, nous proposons un premier algorithme discret fournissant une solution quasi optimale en un temps très court. La solution obtenue est utilisée comme un démarrage à chaud pour le solveur MIP. Cependant, la solution proposée souffre de surapprentissage pour de faibles valeurs du rapport signal/bruit. Afin de corriger ce surapprentissage, nous utilisons une régularisation pénalisée pour améliorer ses performances lorsque le bruit est élevé. Nous proposons également un algorithme discret du premier ordre pour résoudre l’approche régularisée. Enfin, nous proposons une méthode de classification robuste parcimonieuse basée sur le classificateur classique séparateur à vaste marge (SVM) associé à la fonction de perte «charnière». Le problème obtenu est là aussi formulé comme un programme mixte en nombres entiers et s’avère efficace sur des ensembles de données réelles et synthétiques.

Accounting for customers' perception of manufactured goods has become a major challenge for the industry. This process is to be established from early design to retail. Customers are nowadays more aware and detail oriented about perceived quality of products. This allows one to set not only an estimated price but also the expected quality of the product. Surface appearance analysis has therefore become a key industrial issue. Two approaches are proposed here to formalize the detection methodology and provide objective criteria for experts to evaluate surface anomalies. The first proposed approach is based on surface metrology. It consists in analyzing the measured topologies in order to bind aspect to geometric characteristics. A multi-scale procedure based on Discrete Modal Decomposition is implemented and allows an effective separation of geometric variations. Accordingly, appearance anomalies can be isolated from other geometrical features. This method enables the calculation of surface curvatures in a simplified and robust manner. It is shown that such geometric information is relevant and bound to visual aspect. The presented work also emphasizes the influence of raw data in aspect analysis. Two main metrological difficulties are investigated: the presence of outliers (High frequencies) and the presence of non surface-related geometric defects, generated by the measuring device (Low frequencies). An innovative method for identifying outliers in surface metrology is presented. It is based on a multi-scale statistical approach. Finally, the issue of geometrical variation due to positioning tables is also addressed. A calibration protocol based on DMD that intends to correct this phenomenon is proposed. The second proposed approach, more global, is based on the interaction of a surface with its light environment. It aims at providing experts with assistance, specifically during the anomaly detection phase. The presented work uses Polynomial Texture Mapping. This technique consists of calculating the reflectance at each point of the surface and simulating its appearance while the lighting angles vary. A surface Inspection Support Device based on this principle is presented and detailed. Finally, an industrial study is proposed that shows how these two academic approaches can be combined within a global industrial methodology dedicated to surface appearance quality., Parmi tous les leviers à disposition des entreprises, la prise en compte de la perception par les clients est aujourd'hui centrale, dès la conception des produits. En effet, le consommateur est aujourd'hui mieux informé et attentif à ce qu'il perçoit de la qualité d'un produit et cette perception lui permet d'établir une valeur d'estime de la qualité esthétique des produits, mais aussi de ses fonctionnalités techniques. La méthodologie de l'analyse de la qualité d'aspect des surfaces est donc un enjeu essentiel pour l'industrie. Deux approches de la fonctionnalité des surfaces sont proposées afin de formaliser la méthodologie de détection, et d'apporter aux experts des critères objectifs d'évaluation des anomalies. La première approche proposée est basée sur la métrologie des surfaces. Elle consiste à analyser les topographies mesurées pour lier la fonction aspect aux caractéristiques géométriques extraites. Une approche multi-échelle basée sur la Décomposition Modale Discrète est mise en oeuvre afin de séparer efficacement les différents ordres de variations géométriques d'une surface, et ainsi d'isoler les anomalies d'aspect. D'autre part, cette méthode permet la mise en oeuvre du calcul des courbures sur une surface de façon simplifiée et robuste. On montre que cet attribut géométrique apporte une information supplémentaire et pertinente en lien avec la fonction aspect. Enfin, ces travaux ont mis en évidence l'importance de la qualité des données sources pour analyser l'aspect, et particulièrement deux difficultés d'ordre métrologiques, liées à la présence de points aberrants (hautes fréquences) et de variations géométriques non intrinsèques aux surfaces, générées par le moyen de mesure (basses fréquences). Une méthode innovante d'identification des points aberrants dédiée à la métrologie des surfaces et basée sur une approche statistique multi-échelle est proposée. La problématique des variations géométriques liées aux tables de positionnement du moyen de mesure est traitée au moyen de la Décomposition Modale, et un protocole pour corriger ces variations est présenté. La seconde approche, plus globale, est basée sur l'interaction entre les surfaces et l'environnement lumineux. L'objet de cette approche de l'analyse de l'aspect est d'apporter une aide aux experts pour mieux détecter les anomalies. Les travaux présentés sont basés sur la technique Polynomial Texture Mappings et consistent à modéliser la réflectance en chaque point des surfaces afin de simuler le rendu visuel sous un éclairage quelconque, à la manière de ce que font les opérateurs en analyse sensorielle pour faciliter la détection. Un dispositif d'aide à l'inspection des surfaces basé sur ce principe est présenté. Enfin, une approche industrielle est proposée afin de montrer comment ces 2 axes de recherche peuvent être complémentaires dans le cadre d'une méthodologie globale, industrielle, de l'analyse de la qualité d'aspect de surfaces.

Accounting for customers' perception of manufactured goods has become a major challenge for the industry. This process is to be established from early design to retail. Customers are nowadays more aware and detail oriented about perceived quality of products. This allows one to set not only an estimated price but also the expected quality of the product. Surface appearance analysis has therefore become a key industrial issue. Two approaches are proposed here to formalize the detection methodology and provide objective criteria for experts to evaluate surface anomalies. The first proposed approach is based on surface metrology. It consists in analyzing the measured topologies in order to bind aspect to geometric characteristics. A multi-scale procedure based on Discrete Modal Decomposition is implemented and allows an effective separation of geometric variations. Accordingly, appearance anomalies can be isolated from other geometrical features. This method enables the calculation of surface curvatures in a simplified and robust manner. It is shown that such geometric information is relevant and bound to visual aspect. The presented work also emphasizes the influence of raw data in aspect analysis. Two main metrological difficulties are investigated: the presence of outliers (High frequencies) and the presence of non surface-related geometric defects, generated by the measuring device (Low frequencies). An innovative method for identifying outliers in surface metrology is presented. It is based on a multi-scale statistical approach. Finally, the issue of geometrical variation due to positioning tables is also addressed. A calibration protocol based on DMD that intends to correct this phenomenon is proposed. The second proposed approach, more global, is based on the interaction of a surface with its light environment. It aims at providing experts with assistance, specifically during the anomaly detection phase. The presented work uses Polynomial Texture Mapping. This technique consists of calculating the reflectance at each point of the surface and simulating its appearance while the lighting angles vary. A surface Inspection Support Device based on this principle is presented and detailed. Finally, an industrial study is proposed that shows how these two academic approaches can be combined within a global industrial methodology dedicated to surface appearance quality., Parmi tous les leviers à disposition des entreprises, la prise en compte de la perception par les clients est aujourd'hui centrale, dès la conception des produits. En effet, le consommateur est aujourd'hui mieux informé et attentif à ce qu'il perçoit de la qualité d'un produit et cette perception lui permet d'établir une valeur d'estime de la qualité esthétique des produits, mais aussi de ses fonctionnalités techniques. La méthodologie de l'analyse de la qualité d'aspect des surfaces est donc un enjeu essentiel pour l'industrie. Deux approches de la fonctionnalité des surfaces sont proposées afin de formaliser la méthodologie de détection, et d'apporter aux experts des critères objectifs d'évaluation des anomalies. La première approche proposée est basée sur la métrologie des surfaces. Elle consiste à analyser les topographies mesurées pour lier la fonction aspect aux caractéristiques géométriques extraites. Une approche multi-échelle basée sur la Décomposition Modale Discrète est mise en oeuvre afin de séparer efficacement les différents ordres de variations géométriques d'une surface, et ainsi d'isoler les anomalies d'aspect. D'autre part, cette méthode permet la mise en oeuvre du calcul des courbures sur une surface de façon simplifiée et robuste. On montre que cet attribut géométrique apporte une information supplémentaire et pertinente en lien avec la fonction aspect. Enfin, ces travaux ont mis en évidence l'importance de la qualité des données sources pour analyser l'aspect, et particulièrement deux difficultés d'ordre métrologiques, liées à la présence de points aberrants (hautes fréquences) et de variations géométriques non intrinsèques aux surfaces, générées par le moyen de mesure (basses fréquences). Une méthode innovante d'identification des points aberrants dédiée à la métrologie des surfaces et basée sur une approche statistique multi-échelle est proposée. La problématique des variations géométriques liées aux tables de positionnement du moyen de mesure est traitée au moyen de la Décomposition Modale, et un protocole pour corriger ces variations est présenté. La seconde approche, plus globale, est basée sur l'interaction entre les surfaces et l'environnement lumineux. L'objet de cette approche de l'analyse de l'aspect est d'apporter une aide aux experts pour mieux détecter les anomalies. Les travaux présentés sont basés sur la technique Polynomial Texture Mappings et consistent à modéliser la réflectance en chaque point des surfaces afin de simuler le rendu visuel sous un éclairage quelconque, à la manière de ce que font les opérateurs en analyse sensorielle pour faciliter la détection. Un dispositif d'aide à l'inspection des surfaces basé sur ce principe est présenté. Enfin, une approche industrielle est proposée afin de montrer comment ces 2 axes de recherche peuvent être complémentaires dans le cadre d'une méthodologie globale, industrielle, de l'analyse de la qualité d'aspect de surfaces.

The taking into account of a period of break (thick break) makes it possible to correctly analyze the time series of the euro-dollar exchange rate. By retaining the posterior period with the Louvre agreements, but by eliminating the first years from existence of the euro, and until today, one can affirm that this rate is stationary and after trend stationary and thus that there is a mechanism of return towards a level (a trend) of equilibrium. This point is shown using a new procedure of test based on the elimination of thick breaks. That makes it possible to propose a forecast based on this deterministic trend, La prise en compte d'une période de rupture (rupture épaisse) permet d'analyser correctement la série statistique du taux de change euro-dollar. En retenant la période postérieure aux accords du Louvre, mais en éliminant les premières années d'existence de l'euro, et jusqu'à aujourd'hui, on peut affirmer que ce taux est stationnaire en niveau et ensuite en tendance et donc qu'il existe un mécanisme de rappel vers un niveau (une tendance) d'équilibre. Ce point est démontré à l'aide d'une nouvelle procédure de test fondée sur l'élimination des ruptures épaisses. Cela permet de proposer une prévision fondée sur cette tendance déterministe.

Cette étuse consacrée à la détection des données atypiques dans la régression, discute des méthodes récentes de diagnostic. L'originalité du travail réside dans l'analyse comparative des méthodes classiques (fondées sur les moindres carrés) et les méthodes de la statistique robuste, du point de vue notamment de leur portée et de leur limites. On distingue deux catégories d'observations atypiques : les donnéesaberrantes, qui n'obéissent pas au même modèle que la majorité des autres données, et les points leviers, qui sont atypiques dans l'espace des variables expicatives. Les techniques de la statistique robuste fournissent par rapport aux méthodes classiques, des diagnostics nettement plus sûrs pour la détection des données aberrantes, au prix cependant d'un coût d'estimation plus important. En ce qui concerne les points leviers, les méthodes classqieus paraissent aussi performantes que celles de la statistique robuste.