Search

This manuscript focuses on Bayesian modeling of unknown functions with Gaussian processes. This task arises notably for industrial design, with numerical simulators whose computation time can reach several hours. Our work focuses on the problem of model selection and validation and goes in two directions. The first part studies empirically the current practices for stationary Gaussian process modeling. Several issues on Gaussian process parameter selection are tackled. A study of parameter selection criteria is the core of this part. It concludes that the choice of a family of models is more important than that of the selection criterion. More specifically, the study shows that the regularity parameter of the Matérn covariance function is more important than the choice of a likelihood or cross-validation criterion. Moreover, the analysis of the numerical results shows that this parameter can be selected satisfactorily by the criteria, which leads to a practical recommendation. Then, particular attention is given to the numerical optimization of the likelihood criterion. Observing important inconsistencies between the different libraries available for Gaussian process modeling like Erickson et al. (2018), we propose elementary numerical recipes making it possible to obtain significant gains both in terms of likelihood and model accuracy. Finally, the analytical formulas for computing cross-validation criteria are revisited under a new angle and enriched with similar formulas for the gradients. This last contribution aligns the computational cost of a class of cross-validation criteria with that of the likelihood. The second part presents a goal-oriented methodology. It is designed to improve the accuracy of the model in an (output) range of interest. This approach consists in relaxing the interpolation constraints on a relaxation range disjoint from the range of interest. We also propose an approach for automatically selecting the relaxation range. This new method can implicitly manage potentially complex regions of interest in the input space with few parameters. Outside, it learns non-parametrically a transformation improving the predictions on the range of interest. Numerical simulations show the benefits of the approach for Bayesian optimization, where one is interested in low values in the minimization framework. Moreover, the theoretical convergence of the method is established under some assumptions., Cette thèse s’inscrit dans la lignée de travaux portant sur la modélisation bayésienne de fonctions par processus gaussiens, pour des applications en conception industrielle s’appuyant sur des simulateurs numériques dont le temps de calcul peut atteindre jusqu’à plusieurs heures. Notre travail se concentre sur le problème de sélection et de validation de modèle et s’articule autour de deux axes. Le premier consiste à étudier empiriquement les pratiques courantes de modélisation par processus gaussien stationnaire. Plusieurs problèmes sur la sélection automatique de paramètre de processus gaussien sont considérés. Premièrement, une étude empirique des critères de sélection de paramètres constitue le coeur de cet axe de recherche et conclut que, pour améliorer la prédictivité des modèles, le choix d’un critère de sélection parmi les plus courants est un facteur de moindre importance que le choix a priori d’une famille de modèles. Plus spécifiquement, l’étude montre que le paramètre de régularité de la fonction de covariance de Matérn est plus déterminant que le choix d’un critère de vraisemblance ou de validation croisée. De plus, l’analyse des résultats numériques montre que ce paramètre peut-être sélectionné de manière satisfaisante par les critères, ce qui aboutit à une recommandation permettant d’améliorer les pratiques courantes. Ensuite, une attention particulière est réservée à l’optimisation numérique du critère de vraisemblance. Constatant, comme Erickson et al. (2018), des inconsistances importantes entre les différentes librairies disponibles pour la modélisation par processus gaussien, nous proposons une série de recettes numériques élémentaires permettant d’obtenir des gains significatifs tant en termes de vraisemblance que de précision du modèle. Enfin, les formules analytiques pour le calcul de critère de validation croisée sont revisitées sous un angle nouveau et enrichies de formules analogues pour les gradients. Cette dernière contribution permet d’aligner le coût calculatoire d’une classe de critères de validation croisée sur celui de la vraisemblance. Le second axe de recherche porte sur le développement de méthodes dépassant le cadre des modèles gaussiens stationnaires. Constatant l’absence de méthode ciblée dans la littérature, nous proposons une approche permettant d’améliorer la précision d’un modèle sur une plage d’intérêt en sortie. Cette approche consiste à relâcher les contraintes d’interpolation sur une plage de relaxation disjointe de la plage d’intérêt, tout en conservant un coût calculatoire raisonnable. Nous proposons également une approche pour la sélection automatique de la plage de relaxation en fonction de la plage d’intérêt. Cette nouvelle méthode permet de définir des régions d’intérêt potentiellement complexes dans l’espace d’entrée avec peu de paramètres et, en dehors, d’apprendre de manière non-paramétrique une transformation permettant d’améliorer la prédictivité du modèle sur la plage d’intérêt. Des simulations numériques montrent l’intérêt de la méthode pour l’optimisation bayésienne, où l’on est intéressé par les valeurs basses dans le cadre de la minimisation. De plus, la convergence théorique de la méthode est établie, sous certaines hypothèses.

This habilitation thesis retraces works focusing mainly on model based clustering and the related issue of model choice. After recalling the contribution of mixture models to the unsupervised framework of clustering, the latent block model (LBM), a mixture model extended to the simultaneous clustering (co-clustering) of rows and columns of a data table, is introduced. Theoretical (identifiability, consistency and asymptotic normality of the estimators) and methodological contributions (estimation by variational EM, stochastic EM, Bayesian variational EM, Gibbs sampler,model choice with the ICL criterion) are presented. The LBM is extended to the Multiple Latent Block Model (MLBM) to process individual data in pharmacovigilance and a greedy algorithm to scan the model set is proposed. The study of functional MRI data, for which the number of individuals is much smaller than the number of variables, made it possible to explore the large dimension paradigm in two directions : use of Bayesian inference as a regularization tool (MSBR model - Multi Sparse Bayesian Regression) ; drastic dimension reduction while keeping interpretable results(clustering of spatially constrained variables supervised by the prediction of the target). Finally, some contributions in less related domains (data modeling in genomics, meteorology, phylogenetics or finance) illustrate how applications bring up interesting theoretical or methodological issues.; Ce mémoire d’habilitation retrace des travaux portant principalement sur la classification non supervisée par modélisation probabiliste et sur la question connexe du choix de modèle. Après avoir rappelé l’apport des modèles de mélange à la classification non supervisée (clustering), le modèle des blocs latents (LBM), un modèle de mélange étendu à la classification simultanée (co-clustering) des lignes et des colonnes d’un tableau de données, est introduit. Des contributions théoriques (identifiabilité, consistance et normalité asymptotique des estimateurs) et méthodologiques (estimation par EM variationnel, EM stochastique, EM variationnel bayésien, échantillonneurde Gibbs, choix de modèle via le critère ICL) sont présentés. Le LBM est étendu au modèle de blocs latents multiples (MLBM) pour traiter des données individuelles en pharmacovigilance et un algorithme glouton de parcours des modèles est proposé. L’étude de données d’IRM fonctionnelle, pour lesquelles le nombre d’individus est très inférieur au nombre de variables, a permis d’explorer le problème de la grande dimension suivant deux directions : utilisation de l’inférence bayésienne à des fins de régularisation (modèle MSBR –Multi Sparse Bayesian Regression) ; réductiondrastique de la dimension tout en gardant des résultats interprétables (clustering de variables contraintes spatialement supervisé par la prédiction de la cible). Enfin, quelques contributions dans des domaines plus éloignés de modélisation de données applicatives (génomiques, météorologiques, phylogénétiques ou financières) illustrent comment des besoins applicatifs font surgir des questions théoriques ou méthodologiques intéressantes.

This habilitation thesis retraces works focusing mainly on model based clustering and the related issue of model choice. After recalling the contribution of mixture models to the unsupervised framework of clustering, the latent block model (LBM), a mixture model extended to the simultaneous clustering (co-clustering) of rows and columns of a data table, is introduced. Theoretical (identifiability, consistency and asymptotic normality of the estimators) and methodological contributions (estimation by variational EM, stochastic EM, Bayesian variational EM, Gibbs sampler,model choice with the ICL criterion) are presented. The LBM is extended to the Multiple Latent Block Model (MLBM) to process individual data in pharmacovigilance and a greedy algorithm to scan the model set is proposed. The study of functional MRI data, for which the number of individuals is much smaller than the number of variables, made it possible to explore the large dimension paradigm in two directions : use of Bayesian inference as a regularization tool (MSBR model - Multi Sparse Bayesian Regression) ; drastic dimension reduction while keeping interpretable results(clustering of spatially constrained variables supervised by the prediction of the target). Finally, some contributions in less related domains (data modeling in genomics, meteorology, phylogenetics or finance) illustrate how applications bring up interesting theoretical or methodological issues.; Ce mémoire d’habilitation retrace des travaux portant principalement sur la classification non supervisée par modélisation probabiliste et sur la question connexe du choix de modèle. Après avoir rappelé l’apport des modèles de mélange à la classification non supervisée (clustering), le modèle des blocs latents (LBM), un modèle de mélange étendu à la classification simultanée (co-clustering) des lignes et des colonnes d’un tableau de données, est introduit. Des contributions théoriques (identifiabilité, consistance et normalité asymptotique des estimateurs) et méthodologiques (estimation par EM variationnel, EM stochastique, EM variationnel bayésien, échantillonneurde Gibbs, choix de modèle via le critère ICL) sont présentés. Le LBM est étendu au modèle de blocs latents multiples (MLBM) pour traiter des données individuelles en pharmacovigilance et un algorithme glouton de parcours des modèles est proposé. L’étude de données d’IRM fonctionnelle, pour lesquelles le nombre d’individus est très inférieur au nombre de variables, a permis d’explorer le problème de la grande dimension suivant deux directions : utilisation de l’inférence bayésienne à des fins de régularisation (modèle MSBR –Multi Sparse Bayesian Regression) ; réductiondrastique de la dimension tout en gardant des résultats interprétables (clustering de variables contraintes spatialement supervisé par la prédiction de la cible). Enfin, quelques contributions dans des domaines plus éloignés de modélisation de données applicatives (génomiques, météorologiques, phylogénétiques ou financières) illustrent comment des besoins applicatifs font surgir des questions théoriques ou méthodologiques intéressantes.

International audience; Title: Utilisation de modèles dynamiques pour l'optimisation des traitements des patients infectés par le VIH: une approche par analysis Bayésienne séquentielle Mélanie Prague Résumé : The use of dynamic mechanistic models based on ordinary differential equations (ODE) has greatly improved the knowledge of the dynamics of HIV and of the immune system. Their flexibility for fitting data and prediction abilities make them a good tool for optimization of the design delivery and efficacy of new intervention in the HIV field. We present the problem of inference in ODE models with mixed effects on parameters. We introduce a Bayesian estimation procedure based on the maximization of the penalized likelihood and a normal approximation of posteriors, which is implemented in the NIMROD software. We investigate the impact of pooling different data by using a sequential bayesian analysis (SBA), which uses posteriors of a previous study as new priors. We show that the normal approximation of the posteriors, which constrains the shape of new priors, leads to gains in accuracy of estimation while reducing computation times. The illustration is from two clinical trials of combination of antiretroviral therapies (cART) : ALBI ANRS 070 and PUZZLE ANRS 104. This paper reproduces some unpublished work from my PhD thesis. It is an extension of my oral presentation on the same topic at the 47th Journées de Statistique organized by the French Statistical Society (SFdS) in Lille, France, May 2015, when being awarded the Marie-Jeanne Laurent-Duhamel prize. Abstract: L'utilisation des modèles mécanistes dynamiques basés sur des équations différentielles ordinaires (ODE) a considérablement amélioré les connaissances de la dynamique HIV-système immunitaire. Leur flexibilité à ajuster des données et leur capacité de predictions en font un bon outil pour l'optimization du plan d'expérience et de l'analyse d'efficacité d'interventions nouvelle dans le domaine du VIH. Nous traitons des méthodes d'estimation pour les ODEs dont les paramètres sont représentés par des modèles à effet mixtes. Nous proposons une estimation Bayésienne par maximisation de la vraisemblance pénalisée et basée sur l'approximation normale des a posteriori, implémentée dans le logiciel NIMROD. Nous discutons l'impact d'une analyse séquentielle Bayesienne (SBA) permettant d'analyser plusieurs jeux de données en utilisant comme nouvel a priori l'a posteriori des analyses précédentes. Nous illustrons que l'approximation normale de l'a posteriori, qui contraint la forme des nouveaux a priori, permet un gain en précision de l'estimation et diminue les temps de calculs. Nous illustrons la méthode avec des données issues de deux essais cliniques testant des combinaisons d'antirétroviraux (cART): ALBI ANRS 070 et PUZZLE ANRS 104. Cet article reproduit des résultats non publiés de mon manuscript de thèse. C'est une extension de la conférence sur le même sujet que j'ai eu l'honneur de donner lors de la réception du prix Marie-Jeanne Laurent-Duhamel, dans le cadre des 47èmes Journées de Statistique organisées par la Société Française de Statistique à Lille, France, en mai 2015.

This thesis aims to improve statistical methods suitable for stochastic models of population genetics and to develop statistical methods adapted to next generation sequencing data.Sequential importance sampling algorithms have been defined to estimate likelihoods in models of ancestral population processes. However, these algorithms are based on features of the models with constant population size, and become inefficient when the population size varies in time, making likelihood-based inferences difficult in many demographic situations. In the first contribution of this thesis, we modify a previous sequential importance sampling algorithm to improve the efficiency of the likelihood estimation. Our procedure is still based on features of the model with constant size, but uses a resampling technique with a new resampling probability distribution depending on the pairwise composite likelihood. We tested our algorithm, called sequential importance sampling with resampling (SISR) on simulated data sets under different demographic cases. In most cases, we divided the computational cost by two for the same accuracy of inference, in some cases even by one hundred. This work provides the first assessment of the impact of such resampling techniques on parameter inference using sequential importance sampling, and extends the range of situations where likelihood inferences can be easily performed.The recent development of high-throughput sequencing technologies has revolutionized the generation of genetic data for many organisms : genome wide sequence data are now available. Classical inference methods (maximum likelihood methods (MCMC, IS), methods based on the Sites Frequency Spectrum (SFS)) suitable for polymorphism data sets of some loci assume that the genealogies of the loci are independent. To take advantage of genome wide sequence data with known genome, we need to consider the dependency of genealogies of adjacent positions in the genome. Thus, when we model recombination, the likelihood takes the form of an integral over all possible ancestral recombination graph for the sampled sequences. This space is of much larger dimension than the genealogies space, to the extent that we cannot handle likelihood-based inference while modeling recombination without further approximations.Several methods infer the historical changes in the effective population size but do not consider the complexity of the demographic model fitted.Even if some of them propose a control for potential over-fitting, to the best of our knowledge, no model choice procedure between demographic models of different complexity have been proposed based on IBS segment lengths. The aim of the second contribution of this thesis is to overcome this lack by proposing a model choice procedure between demographic models of different complexity. We focus on a simple model of constant population size and a slightly more complex model with a single past change in the population size.Since these models are embedded, we developed a penalized model choice criterion based on the comparison of observed and predicted haplotype homozygosity.Our penalization relies on Sobol's sensitivity indices and is a form of penalty related to the complexity of the model.This penalized model choice criterion allowed us to choose between a population of constant size and a population size with a past change on simulated data sets and also on a cattle data set.; Cette thèse consiste à améliorer les outils statistiques adaptés à des modèles stochastiques de génétiques des populations et de développer des méthodes statistiques adaptées à des données génétiques de nouvelle génération. Pour un modèle paramétrique basé sur le coalescent, la vraisemblance en un point de l'espace des paramètres s'écrit comme la somme des probabilités de toutes les histoires (généalogies munies de mutations) possibles de l'échantillon observé. À l'heure actuelle, les meilleures méthodes d'inférence des paramètres de ce type de modèles sont les méthodes bayésiennes approchées et l'approximation de la fonction de vraisemblance.L'algorithme d'échantillonnage préférentiel séquentiel (SIS) estime la vraisemblance, en parcourant de manière efficace l'espace latent de ces histoires. Dans ce schéma, la distribution d'importance propose les histoires de l'échantillon observé les plus probables possibles. Cette technique est lourde en temps de calcul mais fournit des estimations par maximum de vraisemblance d'une grande précision.Les modèles que nous souhaitons inférer incluent des variations de la taille de la population. Les méthodes d'IS ne sont pas efficaces pour des modèles en déséquilibre car les distributions d'importance ont été développées pour une population de taille constante au cours du temps. Le temps de calcul augmente fortement pour la même précision de l'estimation de la vraisemblance. La première contribution de cette thèse a consisté à explorer l'algorithme SIS avec ré-échantillonnage (SISR). L'idée est de ré-échantillonner de façon à apprendre quelles sont les histoires proposées par la distribution d'importance qui seront les plus probables avant d'avoir terminé leur simulation et diminuer le temps de calcul. Par ailleurs, nous avons proposé une nouvelle distribution de ré-échantillonnage, tirant profit de l'information contenue dans la vraisemblance composite par paire de l'échantillon.Le développement récent des technologies de séquençage à haut débit a révolutionné la génération de données de polymorphisme chez de nombreux organismes. Les méthodes d'inférence classiques de maximum de vraisemblance ou basées sur le Sites Frequency Spectrum, adaptées à des jeux de données de polymorphisme génétique de quelques loci, supposent l'indépendance des généalogies des loci. Pour tirer parti de données beaucoup plus denses sur le génome, nous considérons la dépendance des généalogies sur des positions voisines du génome et modéliser la recombinaison génétique. Alors, la vraisemblance prend la forme d'une intégrale sur tous les graphes de recombinaison ancestraux possibles pour les séquences échantillonnées, un espace de bien plus grande dimension que l'espace des généalogies. Les méthodes d'inférence basées sur la vraisemblance ne peuvent plus être utilisées sans plus d'approximations. De nombreuses méthodes infèrent les changements historiques de la taille de la population mais ne considèrent pas la complexité du modèle ajusté. Même si certaines proposent un contrôle d'un potentiel sur-ajustement du modèle, à notre connaissance, aucune procédure de choix de modèle entre des modèles démographiques de complexité différente n'a été proposée à partir de longueurs de segments identiques. Nous nous concentrons sur un modèle de taille de population constante et un modèle de population ayant subit un unique changement de taille dans le passé. Puisque ces modèles sont emboîtés, la deuxième contribution de cette thèse a consisté à développer un critère de choix de modèle pénalisé basé sur la comparaison d'homozygotie haplotypique observée et théorique. Notre pénalisation, reposant sur des indices de sensibilité de Sobol, est liée à la complexité du modèle. Ce critère pénalisé de choix de modèle nous a permis de choisir entre un modèle de taille de population constante ou présentant un changement passé de la taille de la population sur des jeux de données simulés et sur un jeux de données de vaches.

This thesis studies the Gaussian mixture model-based clustering approaches and the criteria of model selection for binned data clustering. Fourteen binned-EM algorithms and fourteen bin-EM-CEM algorithms are developed for fourteen parsimonious Gaussian mixture models. These new algorithms combine the advantages in computation time reduction of binning data and the advantages in parameters estimation simplification of parsimonious Gaussian mixture models. The complexities of the binned-EM and the bin-EM-CEM algorithms are calculated and compared to the complexities of the EM and the CEM algorithms respectively. In order to select the right model which fits well the data and satisfies the clustering precision requirements with a reasonable computation time, AIC, BIC, ICL, NEC, and AWE criteria, are extended to binned data clustering when the proposed binned-EM and bin-EM-CEM algorithms are used. The advantages of the different proposed methods are illustrated through experimental studies., Cette thèse étudie les approches de classification automatique basées sur les modèles de mélange gaussiens et les critères de choix de modèles pour la classification automatique de données discrétisées. Quatorze algorithmes binned-EM et quatorze algorithmes bin-EM-CEM sont développés pour quatorze modèles de mélange gaussiens parcimonieux. Ces nouveaux algorithmes combinent les avantages des données discrétisées en termes de réduction du temps d’exécution et les avantages des modèles de mélange gaussiens parcimonieux en termes de simplification de l'estimation des paramètres. Les complexités des algorithmes binned-EM et bin-EM-CEM sont calculées et comparées aux complexités des algorithmes EM et CEM respectivement. Afin de choisir le bon modèle qui s'adapte bien aux données et qui satisfait les exigences de précision en classification avec un temps de calcul raisonnable, les critères AIC, BIC, ICL, NEC et AWE sont étendus à la classification automatique de données discrétisées lorsque l'on utilise les algorithmes binned-EM et bin-EM-CEM proposés. Les avantages des différentes méthodes proposées sont illustrés par des études expérimentales.

This thesis studies the Gaussian mixture model-based clustering approaches and the criteria of model selection for binned data clustering. Fourteen binned-EM algorithms and fourteen bin-EM-CEM algorithms are developed for fourteen parsimonious Gaussian mixture models. These new algorithms combine the advantages in computation time reduction of binning data and the advantages in parameters estimation simplification of parsimonious Gaussian mixture models. The complexities of the binned-EM and the bin-EM-CEM algorithms are calculated and compared to the complexities of the EM and the CEM algorithms respectively. In order to select the right model which fits well the data and satisfies the clustering precision requirements with a reasonable computation time, AIC, BIC, ICL, NEC, and AWE criteria, are extended to binned data clustering when the proposed binned-EM and bin-EM-CEM algorithms are used. The advantages of the different proposed methods are illustrated through experimental studies., Cette thèse étudie les approches de classification automatique basées sur les modèles de mélange gaussiens et les critères de choix de modèles pour la classification automatique de données discrétisées. Quatorze algorithmes binned-EM et quatorze algorithmes bin-EM-CEM sont développés pour quatorze modèles de mélange gaussiens parcimonieux. Ces nouveaux algorithmes combinent les avantages des données discrétisées en termes de réduction du temps d’exécution et les avantages des modèles de mélange gaussiens parcimonieux en termes de simplification de l'estimation des paramètres. Les complexités des algorithmes binned-EM et bin-EM-CEM sont calculées et comparées aux complexités des algorithmes EM et CEM respectivement. Afin de choisir le bon modèle qui s'adapte bien aux données et qui satisfait les exigences de précision en classification avec un temps de calcul raisonnable, les critères AIC, BIC, ICL, NEC et AWE sont étendus à la classification automatique de données discrétisées lorsque l'on utilise les algorithmes binned-EM et bin-EM-CEM proposés. Les avantages des différentes méthodes proposées sont illustrés par des études expérimentales.

The subject of this thesis is the semi-supervised classification which is considered in decision-making perspective. We are interested in model choice issue when models are estimated using both labeled data and many unlabeled data. We focus our research on generative models for which the semi-supervised classification is considered without difficulty, unlike predictive framework that requires additional unnatural assumptions. Having developed a state of the art of semi-supervised classification, we describe the parameters estimation of a classification model using labeled data and unlabeled data by the EM algorithm. Our contributions on models selection is closely-watched in the two following chapters. In Chapter 3, we present a statistical test where unlabeled data are used to test the model. In Chapter 4 we present a model selection criterion, AIC_cond, derived from the AIC criterion in a predictive point of view. We prove the asymptotic convergence of this criterion particularly well suited to semi-supervised setting and his good practical performance compared to the cross-validation and other penalized likelihood criteria. A second part of the thesis, not directly connected with the semi-supervised setting, the multinomial models for classification of qualitative variables are considered. We designed these models to address the limitations of parsimonious multinomial models proposed in the program MIXMOD. For this setting, we propose a BIC-type criterion which takes into account specifically the complexity of the constrained multinomial models.; Le sujet de cette thèse est la classification semi-supervisée qui est considérée d'un point de vue décisionnel. Nous nous intéressons à la question de choix de modèles dans ce contexte où les modèles sont estimés en utilisant conjointement des données étiquetées et des données non étiquetées plus nombreuses. Nous concentrons notre recherche sur les modèles génératifs où la classification semi-supervisée s'envisage sans difficulté, contrairement au cadre prédictif qui nécessite des hypothèses supplémentaires peu naturelles. Après avoir dressé un état de l'art de la classification semi-supervisée, nous décrivons l'estimation des paramètres d'un modèle de classification à l'aide de données étiquetées et non étiquetées par l'algorithme EM. Nos contributions sur la sélection de modèles font l'objet des deux chapitres suivants. Au chapitre 3, nous présentons un test statistique où les données non étiquetées sont utilisées pour mettre à l'épreuve le modèle utilisé. Au chapitre 4 nous présentons un critère de sélection de modèles AIC_cond, dérivé du critère AIC d'un point de vue prédictif. Nous prouvons la convergence asymptotique de ce critère particulièrement bien adapté au contexte semi-supervisé et ses bonnes performances pratiques comparé à la validation croisée et à d'autres critères de vraisemblance pénalisée. Une deuxième partie de la thèse, sans rapport direct avec le contexte semi-supervisé, présente des modèles multinomiaux pour la classification sur variables qualitatives. Nous avons conçu ces modèles pour répondre à des limitations des modèles multinomiaux parcimonieux proposés dans le logiciel MIXMOD. À cette occasion, nous proposons un critère type BIC qui prend en compte de manière spécifique la complexité de ces modèles multinomiaux contraints.

The subject of this thesis is the semi-supervised classification which is considered in decision-making perspective. We are interested in model choice issue when models are estimated using both labeled data and many unlabeled data. We focus our research on generative models for which the semi-supervised classification is considered without difficulty, unlike predictive framework that requires additional unnatural assumptions. Having developed a state of the art of semi-supervised classification, we describe the parameters estimation of a classification model using labeled data and unlabeled data by the EM algorithm. Our contributions on models selection is closely-watched in the two following chapters. In Chapter 3, we present a statistical test where unlabeled data are used to test the model. In Chapter 4 we present a model selection criterion, AIC_cond, derived from the AIC criterion in a predictive point of view. We prove the asymptotic convergence of this criterion particularly well suited to semi-supervised setting and his good practical performance compared to the cross-validation and other penalized likelihood criteria. A second part of the thesis, not directly connected with the semi-supervised setting, the multinomial models for classification of qualitative variables are considered. We designed these models to address the limitations of parsimonious multinomial models proposed in the program MIXMOD. For this setting, we propose a BIC-type criterion which takes into account specifically the complexity of the constrained multinomial models.; Le sujet de cette thèse est la classification semi-supervisée qui est considérée d'un point de vue décisionnel. Nous nous intéressons à la question de choix de modèles dans ce contexte où les modèles sont estimés en utilisant conjointement des données étiquetées et des données non étiquetées plus nombreuses. Nous concentrons notre recherche sur les modèles génératifs où la classification semi-supervisée s'envisage sans difficulté, contrairement au cadre prédictif qui nécessite des hypothèses supplémentaires peu naturelles. Après avoir dressé un état de l'art de la classification semi-supervisée, nous décrivons l'estimation des paramètres d'un modèle de classification à l'aide de données étiquetées et non étiquetées par l'algorithme EM. Nos contributions sur la sélection de modèles font l'objet des deux chapitres suivants. Au chapitre 3, nous présentons un test statistique où les données non étiquetées sont utilisées pour mettre à l'épreuve le modèle utilisé. Au chapitre 4 nous présentons un critère de sélection de modèles AIC_cond, dérivé du critère AIC d'un point de vue prédictif. Nous prouvons la convergence asymptotique de ce critère particulièrement bien adapté au contexte semi-supervisé et ses bonnes performances pratiques comparé à la validation croisée et à d'autres critères de vraisemblance pénalisée. Une deuxième partie de la thèse, sans rapport direct avec le contexte semi-supervisé, présente des modèles multinomiaux pour la classification sur variables qualitatives. Nous avons conçu ces modèles pour répondre à des limitations des modèles multinomiaux parcimonieux proposés dans le logiciel MIXMOD. À cette occasion, nous proposons un critère type BIC qui prend en compte de manière spécifique la complexité de ces modèles multinomiaux contraints.