Search

In this dissertation, we consider the problem of nonparametric estimation of a k-monotone density on (0,∞) for a fixed integer k > 0 via the methods of Maximum Likelihood (ML) and Least Squares (LS). In the introduction, we present the original question that motivated us to look into this problem and also put other existing results in our general framework. In Chapter 2, we study the MLE and LSE of a k-monotone density based on n i.i.d. observations. Here, our study of the estimation problem is local in the sense that we only study the estimator and its derivatives at a fixed point x_0. Under some specific working assumptions, asymptotic minimax lower bounds for estimating g^{(j)}_0 (x_0), j=1,...,k-1, are derived. These bounds show that the rates of convergence of any estimator of g^{(j)}_0 (x_0) can be at most n^{-(k-j)/(2k+1)}. Furthermore, under the same working assumptions we prove that this rate is achieved by the j-th derivative of either the MLE or LSE if a certain conjecture concerning the error in a particular Hermite interpolation problem holds. To make the asymptotic distribution theory complete, the limiting distribution needs to be determined. This distribution depends on a very special stochastic process H_k which is almost surely uniquely defined on R. Chapter 3 is essentially devoted to an effort to prove the existence of such a process and to establish conditions characterizing it. It turns out that we can establish the existence and uniqueness of the process Hk if the same conjecture mentioned above with the finite sample problem holds. If Y_k is the (k-1) -fold integral of two-sided Brownian motion + k!/(2k)! t2k, then H_k is a random spline of degree 2k-1 that stays above Y_k if k is even and below it if k is odd. By applying a change of scale, our results include the special cases of estimation of monotone densities (k =1), and monotone and convex densities (k =2) for which an asymptotic distribution theory is available.Iterative spline algorithms developed to calculate the estimators and approximate the process H_k on finite intervals are described in Chapter 4. These algorithms exploit both the spline structure of the estimators and the process H_k as well as their characterizations and are based on iterative addition and deletion of the knot points.; Nous considérons l'estimation non-paramétrique d'une densité k-monotone définie sur (0,∞), pour un entier k > 0 donné, via les méthodes de maximum de vraisemblance et des moindres carrés qu'on note respectivement par MLE et LSE.Dans l'introduction, nous présentons tout d'abord la motivation principale derrière ce problème et nous faisons l'effort d'inclure dans le cadre général de notre travail les résultats asymptotiques qui étaient déjà établis pour les cas spéciaux k=1 et k=2. Ensuite, nous nous penchons sur l'étude des propriétés des MLE et LSE d'une densité k-monotone g_0 dans le cas où on dispose de n observations indépendantes générées de g_0. Notre étude asymptotique est locale, c'est-à-dire que nous nous intéressons uniquement aux propriétés asymptotiques des estimateurs et de leur dérivées à un point fixe, x_0. Sous certaines hypothèses que nous précisons, nous établissons d'abord les bornes inférieures minimax pour l'estimation des dérivées g^{(j)}_0(x_0), j=0,...,k-1. Les bornes obtenues indiquent que n^{-(k-j)/(2k+1)} est la vitesse de convergence optimale de n'importe quel estimateur non-paramétrique de g^{(j)}_0(x_0). Sous les mêmes hypothèses et si une certaine conjecture est vraie, nous démontrons que cette vitesse optimale est atteinte dans le cas des MLE et LSE.Pour compléter la théorie asymptotique des estimateurs et de leur dérivées au point x_0, nous passons à la dérivation de leurs distributions limites lorsque la taille de l'échantillon n tend vers l'infini. Il s'avère que ces distributions dépendent d'un processus stochastique bien particulier défini sur l'ensemble des réels R. On note ce processus par H_k Le 3ème chapitre est consacré essentiellement à l'existence et à l'unicité de H_k, ainsi qu'à sa caractérisation. Nous démontrons que si Y_k est la primitive (k-1)-ème d'un mouvement Brownien + k!/(2k)! t^{2k}, alors H_k reste au-dessus (au-dessous) de Y_k lorsque k est pair (impair). Un simple changement de variable suffit pour reconnaître que nos résultats comprennent les cas spéciaux k=1 et k=2 où le problème se réduit à l'estimation d'une densité décroissante et d'une densité décroissante et convexe respectivement. Pour ces cas-là, la théorie asymptotique des MLE et LES a été déjà établie.L'aspect algorithmique fait l'objet du 4ème chapitre. Les algorithmes de Splines itératifs (Iterative Spline algorithms) sont développés et implémentés afin de calculer les estimateurs et aussi pour obtenir une approximation du processus limite sur n'importe quel compact dans R. Ces algorithmes exploitent essentiellement la structure 'splineuse' des MLE, LSE et H_k, et se basent ainsi sur la suppression et l'addition itératives des noeuds de certains Splines aléatoires.

In this dissertation, we consider the problem of nonparametric estimation of a k-monotone density on (0,∞) for a fixed integer k > 0 via the methods of Maximum Likelihood (ML) and Least Squares (LS). In the introduction, we present the original question that motivated us to look into this problem and also put other existing results in our general framework. In Chapter 2, we study the MLE and LSE of a k-monotone density based on n i.i.d. observations. Here, our study of the estimation problem is local in the sense that we only study the estimator and its derivatives at a fixed point x_0. Under some specific working assumptions, asymptotic minimax lower bounds for estimating g^{(j)}_0 (x_0), j=1,...,k-1, are derived. These bounds show that the rates of convergence of any estimator of g^{(j)}_0 (x_0) can be at most n^{-(k-j)/(2k+1)}. Furthermore, under the same working assumptions we prove that this rate is achieved by the j-th derivative of either the MLE or LSE if a certain conjecture concerning the error in a particular Hermite interpolation problem holds. To make the asymptotic distribution theory complete, the limiting distribution needs to be determined. This distribution depends on a very special stochastic process H_k which is almost surely uniquely defined on R. Chapter 3 is essentially devoted to an effort to prove the existence of such a process and to establish conditions characterizing it. It turns out that we can establish the existence and uniqueness of the process Hk if the same conjecture mentioned above with the finite sample problem holds. If Y_k is the (k-1) -fold integral of two-sided Brownian motion + k!/(2k)! t2k, then H_k is a random spline of degree 2k-1 that stays above Y_k if k is even and below it if k is odd. By applying a change of scale, our results include the special cases of estimation of monotone densities (k =1), and monotone and convex densities (k =2) for which an asymptotic distribution theory is available.Iterative spline algorithms developed to calculate the estimators and approximate the process H_k on finite intervals are described in Chapter 4. These algorithms exploit both the spline structure of the estimators and the process H_k as well as their characterizations and are based on iterative addition and deletion of the knot points.; Nous considérons l'estimation non-paramétrique d'une densité k-monotone définie sur (0,∞), pour un entier k > 0 donné, via les méthodes de maximum de vraisemblance et des moindres carrés qu'on note respectivement par MLE et LSE.Dans l'introduction, nous présentons tout d'abord la motivation principale derrière ce problème et nous faisons l'effort d'inclure dans le cadre général de notre travail les résultats asymptotiques qui étaient déjà établis pour les cas spéciaux k=1 et k=2. Ensuite, nous nous penchons sur l'étude des propriétés des MLE et LSE d'une densité k-monotone g_0 dans le cas où on dispose de n observations indépendantes générées de g_0. Notre étude asymptotique est locale, c'est-à-dire que nous nous intéressons uniquement aux propriétés asymptotiques des estimateurs et de leur dérivées à un point fixe, x_0. Sous certaines hypothèses que nous précisons, nous établissons d'abord les bornes inférieures minimax pour l'estimation des dérivées g^{(j)}_0(x_0), j=0,...,k-1. Les bornes obtenues indiquent que n^{-(k-j)/(2k+1)} est la vitesse de convergence optimale de n'importe quel estimateur non-paramétrique de g^{(j)}_0(x_0). Sous les mêmes hypothèses et si une certaine conjecture est vraie, nous démontrons que cette vitesse optimale est atteinte dans le cas des MLE et LSE.Pour compléter la théorie asymptotique des estimateurs et de leur dérivées au point x_0, nous passons à la dérivation de leurs distributions limites lorsque la taille de l'échantillon n tend vers l'infini. Il s'avère que ces distributions dépendent d'un processus stochastique bien particulier défini sur l'ensemble des réels R. On note ce processus par H_k Le 3ème chapitre est consacré essentiellement à l'existence et à l'unicité de H_k, ainsi qu'à sa caractérisation. Nous démontrons que si Y_k est la primitive (k-1)-ème d'un mouvement Brownien + k!/(2k)! t^{2k}, alors H_k reste au-dessus (au-dessous) de Y_k lorsque k est pair (impair). Un simple changement de variable suffit pour reconnaître que nos résultats comprennent les cas spéciaux k=1 et k=2 où le problème se réduit à l'estimation d'une densité décroissante et d'une densité décroissante et convexe respectivement. Pour ces cas-là, la théorie asymptotique des MLE et LES a été déjà établie.L'aspect algorithmique fait l'objet du 4ème chapitre. Les algorithmes de Splines itératifs (Iterative Spline algorithms) sont développés et implémentés afin de calculer les estimateurs et aussi pour obtenir une approximation du processus limite sur n'importe quel compact dans R. Ces algorithmes exploitent essentiellement la structure 'splineuse' des MLE, LSE et H_k, et se basent ainsi sur la suppression et l'addition itératives des noeuds de certains Splines aléatoires.