Search

Ensemble-Verfahren finden aufgrund ihrer guten Vorhersagegenauigkeit in vielen Forschungsbereichen breite Anwendung. Dabei werden die Vorhersagen einzelner statistischer Modelle zu einer Gesamtvorhersage zusammengefasst. Die vorliegende Dissertation befasst sich mit der Fragestellung, ob und inwieweit sich die Vorhersagegüte von Ensemble-Verfahren durch die Optimierung einzelner Entscheidungsbäume verbessern lässt. Zunächst wird der klassische CART-Algorithmus (engl. Classification And Regression Trees, CART) vorgestellt. Im Hinblick auf die Instabilität des Modells und die Verzerrung bei der Variablenselektion wird ein verbessertes Split-Kriterium vorgeschlagen, welches den p-Wert einer maximal selektierten Rang-Statistik bei der Suche nach der optimalen Trennung verwendet. Anschließend wird das neue Verfahren hinsichtlich der beiden Probleme in umfangreichen Simulationsstudien untersucht. Da der CART zur Familie der so genannten Greedy-Algorithmen gehört, ist das Erreichen einer global optimalen Lösung nicht garantiert. Für die Lösung dieses Problems wird eine penalisierte globale lookahead-Strategie erarbeitet. Dabei werden zusätzlich zu der besten Aufteilung mehrere alternative Aufteilungen bei der Partitionierung der Daten verwendet. Infolgedessen entsteht ein Ensemble aus Klassifikationsbäumen. Um das beste Modell identifizieren zu können, wird ein Beurteilungskriterium der Unsicherheit des Modells aufgestellt. Abschließend wird eine eventuelle Verbesserung der Vorhersagegüte von p-Wert adjustierten Verfahren eingehend in zwei umfangreichen Simulationsstudien untersucht. Die Arbeit schließt mit der praktischen Anwendung der neu vorgeschlagenen Verfahren auf zwei Datensätze über kolorektales Karzinom ab. Ensemble methods are popular learning algorithms that typically achieve very high classification accuracy by combining the predictions of a set of classifiers. They have been widely used in many research areas. This thesis addresses the question of whether and to what extent the predictive quality of ensemble methods can be improved by the optimization of individual decision trees. At the beginning, the CART (Classification And Regression Trees) algorithm is presented. In view of well-known variable selection bias and model instability, an improved splitting criterion is introduced. It uses the p-value of a maximum selected rank statistic in the search for the optimal separation. The performance of the proposed method is examined in extensive simulation studies. Since CART algorithm belongs to a family of greedy approximation methods, it does not guarantee that the globally optimal solution is achieved. A penalized global look-ahead strategy is developed to solve this problem. The basic idea behind the proposed approach is to use extra alternative cutpoints in addition to the best cutpoint by the partitioning of the data. In consequence of this, the set of decision trees is created. From this ensemble either the best model is selected, by means of the uncertainty criterion, or models are aggregated for prediction. Finally, the performance of the p-value adjusted methods is validated through two extensive simulation studies. The thesis concludes with the application to colorectal cancer data sets and a discussion and some possibilities for further research.

Boosting is one of the most important methods for fitting regression models and building prediction rules from high-dimensional data. A notable feature of boosting is that the technique has a built-in mechanism for shrinking coefficient estimates and variable selection. This regularization mechanism makes boosting a suitable method for analyzing data characterized by small sample sizes and large numbers of predictors. We extend the existing methodology by developing a boosting method for prediction functions with multiple components. Such multidimensional functions occur in many types of statistical models, for example in count data models and in models involving outcome variables with a mixture distribution. As will be demonstrated, the new algorithm is suitable for both the estimation of the prediction function and regularization of the estimates. In addition, nuisance parameters can be estimated simultaneously with the prediction function.