Search

Many combinatorial optimization problems are hard to solve and in many cases, exact approaches are impracticable. Among partial search algorithms, metaheuristics are generic algorithms, widely studied in the literature. Their ability to find good solutions varies in function of the problems’ nature et data composing problem instances, and studying efficiently the dynamics of such algorithms is challenging, especially for large instances. We restrain our metaheuristic study to local search algorithms. Basic mechanisms are studied to improve their understanding and assess their ability to find good solutions. We abstract optimization problems into fitness landscapes, thanks to a neighborhood relation between solutions, in order to analyze the dynamics of methods in function of several landscapes characteristics.We study the navigation on these landscapes, firstly by constraining moves to be strictly improving. In particular, we propose the expansion criterion to guide the search process and assess its relevance to guide climbers through good solutions. Variants approximating this principle are proposed and studied, leading to many trade-offs between the ability to find good solutions and the computational cost making them integrable into more complex metaheuristics. Last, we study partial neighborhood local searches, which accept deteriorating moves. In this context, experiments show that simple pivoting rules are sufficient to attain good trade-offs between intensification and diversification and thus reaching good solutions., De nombreux problèmes d'optimisation combinatoire sont difficiles à résoudre et mettent en échec les méthodes de résolution exactes. Parmi les algorithmes de résolution approchée, les métaheuristiques sont des algorithmes génériques largement étudiés dans la littérature. La capacité d’une métaheuristique donnée à trouver de bonnes solutions varie selon la nature des problèmes traités et selon les données qui les composent, et il est difficile d’étudier efficacement la dynamique de ces algorithmes pour des instances de grandes tailles. L'étude proposée porte sur les métaheuristiques de type recherche locale. Des mécanismes basiques sont étudiés afin d'améliorer la compréhension de leur comportement et d'évaluer leur capacité à trouver de bonnes solutions sur différents types de problèmes. Nous abstrayons plusieurs problèmes d'optimisation, munis d’une relation de voisinage entre solutions, sous forme de paysages de fitness afin d’analyser la dynamique des méthodes selon des caractéristiques générales de ces paysages. Nous étudions la navigation dans ces paysages, en se restreignant en premier lieu aux mouvements strictement améliorants. En particulier, nous proposons le critère d’expansion pour guider la recherche et évaluons sa pertinence pour guider les descentes vers de bonnes solutions. Différentes variantes approchant ce principe sont proposées et évaluées, offrant divers compromis entre efficacité et coût calculatoire permettant d’envisager de les intégrer dans des métaheuristiques plus complexes. Enfin nous étudions des recherches locales à voisinage partiel qui acceptent les mouvements détériorant et montrons que dans ce contexte des règles pivot simples peuvent suffire à obtenir de bons compromis entre intensification et diversification, et ainsi atteindre de très bonnes solutions sur divers paysages.

Many combinatorial optimization problems are hard to solve and in many cases, exact approaches are impracticable. Among partial search algorithms, metaheuristics are generic algorithms, widely studied in the literature. Their ability to find good solutions varies in function of the problems’ nature et data composing problem instances, and studying efficiently the dynamics of such algorithms is challenging, especially for large instances. We restrain our metaheuristic study to local search algorithms. Basic mechanisms are studied to improve their understanding and assess their ability to find good solutions. We abstract optimization problems into fitness landscapes, thanks to a neighborhood relation between solutions, in order to analyze the dynamics of methods in function of several landscapes characteristics.We study the navigation on these landscapes, firstly by constraining moves to be strictly improving. In particular, we propose the expansion criterion to guide the search process and assess its relevance to guide climbers through good solutions. Variants approximating this principle are proposed and studied, leading to many trade-offs between the ability to find good solutions and the computational cost making them integrable into more complex metaheuristics. Last, we study partial neighborhood local searches, which accept deteriorating moves. In this context, experiments show that simple pivoting rules are sufficient to attain good trade-offs between intensification and diversification and thus reaching good solutions.; De nombreux problèmes d'optimisation combinatoire sont difficiles à résoudre et mettent en échec les méthodes de résolution exactes. Parmi les algorithmes de résolution approchée, les métaheuristiques sont des algorithmes génériques largement étudiés dans la littérature. La capacité d’une métaheuristique donnée à trouver de bonnes solutions varie selon la nature des problèmes traités et selon les données qui les composent, et il est difficile d’étudier efficacement la dynamique de ces algorithmes pour des instances de grandes tailles. L'étude proposée porte sur les métaheuristiques de type recherche locale. Des mécanismes basiques sont étudiés afin d'améliorer la compréhension de leur comportement et d'évaluer leur capacité à trouver de bonnes solutions sur différents types de problèmes. Nous abstrayons plusieurs problèmes d'optimisation, munis d’une relation de voisinage entre solutions, sous forme de paysages de fitness afin d’analyser la dynamique des méthodes selon des caractéristiques générales de ces paysages. Nous étudions la navigation dans ces paysages, en se restreignant en premier lieu aux mouvements strictement améliorants. En particulier, nous proposons le critère d’expansion pour guider la recherche et évaluons sa pertinence pour guider les descentes vers de bonnes solutions. Différentes variantes approchant ce principe sont proposées et évaluées, offrant divers compromis entre efficacité et coût calculatoire permettant d’envisager de les intégrer dans des métaheuristiques plus complexes. Enfin nous étudions des recherches locales à voisinage partiel qui acceptent les mouvements détériorant et montrons que dans ce contexte des règles pivot simples peuvent suffire à obtenir de bons compromis entre intensification et diversification, et ainsi atteindre de très bonnes solutions sur divers paysages.

This manuscript presents some of my research activities I have conducted as assistant researcher ("maitre de conférences") at the university Nice Sophia Antipolis and at the university Littoral Côte d'Opale since 2006. The synthesis of the presented works is in the field of single- and multi-objective combinatorial optimization using stochastic algorithms (metaheuristics such as evolutionary algorithms, local search algorithms, etc.). In particular, my research work focuses on the model of fitness landscapes, originally designed in the field of complex systems theory, which allows to study the dynamics of optimization algorithms. The main motivation of this work is to understand the relationship between an optimization algorithm and the problem to solve in order to explain and to predict the algorithms performance, and to design new more efficient algorithms based on this understanding.This document is divided in two main parts. The first one is on the local optima network which is a new model of fitness landscapes for the single-objective optimization. New properties of optimization problems are shown, as well as the prediction capacities of performance based on the estimation of these features. The second one is on the multi-objective optimization. The properties of such fitness landscapes are defined, and precisely analyzed with respect to algorithms performance. New multi-objective optimization methods are also proposed. Finally, this document concludes with broad perspectives for the research domain of fitness landscapes and more generally in the field of stochastic optimization.; Ce mémoire présente quelques-unes de mes activités de recherche que j'ai conduites depuis 2006 en tant que maître de conférences à l'Université Nice Sophia Antipolis puis à l'Université du Littoral Côte d'Opale. La synthèse des travaux présentés s'inscrit dans le domaine de l'optimisation mono-objective et multiobjective de problèmes combinatoires par des algorithmes stochastiques du type métaheuristique (algorithmes évolutionnaires, recherches locales, etc.). En particulier, mes travaux portent sur le modèle des paysages de fitness, modèle issu des sciences de la complexité, qui permet étudier la dynamique des algorithmes d'optimisation. La principale motivation de ces travaux est de comprendre la relation entre un algorithme d'optimisation et le problème à résoudre afin d'en expliquer et d'en prédire les performances et de concevoir de nouveaux algorithmes plus efficaces à partir de cette compréhension. Ce manuscrit se compose en deux parties principales. L'une porte sur le réseau des optima locaux qui est un nouveau modèle pour les paysages de fitness en optimisation mono-objective. De nouvelles propriétés des problèmes d'optimisation sont montrées, ainsi que les capacités de prédiction de performance à partir de l'estimation de ces propriétés. L'autre partie porte sur l'optimisation multiobjective. Les propriétés des paysages de fitness sont définies et précisément analysées en rapport avec les performances des algorithmes. De nouvelles méthodes d'optimisation multiobjective sont également proposées. Enfin, ce mémoire se termine par des perspectives pour le domaine des paysages de fitness et plus généralement en optimisation stochastique.

This manuscript presents some of my research activities I have conducted as assistant researcher ("maitre de conférences") at the university Nice Sophia Antipolis and at the university Littoral Côte d'Opale since 2006. The synthesis of the presented works is in the field of single- and multi-objective combinatorial optimization using stochastic algorithms (metaheuristics such as evolutionary algorithms, local search algorithms, etc.). In particular, my research work focuses on the model of fitness landscapes, originally designed in the field of complex systems theory, which allows to study the dynamics of optimization algorithms. The main motivation of this work is to understand the relationship between an optimization algorithm and the problem to solve in order to explain and to predict the algorithms performance, and to design new more efficient algorithms based on this understanding.This document is divided in two main parts. The first one is on the local optima network which is a new model of fitness landscapes for the single-objective optimization. New properties of optimization problems are shown, as well as the prediction capacities of performance based on the estimation of these features. The second one is on the multi-objective optimization. The properties of such fitness landscapes are defined, and precisely analyzed with respect to algorithms performance. New multi-objective optimization methods are also proposed. Finally, this document concludes with broad perspectives for the research domain of fitness landscapes and more generally in the field of stochastic optimization.; Ce mémoire présente quelques-unes de mes activités de recherche que j'ai conduites depuis 2006 en tant que maître de conférences à l'Université Nice Sophia Antipolis puis à l'Université du Littoral Côte d'Opale. La synthèse des travaux présentés s'inscrit dans le domaine de l'optimisation mono-objective et multiobjective de problèmes combinatoires par des algorithmes stochastiques du type métaheuristique (algorithmes évolutionnaires, recherches locales, etc.). En particulier, mes travaux portent sur le modèle des paysages de fitness, modèle issu des sciences de la complexité, qui permet étudier la dynamique des algorithmes d'optimisation. La principale motivation de ces travaux est de comprendre la relation entre un algorithme d'optimisation et le problème à résoudre afin d'en expliquer et d'en prédire les performances et de concevoir de nouveaux algorithmes plus efficaces à partir de cette compréhension. Ce manuscrit se compose en deux parties principales. L'une porte sur le réseau des optima locaux qui est un nouveau modèle pour les paysages de fitness en optimisation mono-objective. De nouvelles propriétés des problèmes d'optimisation sont montrées, ainsi que les capacités de prédiction de performance à partir de l'estimation de ces propriétés. L'autre partie porte sur l'optimisation multiobjective. Les propriétés des paysages de fitness sont définies et précisément analysées en rapport avec les performances des algorithmes. De nouvelles méthodes d'optimisation multiobjective sont également proposées. Enfin, ce mémoire se termine par des perspectives pour le domaine des paysages de fitness et plus généralement en optimisation stochastique.

This manuscript presents some of my research activities I have conducted as assistant researcher ("maitre de conférences") at the university Nice Sophia Antipolis and at the university Littoral Côte d'Opale since 2006. The synthesis of the presented works is in the field of single- and multi-objective combinatorial optimization using stochastic algorithms (metaheuristics such as evolutionary algorithms, local search algorithms, etc.). In particular, my research work focuses on the model of fitness landscapes, originally designed in the field of complex systems theory, which allows to study the dynamics of optimization algorithms. The main motivation of this work is to understand the relationship between an optimization algorithm and the problem to solve in order to explain and to predict the algorithms performance, and to design new more efficient algorithms based on this understanding.This document is divided in two main parts. The first one is on the local optima network which is a new model of fitness landscapes for the single-objective optimization. New properties of optimization problems are shown, as well as the prediction capacities of performance based on the estimation of these features. The second one is on the multi-objective optimization. The properties of such fitness landscapes are defined, and precisely analyzed with respect to algorithms performance. New multi-objective optimization methods are also proposed. Finally, this document concludes with broad perspectives for the research domain of fitness landscapes and more generally in the field of stochastic optimization., Ce mémoire présente quelques-unes de mes activités de recherche que j'ai conduites depuis 2006 en tant que maître de conférences à l'Université Nice Sophia Antipolis puis à l'Université du Littoral Côte d'Opale. La synthèse des travaux présentés s'inscrit dans le domaine de l'optimisation mono-objective et multiobjective de problèmes combinatoires par des algorithmes stochastiques du type métaheuristique (algorithmes évolutionnaires, recherches locales, etc.). En particulier, mes travaux portent sur le modèle des paysages de fitness, modèle issu des sciences de la complexité, qui permet étudier la dynamique des algorithmes d'optimisation. La principale motivation de ces travaux est de comprendre la relation entre un algorithme d'optimisation et le problème à résoudre afin d'en expliquer et d'en prédire les performances et de concevoir de nouveaux algorithmes plus efficaces à partir de cette compréhension. Ce manuscrit se compose en deux parties principales. L'une porte sur le réseau des optima locaux qui est un nouveau modèle pour les paysages de fitness en optimisation mono-objective. De nouvelles propriétés des problèmes d'optimisation sont montrées, ainsi que les capacités de prédiction de performance à partir de l'estimation de ces propriétés. L'autre partie porte sur l'optimisation multiobjective. Les propriétés des paysages de fitness sont définies et précisément analysées en rapport avec les performances des algorithmes. De nouvelles méthodes d'optimisation multiobjective sont également proposées. Enfin, ce mémoire se termine par des perspectives pour le domaine des paysages de fitness et plus généralement en optimisation stochastique.

The concept of fitness landscape (or adaptive landscape) was introduce par S. Wright in the field of evolutionary biology in 1930's. It is one of the most relevant to explain the evolution of individuals. In the field of combinatorial optimization by metaheuristic, it is also used and allows to study the link between geometrical description of optimization problem and the dynamic of search algorithms. Two geometries of landscape which correspond to two dynamics of search have been studied. The multimodal geometry of landscape is related to the presence of local optima, where the search dynamic is a succession of adaptive walk toward better solutions and degradation of performance.The geometry of neutral fitness landscape, point out in molecular evolution by neutral theory of Motoo Kimura, is related to presence of plateaus ; the dynamic of search is characterized by random drift interrupted by the discover of rare better solution. This thesis propose to deeper study neutral fitness landscapes in the context of optimization and to design new metaheuristics according to those landscapes.This thesis is composed by four parts. In the first one, we present the main results about fitness landscapes and more particularly about neutral fitness landscapes. In the second part, we develop the concept of neutral set by introducing the notion of 'fitness cloud' which allows to study the correlation of performance between two neighbor solutions and we measure this correlation on 'embedded fitness landscapes' as an extension of NK landscapes and Max-SAT problems. In the third part, we summarize the set of measures on neutral networks and we propose the new measure.Experimental study is performed on three family of landscapes for which the neutrality is and two classical problems. Then, a new metaheuristic adapted of neutral fitness landscapes inspired by the new measure is proposed and evaluated on different landscapes. We studied the massively neutral fitness landscapes from the learning problem of a rule of cellular automata which perform the density task, in order to improve the best metaheuristics known.; Le concept de paysage adaptatif a été introduit par S. Wright dans le domaine de la biologie de l'évolution dans les années 1930. Il est l'un des concepts pertinents pour modéliser l'évolution d'une population d'organismes. Dans le domaine de l'optimisation combinatoire par métaheuristiques, il est également utilisé et permet de lier une description géométrique d'un problème d'optimisation avec la dynamique des algorithmes de recherche.Deux géométries de paysage correspondant à deux dynamiques d'algorithme ont été principalement étudiées. La géométrie de paysage multimodale est liée à la présence d'optima locaux,où la dynamique est une succession de marches adaptatives vers de meilleures solutions et de dégradations de performance. La géométrie des paysages adaptatifs neutres, mise en avant par la théorie de la neutralité en évolution moléculaire de Motoo Kimura,est liée à la présence de plateaux ; la dynamique se caractérise alors par une dérive aléatoire entrecoupée de rares découvertes de solutions plus performantes. Cette thèse se propose d'approfondir l'étude des paysages neutres dans le contexte de l'optimisation et de proposer de nouvelles métaheuristiques adaptées à ce type de paysages.La thèse se compose de quatre chapitres. Dans un premier chapitre,nous présentons les principaux résultats concernant les paysages adaptatifs et plus particulièrement les paysages adaptatifs neutres.Dans un deuxième chapitre, nous développons le concept d'ensemble de neutralité en introduisant la notion de 'nuage adaptatif' qui permet d'étudier la corrélation de performance entre solutions voisines et nous l'appliquons à la classe des paysages 'embarqués' qui regroupe les paysages NK et Max-SAT. Dans un troisième chapitre, nous résumons l'ensemble des mesures relatives aux réseaux de neutralité et nous proposons une nouvelle mesure. Une étude expérimentale est réalisée sur trois familles de paysages pour lesquelles la neutralité est ajustable et deux problèmes classiques de la littérature. Enfin, un nouvel algorithme de recherche adapté aux paysages neutres lié à la nouvelle mesure est proposé et évalué sur différents paysages neutres. Nous réalisons l'étude du paysage adaptatif massivement neutreissu du problème d'apprentissage de la règle d'un automate cellulaire réalisant la tâche de classification par la densité, afin d'en améliorer les métaheuristiques connues existantes.

The concept of fitness landscape (or adaptive landscape) was introduce par S. Wright in the field of evolutionary biology in 1930's. It is one of the most relevant to explain the evolution of individuals. In the field of combinatorial optimization by metaheuristic, it is also used and allows to study the link between geometrical description of optimization problem and the dynamic of search algorithms. Two geometries of landscape which correspond to two dynamics of search have been studied. The multimodal geometry of landscape is related to the presence of local optima, where the search dynamic is a succession of adaptive walk toward better solutions and degradation of performance.The geometry of neutral fitness landscape, point out in molecular evolution by neutral theory of Motoo Kimura, is related to presence of plateaus ; the dynamic of search is characterized by random drift interrupted by the discover of rare better solution. This thesis propose to deeper study neutral fitness landscapes in the context of optimization and to design new metaheuristics according to those landscapes.This thesis is composed by four parts. In the first one, we present the main results about fitness landscapes and more particularly about neutral fitness landscapes. In the second part, we develop the concept of neutral set by introducing the notion of 'fitness cloud' which allows to study the correlation of performance between two neighbor solutions and we measure this correlation on 'embedded fitness landscapes' as an extension of NK landscapes and Max-SAT problems. In the third part, we summarize the set of measures on neutral networks and we propose the new measure.Experimental study is performed on three family of landscapes for which the neutrality is and two classical problems. Then, a new metaheuristic adapted of neutral fitness landscapes inspired by the new measure is proposed and evaluated on different landscapes. We studied the massively neutral fitness landscapes from the learning problem of a rule of cellular automata which perform the density task, in order to improve the best metaheuristics known.; Le concept de paysage adaptatif a été introduit par S. Wright dans le domaine de la biologie de l'évolution dans les années 1930. Il est l'un des concepts pertinents pour modéliser l'évolution d'une population d'organismes. Dans le domaine de l'optimisation combinatoire par métaheuristiques, il est également utilisé et permet de lier une description géométrique d'un problème d'optimisation avec la dynamique des algorithmes de recherche.Deux géométries de paysage correspondant à deux dynamiques d'algorithme ont été principalement étudiées. La géométrie de paysage multimodale est liée à la présence d'optima locaux,où la dynamique est une succession de marches adaptatives vers de meilleures solutions et de dégradations de performance. La géométrie des paysages adaptatifs neutres, mise en avant par la théorie de la neutralité en évolution moléculaire de Motoo Kimura,est liée à la présence de plateaux ; la dynamique se caractérise alors par une dérive aléatoire entrecoupée de rares découvertes de solutions plus performantes. Cette thèse se propose d'approfondir l'étude des paysages neutres dans le contexte de l'optimisation et de proposer de nouvelles métaheuristiques adaptées à ce type de paysages.La thèse se compose de quatre chapitres. Dans un premier chapitre,nous présentons les principaux résultats concernant les paysages adaptatifs et plus particulièrement les paysages adaptatifs neutres.Dans un deuxième chapitre, nous développons le concept d'ensemble de neutralité en introduisant la notion de 'nuage adaptatif' qui permet d'étudier la corrélation de performance entre solutions voisines et nous l'appliquons à la classe des paysages 'embarqués' qui regroupe les paysages NK et Max-SAT. Dans un troisième chapitre, nous résumons l'ensemble des mesures relatives aux réseaux de neutralité et nous proposons une nouvelle mesure. Une étude expérimentale est réalisée sur trois familles de paysages pour lesquelles la neutralité est ajustable et deux problèmes classiques de la littérature. Enfin, un nouvel algorithme de recherche adapté aux paysages neutres lié à la nouvelle mesure est proposé et évalué sur différents paysages neutres. Nous réalisons l'étude du paysage adaptatif massivement neutreissu du problème d'apprentissage de la règle d'un automate cellulaire réalisant la tâche de classification par la densité, afin d'en améliorer les métaheuristiques connues existantes.