Search

In this dissertation, we study evolutionary game theory which is a mathematical tool used to model and predict the evolution of strategies in a population composed of a largenumber of players. In this theory, there are two basic concepts which are the evolutionarilystable strategy (ESS) and the replicator dynamics. The ESS is originally definedas follows [1]: if all the population adopts the ESS, then no alternative strategy used bya sufficiently small fraction of the population can invade the population.The ESS is astatic concept and a refinement of a Nash equilibrium. It does not allow us, for example,to estimate the time required for the ESS to overcome the mutant strategy, neither to predictthe asymptotic distribution of strategies in the population. The replicator dynamics,originally introduced in [2], is a model of evolution of strategies according to which the growth rate of a given strategy is proportional to how well this strategy performs relative to the average pay off in the population.In the first part of this work, we propose an extended version of the replicator dynamics which takes into account heterogeneous random delays. Indeed, in many situations,the presence of uncertain delays is ubiquitous. We first consider continuous delays and we study the effect of the distribution of delays on the asymptotic stability of the mixed equilibrium in the replicator dynamics. In the case of uniform and Gamma delay distributions,we find the critical mean delay at which a Hopf bifurcation is created and the stability of the mixed equilibrium is lost. When the distribution of delays is exponential, we prove that the stability of the equilibrium cannot be affected by the delays. However, when only one strategy is delayed according to the exponential distribution,the asymptotic stability of the ESS can be lost. In all the cases, we show that the critical mean delay value is higher than that of constant delays, and thus random delays are less threatening than constant delays. In addition, we consider discrete delays and one o four results is that, when the instantaneous term is dominant, that is when the probabilityof zero delay is sufficiently high, the stability of the ESS cannot be lost.Furthermore, by taking as a bifurcation parameter the mean delay distribution, we examine the properties of the bifurcating periodic solution created near the Hopf bifurcationusing a nonlinear perturbation method. Indeed, near the Hopf bifurcation, a stable periodic oscillation appears whose amplitude depends on the value of the bifurcation parameter. We give a closed-form expression of the amplitude of the periodic solution and we validate our results with numerical simulations.In the second part, we consider an heterogeneous population composed of several communities which interact in a nonuniform manner. Each community has its own set of strategies, payoffs, and interaction probabilities. Indeed, individuals of a population have many inherent differences that favor the appearance of groups or clusters. In this scenario, we define three ESS with different levels of stability against mutations: strong,weak, and intermediate ESS, and we examine their connection to each other. A strongESS is a strategy that, when adopted by all the population, cannot be invaded by a sufficientlysmall fraction of mutants composed of agents from all the communities. Incontrast, a weak ESS is a strategy wherein each community resists invasion by a sufficientlysmall fraction of mutants in that community (local mutants). In the intermediateESS, the population adopting the ESS cannot be invaded by a small fraction of mutantswhen we consider the total fitness of the population rather than the fitness of eachcommunity separately., La théorie des jeux évolutionnaires est un outil qui permet d’étudier l’évolution des stratégies dans une population composée d’un grand nombre d’agents qui interagissent d’une façon continue et aléatoire. Dans cette théorie, il y a deux concepts essentiels qui sont la stratégie évolutivement stable (ESS), et la dynamique de réplication. Une stratégie évolutivement stable est une stratégie, qui, si adoptée par toute la population,ne peut pas être envahie par une autre stratégie ”mutante” utilisée par une petite fraction de la population. Ce concept statique est un raffinement de l’équilibre de Nash, et il ne peut pas renseigner, par exemple, sur la durée du temps nécessaire pour que l’ESS élimine la stratégie mutante. La dynamique de réplication, originalement proposée par Hawk-Dove, est un modèle dynamique qui permet de prédire l’évolution de la fraction de chaque stratégie dans la population en fonction du temps, en réponse aux gains des stratégies et l’état de la population.Dans cette thèse, nous proposons dans une première partie une extension de la dynamique de réplication classique en y introduisant des délais hétérogènes et aléatoires.En effet, la plupart des phénomènes qui se produisent prennent un temps incertain avant d’avoir des résultats. Nous étudions l’effet de la distribution des délais sur la stabilité de l’ESS dans la dynamique de réplication et nous considérons les distributions uniforme, exponentielle, et Gamma (ou Erlang). Dans les cas des distributions uniforme et Gamma, nous trouvons la valeur critique de la moyenne à laquelle la stabilité de l’équilibre est perdue et des oscillations permanentes apparaissent. Dans le cas de la distribution exponentielle, nous montrons que la stabilité de l’équilibre ne peut être perdue,et ce pour toute valeur de la moyenne de la distribution. Par ailleurs, nous montrons que la distribution exponentielle peut affecter la stabilité de l’ESS quand une seule stratégie subit un délai aléatoire issu de cette distribution. Nous étudions également le cas où les délais sont discrets et nous trouvons une condition suffisante et indépendante des valeurs des délais pour la stabilité de l’équilibre. Dans tous les cas, nous montrons que les délais aléatoires sont moins risqués que les délais constants pour la stabilité de l’équilibre, vu que la valeur moyenne critique des délais aléatoires est toujours supérieure de celle des délais constants. En outre, nous considérons comme paramètre de bifurcation la moyenne de la distribution des délais et nous étudions les propriétés de la solution périodique qui apparait à la bifurcation de Hopf, et ce en utilisant une méthode de perturbation non linéaire. En effet, à la bifurcation de Hopf, une oscillation périodique stable apparait dont l’amplitude est fonction de la moyenne de la distribution. Nous déterminons analytiquement l’amplitude de l’oscillation au voisinage de la bifurcation de Hopf en fonction du paramètre de bifurcation et de la matrice des jeux dans les cas des distributions de Dirac, uniforme, Gamma et discrète, et nous appuyons nos résultats avec des simulations numériques. Dans une deuxième partie, nous considérons une population hétérogène composée de plusieurs communautés qui interagissent d’une manière non-uniforme. Pour chaque communauté, nous définissons les matrices des jeux et les probabilités d’interaction avec les autres communautés. Dans ce contexte, nous définissons trois ESS avec différents niveaux de stabilité contre les mutations: un ESS fort, un ESS faible et un ESS intermédiaire. Nous définissons un ESS fort comme suit: si toute la population adopte l’ESS, alors l’ESS ne peut pas être envahi par une petite fraction de mutants composée d’agents de toutes les communautés.

In this dissertation, we study evolutionary game theory which is a mathematical tool used to model and predict the evolution of strategies in a population composed of a largenumber of players. In this theory, there are two basic concepts which are the evolutionarilystable strategy (ESS) and the replicator dynamics. The ESS is originally definedas follows [1]: if all the population adopts the ESS, then no alternative strategy used bya sufficiently small fraction of the population can invade the population.The ESS is astatic concept and a refinement of a Nash equilibrium. It does not allow us, for example,to estimate the time required for the ESS to overcome the mutant strategy, neither to predictthe asymptotic distribution of strategies in the population. The replicator dynamics,originally introduced in [2], is a model of evolution of strategies according to which the growth rate of a given strategy is proportional to how well this strategy performs relative to the average pay off in the population.In the first part of this work, we propose an extended version of the replicator dynamics which takes into account heterogeneous random delays. Indeed, in many situations,the presence of uncertain delays is ubiquitous. We first consider continuous delays and we study the effect of the distribution of delays on the asymptotic stability of the mixed equilibrium in the replicator dynamics. In the case of uniform and Gamma delay distributions,we find the critical mean delay at which a Hopf bifurcation is created and the stability of the mixed equilibrium is lost. When the distribution of delays is exponential, we prove that the stability of the equilibrium cannot be affected by the delays. However, when only one strategy is delayed according to the exponential distribution,the asymptotic stability of the ESS can be lost. In all the cases, we show that the critical mean delay value is higher than that of constant delays, and thus random delays are less threatening than constant delays. In addition, we consider discrete delays and one o four results is that, when the instantaneous term is dominant, that is when the probabilityof zero delay is sufficiently high, the stability of the ESS cannot be lost.Furthermore, by taking as a bifurcation parameter the mean delay distribution, we examine the properties of the bifurcating periodic solution created near the Hopf bifurcationusing a nonlinear perturbation method. Indeed, near the Hopf bifurcation, a stable periodic oscillation appears whose amplitude depends on the value of the bifurcation parameter. We give a closed-form expression of the amplitude of the periodic solution and we validate our results with numerical simulations.In the second part, we consider an heterogeneous population composed of several communities which interact in a nonuniform manner. Each community has its own set of strategies, payoffs, and interaction probabilities. Indeed, individuals of a population have many inherent differences that favor the appearance of groups or clusters. In this scenario, we define three ESS with different levels of stability against mutations: strong,weak, and intermediate ESS, and we examine their connection to each other. A strongESS is a strategy that, when adopted by all the population, cannot be invaded by a sufficientlysmall fraction of mutants composed of agents from all the communities. Incontrast, a weak ESS is a strategy wherein each community resists invasion by a sufficientlysmall fraction of mutants in that community (local mutants). In the intermediateESS, the population adopting the ESS cannot be invaded by a small fraction of mutantswhen we consider the total fitness of the population rather than the fitness of eachcommunity separately., La théorie des jeux évolutionnaires est un outil qui permet d’étudier l’évolution des stratégies dans une population composée d’un grand nombre d’agents qui interagissent d’une façon continue et aléatoire. Dans cette théorie, il y a deux concepts essentiels qui sont la stratégie évolutivement stable (ESS), et la dynamique de réplication. Une stratégie évolutivement stable est une stratégie, qui, si adoptée par toute la population,ne peut pas être envahie par une autre stratégie ”mutante” utilisée par une petite fraction de la population. Ce concept statique est un raffinement de l’équilibre de Nash, et il ne peut pas renseigner, par exemple, sur la durée du temps nécessaire pour que l’ESS élimine la stratégie mutante. La dynamique de réplication, originalement proposée par Hawk-Dove, est un modèle dynamique qui permet de prédire l’évolution de la fraction de chaque stratégie dans la population en fonction du temps, en réponse aux gains des stratégies et l’état de la population.Dans cette thèse, nous proposons dans une première partie une extension de la dynamique de réplication classique en y introduisant des délais hétérogènes et aléatoires.En effet, la plupart des phénomènes qui se produisent prennent un temps incertain avant d’avoir des résultats. Nous étudions l’effet de la distribution des délais sur la stabilité de l’ESS dans la dynamique de réplication et nous considérons les distributions uniforme, exponentielle, et Gamma (ou Erlang). Dans les cas des distributions uniforme et Gamma, nous trouvons la valeur critique de la moyenne à laquelle la stabilité de l’équilibre est perdue et des oscillations permanentes apparaissent. Dans le cas de la distribution exponentielle, nous montrons que la stabilité de l’équilibre ne peut être perdue,et ce pour toute valeur de la moyenne de la distribution. Par ailleurs, nous montrons que la distribution exponentielle peut affecter la stabilité de l’ESS quand une seule stratégie subit un délai aléatoire issu de cette distribution. Nous étudions également le cas où les délais sont discrets et nous trouvons une condition suffisante et indépendante des valeurs des délais pour la stabilité de l’équilibre. Dans tous les cas, nous montrons que les délais aléatoires sont moins risqués que les délais constants pour la stabilité de l’équilibre, vu que la valeur moyenne critique des délais aléatoires est toujours supérieure de celle des délais constants. En outre, nous considérons comme paramètre de bifurcation la moyenne de la distribution des délais et nous étudions les propriétés de la solution périodique qui apparait à la bifurcation de Hopf, et ce en utilisant une méthode de perturbation non linéaire. En effet, à la bifurcation de Hopf, une oscillation périodique stable apparait dont l’amplitude est fonction de la moyenne de la distribution. Nous déterminons analytiquement l’amplitude de l’oscillation au voisinage de la bifurcation de Hopf en fonction du paramètre de bifurcation et de la matrice des jeux dans les cas des distributions de Dirac, uniforme, Gamma et discrète, et nous appuyons nos résultats avec des simulations numériques. Dans une deuxième partie, nous considérons une population hétérogène composée de plusieurs communautés qui interagissent d’une manière non-uniforme. Pour chaque communauté, nous définissons les matrices des jeux et les probabilités d’interaction avec les autres communautés. Dans ce contexte, nous définissons trois ESS avec différents niveaux de stabilité contre les mutations: un ESS fort, un ESS faible et un ESS intermédiaire. Nous définissons un ESS fort comme suit: si toute la population adopte l’ESS, alors l’ESS ne peut pas être envahi par une petite fraction de mutants composée d’agents de toutes les communautés.

International audience; In this paper, we study the problem of dynamic channel allocation for URLLC traffic in a multiuser multi-channel wireless network where urgent packets have to be successfully received in a timely manner. We formulate the problem as a finite-horizon Markov Decision Process with a stochastic constraint related to the QoS requirement, defined as the packet loss rate for each user. We propose a novel weighted formulation that takes into account both the total expected reward (number of successfully decoded packets) and the risk which we define as the QoS requirement violation. First, we use the value iteration algorithm to find the optimal policy, which assumes a perfect knowledge of the controller of all the parameters, namely the channel statistics. We then propose a Q-learning algorithm where the controller learns the optimal policy without having knowledge of neither the CSI nor the channel statistics. We illustrate the performance of our algorithms with numerical studies.