Les chaînes de Markov

Introduction aux chaînes de Markov

Voici un intéressant type d’exercice de mathématiques appliquées qui ne réclame pas un super niveau d’ingénieur. Cependant, si vous êtes en terminale, les pages sur les graphes probabilistes, les suites de matrices et l'exercice de marche aléatoire répondront davantage à vos attentes.

 

Cadre d'analyse

Supposons un processus stochastique. Pour employer un jargon moins pointu tout en étant plus précis, une variable aléatoire peut prendre à dates régulières un nombre discret d’états (nous n’étudierons pas ici les processus continus ou à états continus). Supposons aussi que des probabilités peuvent être affectées à chacun de ces états et que chacune d’elles dépend de celle qui l’a précédée : il s’agit alors d’une chaîne de Markov. Pas de panique, un exemple va arriver.

Ainsi, nous nous situons dans un cadre de probabilités conditionnelles mais sans mémoire puisque la probabilité de la période t ne dépend que de celle de la période t – 1 et non de ce qui s’est passé auparavant.

Dans le cas le plus simple, il n’existe que deux états. Voici l’exemple d’un extrait d’énoncé de l’épreuve du bac ES d’Amérique du sud, novembre 1998 (enseignement de spécialité).

 

Exemple

    À partir de 1997, une association d’aide à la recherche médicale envoie chaque année à monsieur X un courrier pour l’inviter à l’aider financièrement par un don.
    Monsieur X a répondu favorablement en 1997 en envoyant un don. On admet que, chaque année à partir de 1998, la probabilité pour que monsieur X fasse un don est égale à 0,9 s’il a fait un don l’année précédente et à 0,4 s’il n’a rien donné l’année précédente.

L’exercice complet est déjà résolu en page de probabilités et suites (vous pourrez y lire la suite de l’énoncé) mais d’une autre manière que celle qui sera employée ici. D’ores et déjà, on voit bien qu’une variable prend à dates ou périodes régulières (des années) un nombre discret d’états possibles, en l’occurrence DEUX états (don ou pas don).

Un graphe probabiliste résume le processus.

graphe probabiliste

En bonne logique, la somme des poids des arêtes qui partent d’un même sommet vaut 1.

Le processus peut aussi se résumer par une matrice de transition M avec en ligne les sommets de départ et en colonne les sommets d’arrivée. Les valeurs de la matrice sont les poids des arêtes.

matrice de transition

L’intérêt de l’étude est de savoir si le processus converge vers un processus stationnaire, c’est-à-dire un état stable.

Pour cela, il faut d’abord multiplier la matrice M avec l’état initial, puis multiplier le résultat obtenu un grand nombre de fois par M. Si l’on remarque que les valeurs de la matrice convergent, bingo ! Notons aussi que l’état initial de la matrice n’impacte pas l’état « final » (on dit que la chaîne est ergodique).

Dans notre exemple, l’état initial correspondait à une année de générosité (par convention, on notera l’année 1997 avec un indice 1). Donc :

état initial

Attention, un état initial ne reflète pas toujours une situation binaire comme ici (voir l’exemple de la page graphes et matrices).

En 1998, on observe donc les probabilités suivantes :

en 1998

En 1999, elles évoluent encore :

en 1999

Vous pouvez vérifier que l’on tend progressivement vers la matrice (0,8  0,2). Conclusion : après quelques années, la probabilité que ce généreux M. X fasse un don se stabilise autour de 0,8.

Heureusement, le champ des chaînes de Markov ne se limite pas à un choix binaire et des matrices de transition 10 × 10 ne sont pas rares dans les applications économiques…

Précisons toutefois qu’un processus ne se stabilise pas obligatoirement.

Pour que ce soit le cas, il faut que la matrice de transition ne contienne aucun 0 mal placé (j’y reviendrai) ; elle converge alors vers une matrice où chaque colonne comporte les mêmes valeurs au fur et à mesure qu’elle est multipliée par elle-même un grand nombre de fois. Du coup, il n’était même pas nécessaire d’utiliser P1 dans notre exemple pour savoir comment la situation se stabiliserait. Il suffisait d’appliquer à M une puissance très grande :

état stable

Et les processus qui ne trouvent pas de stabilité ? C’est par exemple le cas lorsque la matrice de transition est du type suivant :

matrice réductible

A et B sont deux sous-matrices carrées ; M peut donc être repésentée par deux sous-graphes disjoints. On parle alors de matrice réductible. Soit l’état initial est dans A et il est impossible de trouver B, soit c’est l’inverse.

Les blocs d’une matrice de type périodique se présentent ainsi (ici, ce sont les sous-matrices nulles qui sont carrées) :

matrice périodique

Soit on se trouve dans A, soit dans B. Mais on n’observe aucune convergence.

La preuve en exemple :

processus périodique

Si sa matrice est irréductible et apériodique, la chaîne de Markov est ergodique.

 

Applications

Le champ d’application des chaînes de Markov est vaste. Pour s’en tenir à quelques utilisations en entreprise, mentionnons le marketing (probabilités de réachat), les ressources humaines (jeu des promotions et de l’effet de noria), le risque de crédit (évolution prévisionnelle des ratings), etc.

 

stabilité