Probabilités et Statistiques - Compléments et
applications
13 décembre 2011
2
Table des matières
1
Chaînes de Markov
1.1 Définitions . . . . . . . . . . . . . . . . . . . . .
1.2 Classification des états . . . . . . . . . . . . . .
1.3 Temps d’arrêt - propriété de Markov forte . . .
1.4 Etats récurrents et transitoires . . . . . . . . . .
1.5 Probabilités invariantes et théorème ergodique
1.6 Le cas apériodique . . . . . . . . . . . . . . . .
1.7 Chaîne de Markov réversible . . . . . . . . . .
3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5
5
8
9
10
10
13
14
4
Chapitre 1
Chaînes de Markov
1.1
Définitions
Soit E un espace dénombrable, appelé « espace d’états ». On considère une suite de
variables aléatoires {Xn : n ∈ N} à valeurs dans E.
Définition 1. Le processus stochastique {Xn : n ∈ N} à valeurs dans E est appelé chaîne de Markov si pour tout n ∈ N, la loi conditionnelle de Xn+1 sachant
X0 , X1 , . . . , Xn est égale à la loi conditionnelle sachant Xn . En termes mathématiques,
pour tout x0 , . . . , xn , xn+1 ,
P(Xn+1 = xn+1 |X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P(Xn+1 = xn+1 |Xn = xn )
(1.1.1)
Remarque 1. Cette propriété (appelée « propriété de Markov faible ») caractérise
l’absence de mémoire d’une chaîne de Markov.
Proposition 1.1.1. Soient E et F deux ensembles dénombrables. Soit f : N × E × F → E.
Soit X0 à valeurs dans E et {Yn : n ≥ 0} à valeurs dans F globalement indépendantes. Alors
le processus défini pour n ≥ 0 par :
Xn+1 = f (Xn , Yn+1 , n)
est une chaîne de Markov.
Définition 2. Une chaîne de Markov {Xn : n ∈ N} est dite homogène si P(Xn+1 =
xn+1 |Xn = xn ) ne dépend pas de n.
5
CHAPITRE 1. Chaînes de Markov
La chaîne de Markov est alors entièrement déterminée par la matrice de transition
Pxy = P(Xn+1 = y|Xn = x)
Définition 3. Une matrice P = (Pxy ; x, y ∈ E) est une matrice de transition (ou matrice
stochastique) si chaque ligne est une distribution de probabilité. C’est à dire
X
Pxy ≥ 0 et pour tout x ∈ E,
Pxy = 1.
y∈E
Une chaîne de Markov est entièrement déterminée par une loi initiale (la loi de X0 ) et
la matrice de transition.
Définition 4. Soit µ une mesure de probabilité et P une matrice markovienne. Un
processus stochastique {Xn : n ∈ N} est une chaîne de Markov (µ, P) de loi initiale µ
et de matrice de transition P = [pxy ] si
• P(X0 = x) = µx , ∀x ∈ E,
• P(Xn+1 = y|Xn = x) = Pxy , ∀x, y ∈ E
Proposition 1.1.2. Une CNS pour qu’un processus {Xn : n ∈ N} soit une chaîne de Markov
(µ, P) est que pour tout n ∈ N,
P(X0 = x0 , X1 = x1 , . . . , Xn = xn ) = µx0 Px0 x1 × . . . × Pxn−1 xn .
A toute matrice de transition, on peut associer un graphe orienté, les sommets étant
les états de la chaîne de Markov.


 1 − α

α
Exemple 1. A la matrice stochastique P = 
, nous associons le graphe
β
1−β 
orienté suivant.
β
1−α
A
B
1−β
α


 0 2/3 1/3 


Exemple 2. A la matrice stochastique P =  0 1/5 4/5 , nous associons le graphe


1 0
0 
orienté suivant.
6
1.1 Définitions
A
1
2/3
1/5
1/3
B
4/5
C
Les équations de Chapman-Kolmogorov permettent d’établir les probabilités de transition en n étapes à partir de la matrice de transition.
Proposition 1.1.3. Soit {Xn : n ∈ N} une chaîne de Markov (µ, P). Alors,
• P(Xn = y|X0 = x) = P(Xn+p = y|Xp = x) = (Pn )xy ,
P
• P(Xn = y) = (µPn ) y (= x∈E µx Pnxy ),
Formulation plus générale de la propriété de MARKOV faible :
On se donne une chaîne de Markov {Xn : n ≥ 0} à valeurs dans E. On note Px
la probabilité conditionnelle, sachant X0 = x. On note Fn la tribu engendrée par
X0 , . . . , Xn . (C’est l’ensemble des évènements se produisant jusqu’à l’instant n.)
Théorème 1.1.4. Soit {Xn : n ≥ 0} une chaîne de Markov (µ, P). Alors, pour tout n ∈ N,
x ∈ E, conditionnellement à {Xn = x}, {Xn+p : p ≥ 0} est une chaîne de Markov (δx , P)
indépendante de (X0 , . . . , Xn ). Autrement dit, pour tout A ∈ Fn
P(A ∩ (Xn+1 = x1 , . . . , Xn+p = xp )|Xn = x) = P(A|Xn = x)Px (X1 = x1 , . . . , Xp = xp ).
Démonstration. Il suffit de faire la preuve dans le cas A = {X0 = y0 , X1 = y1 , . . . , Xn =
yn } (A est une réunion au plus dénombrable d’événements disjoints d cette forme et
le cas général s’en déduira donc par la σ-additivité de P). Il suffit de considérer le cas
yn = x car dans le cas contraire les deux membres de l’égalité sont nuls. Le membre
de gauche de l’égalité de l’énoncé vaut
P(X0 = y0 , . . . , Xn = x, Xn+1 = x1 , . . . , Xn+p = xp )
,
P(Xn = x)
ce qui vaut, en appliquant deux fois la proposition 1.1.2
P(A)
× Pxx1 × Px1 x2 × . . . × Pxp−1 xp ,
P(Xn = x)
7
CHAPITRE 1. Chaînes de Markov
soit
P(A|Xn = x)Px (X1 = x1 , . . . , Xp = xp ).
1.2
Classification des états
Définition 5. Soit {Xn : n ∈ N}, une chaîne de Markov (µ, P). On dit que y est
accessibles depuis x s’il existe k ∈ N tel que P(Xn+k = y|Xn = x) > 0. On note i → j.
On dit que x et y communiquent (x ↔ y) si x → y et y → x.
Proposition 1.2.1. x → y si et seulement si il existe n ∈ N tel que p(n)
xy > 0.
Proposition 1.2.2. La relation ↔ est une classe d’équivalence.
On peut donc partionner E en ensembles de valeurs qui communiquent.
Définition 6. Une classe C est dite fermée si x ∈ C et x → y implique y ∈ C.
Remarquons ici que cela signifie qu’on ne peut pas sortir d’une classe fermée.
Définition 7. Si la chaîne de Markov ne possède qu’une unique classe, c’est à dire
que tous ses éléments communiquent, la chaîne sera dite irréductible.
Exemple 3. Considérons la chaîne de Markov suivante.
1/2
2/3
1/4
1/2
A
1/3
C
B
1/4
1/2
Cette chaîne est irréductible car tous les états communiquent. Bien que pAC = 0,
p(n)
> 0 pour n ≥ 2.
AC
Définition 8. Un état x est dit absorbant si {x} est une classe fermée.
Nous avons donc pxx = 1. Une chaîne présentant un état absorbant ne peut donc pas
être irréductible.
8
1.3 Temps d’arrêt - propriété de Markov forte
1.3
Temps d’arrêt - propriété de Markov forte
Définition 9. Soit {Xn : n ∈ N}, une chaîne de Markov (µ, P). Pour tout A ⊂ E, le
temps d’atteinte de A est
TA = inf{n ≥ 1 : Xn ∈ A}.
Notons pA|x = P(TA < ∞|X0 = x) la probabilité d’atteindre A.
Définition 10. Si A est une classe fermée de E, pA|x est appelée probabilité d’absoption.
Pour tout n ∈ N, on note Fn la tribu des événements déterminés par X0 , . . . , Xn .
Définition 11. Une variable aléatoire T à valeurs dans N ∪ {+∞} est appelé un temps
d’arrêt si pour tout n ∈ N,
{T = n} ∈ Fn .
Cela signifie que l’observation de la chaîne jusqu’à l’instant n permet de déterminer
si {T = n} ou pas.
Remarque 2. Le temps d’atteinte d’une classe est un temps d’arrêt. En effet,
{T = n} = {X0 < A, X1 < A, . . . , Xn−1 < A, Xn ∈ A}.
Par contre, le dernier temps de passage en A, LA = sup{n ≥ 1 : Xn ∈ A} n’est pas un
temps d’arrêt.
Si T est un temps d’arrêt pour la chaîne, on note mathcalFT la tribu engendrée par
(X0 , . . . , XT ).
Théorème 1.3.1. Propriété de Markov forte Soit {Xn : n ≥ 0} une chaîne de Markov (µ, P)
et T un temps d’arrêt. Conditionnellement en {T < ∞} ∩ {XT = x}, {XT+n : n ≥ 0} est une
chaîne de Markov (δx , P) indépendante de FT . Autrement dit, pour tout A ∈ FT :
P(A ∩ {XT+1 = x1 , . . . , XT+p = xp }|XT = x, T < ∞)
= P(A|XT = x, T < ∞) × Px (X1 = x1 , . . . , Xp = xp ).
9
CHAPITRE 1. Chaînes de Markov
1.4
Etats récurrents et transitoires
On note Px la probabilité conditionnelle, sachant que X0 = x. On définit le temps
d’atteinte
Tx = inf{n ≥ 1 : Xn = x}.
Définition 12.
• L’état x ∈ E est dit récurrent si Px (Tx < ∞) = 1.
• L’état x ∈ E est dit transitoire si Px (Tx < ∞) < 1.
Définition 13.
• L’état est dit récurrent nul si Ex (Tx ) = ∞,
• L’état est dit récurrent positif si E(Tx ) < ∞.
En d’autres termes, cela signifie que pour un état récurrent positif, le système y passe
une partie non négligeable de son temps, alors que pour un état récurrent nul x, le
système passe toujours infiniment souvent par l’état x, mais les temps de passage en
x sont de plus en plus espacés dans le temps.
Proposition 1.4.1. Toute chaîne de Markov irréductible sur un espace fini E est récurrente
irréductible (c’est à dire irréductible et tous les états sont récurrents).
1.5
Probabilités invariantes et théorème ergodique
Définition 14. Soit P une matrice de transition. Une probabilité π sur E est dite
invariante (ou stationnaire) pour P si elle vérifie
πP = π,
i.e.
∀x ∈ E,
X
π y P yx = πx .
y∈E
En d’autres termes, une probabilité π est invariante ou stationnaire pour la chaîne de
Markov {Xn : n ∈ N} si pour tout n ≥ 0, pour tout x ∈ E,
P(Xn = x) = π(x) ⇒ P(Xn+1 = x) = π(x).
10
1.5 Probabilités invariantes et théorème ergodique
Remarque 3. Une probabilité invariante est une probabilité qui vérifie, pour tout
x ∈ E,
X
π y P yx = πx (1 − Pxx ),
y,x
ce qui s’écrit aussi
P(Xn , x, Xn+1 = x) = P(Xn = x, Xn+1 , x).
Cela signifie que le nombre moyen de départs de l’état x entre les instants n et n+1 est
égal au nombre moyen d’arrivées à l’état x entre n et n + 1, caractérisant une propriété
d’« équilibre » de la probabilité invariante.
Théorème 1.5.1. Soit {Xn : n ∈ N} une chaîne de Markov de matrice de transition P,
récurrente irréductible. Alors il existe une mesure strictement positive invariante π pour P,
unique à une constante multiplicative près.
Théorème 1.5.2. Soit {Xn : n ∈ N} une chaîne de Markov irréductible. Un état x est récurrent positif ssi tous les états sont récurrents positifs, ssi il existe une probabilité invariante,
et dans ce cas elle est donnée par πx = 1/Ex (Tx )
Théorème 1.5.3. Si E est fini, alors
– existence : il existe au moins une probabilité stationnaire
– unicité : la loi stationnaire est unique ssi la chaîne admet une seule classe récurrente. De
plus, si C désigne cette classe, πx > 0 ssi x ∈ C et πx = 0 ssi x < C.
Cela signifie qu’une probabilité invariante ne charge que les états récurrents. D’autre
part, s’il y a plusieurs classes récurrentes, on associe une probabilité invariante à
chacune, dont le support est cette classe, et toutes les mesures invariantes s’obtiennent
comme combinaisons linéaire convexe des précédentes. Donc dès qu’il existe au
moins deux classes récurrentes, il y a une infinité de probabilités invariantes.
Exemple 4. Considérons la chaîne de Markov de matrice de transition


 0 1/2 1/2 0 


 0 1
0 0 



 0 0
0 1 



0 0
1 0
11
CHAPITRE 1. Chaînes de Markov
alors {2} et {3, 4} sont deux classes récurrentes : on a pas unicité de la distribution
stationnaire. En effet, π = (0, 1 − 2p, p, p) pour tout p ∈ (0, 1/2).
Exemple 5. Considérons la chaîne de Markov de matrice de transition


 1/5 1/5 3/5 


 0 1/2 1/2 




1
0
0 
La distribution invariante est donnée par la résolution du système




x = x/5 + z




 y = x/5 + y/2





z = 3x/5 + z/2
La probabilité invariante est donc (5/11, 2/11, 4/11).
Nous allons maintenant énoncer le théorème ergodique, qui est une généralisation
de la loi des grands nombres.
Théorème 1.5.4. Considérons une chaîne de Markov irréductible et récurrente positive.
Désignons par π = (πx , x ∈ E) son unique probabilité invariante. Si f : E → R est bornée,
alors
n
X
1X
f (Xk ) −→
πx f (x) p.s.
n→∞
n
x∈E
k=1
Un cas particulier de ce théorème nous dit que dans le cas irréductible récurrent
positif,
n
1X
1{Xk =y} −→ π y p.s.
n
k=1
Cela signifie que le temps relatif passé par une trajectoire de la chaîne dans l’état y
converge presque sûrement vers π y .
12
1.6 Le cas apériodique
1.6
Le cas apériodique
Partant de l’équation précédente, si nous prenons l’espérance sous Px , nous obtenons
n
1X k
(P )xy → π y ,
n
∀x, y ∈ E
k=1
On voit que les moyennes de Césaro des (Pk )xy convergent. La question est alors de
savoir s’il y a convergence simple, i.e.
(Pn )xy → π y ,
n→∞
∀x, y ∈ E
Définition 15. On appelle d période de l’état x ∈ E le PGCD de tous les n tels que
p(n)
xx > 0. Si d = 1 on dit que x est apériodique.
Proposition 1.6.1. Un état x est dit apériodique s’il existe N tel que p(n)
xx > 0 pour tout
n ≥ N.
Démonstration. Correction en TD.
Proposition 1.6.2. Si P est irréductible et s’il existe un état apériodique x, alors pour tout
y, z ∈ E, il existe M tel que (Pn ) yz > 0 pour tout n ≥ M. En particulier, tous les états sont
apériodiques.
Démonstration. D’après l’irréductibilité, il existe r, s ∈ N tels que (Pr ) yx > 0 et (Ps )xz >
0. Ainsi,
(Pr+n+s ) yz ≥ (Pr ) yx (Pn )xx (Ps )xz > 0,
dès que n ≥ N. On a donc la propriété voulue pour M = N + r + s.
Nous pouvons remarquer que dans le cas où P est irréductible, récurrente et positive,
si π est la probabilité invariante alors nous avons π y > 0 pour tout y ∈ E. Donc il est
évident que (Pn )xy > 0 à partir d’un certain rang est une condition nécessaire pour
que (Pn )xy → π y . On va voir maintenant que c’est une condition suffisante.
Théorème 1.6.3. Soit {Xn : n ≥ 1} une chaine de Markov (µ, P) et supposons P irréductible,
récurrent positif et apériodique. Soit π l’unique probabilité invariante. Alors, pour tout y ∈ E,
P(Xn = y) → π y ,
n→∞
13
CHAPITRE 1. Chaînes de Markov
soit
(µPn ) y → π y .
n→∞
En particulier, pour tout x, y ∈ E,
(Pn )xy → π y .
n→∞
Démonstration.
1.7
Chaîne de Markov réversible
La notion de réversibilité liée au retournement du temps peut faciliter la recherche
d’une probabilité invariante. Etant donnée une chaîne de Markov {Xn : n ∈ N}, alors
pour tout N ∈ N on appelle chaîne retournée la chaîne {X̂nN = XN−n : 0 ≤ n ≤ N}. La
chaîne retournée est encore une chaîne de Markov.
Proposition 1.7.1. Soit {Xn : n ∈ N} une chaîne de Makrov (π, P), avec π probabilité
invariante et P irréductible. Alors la chaîne retournée {X̂nN : 0 ≤ n ≤ N} vérifie pour tout
x, y ∈ E,
π y P̂ yx = πx Pxy .
Démonstration. Notons n = N − p − 1.
P(X̂p+1 = x|X̂p = y) = P(Xn = x|Xn+1 = y)
= P(Xn+1 = y|Xn = x) ×
P(Xn = x)
.
P(Xn+1 = y)
Définition 16. On dit que la chaîne {Xn : n ∈ N} est réversible si P̂ = P, c’est à dire si
pour tout x, y ∈ E,
πx Pxy = π y P yx ,
avec π probabilité invariante pour P. Cette relation est souvent appelée « relation
d’équilibre ponctuel ».
Remarque 4. Si une probabilité π vérifie la relation d’équilibre ponctuel, alors elle
est invariante par P. En effet, il suffit pour cela de sommer sur x ∈ E.
14
1.7 Chaîne de Markov réversible
Lorsqu’on cherche la loi invariante d’une chaîne de Markov récurrente irréductible
de matrice de transition P, on peut donc chercher une loi qui satisfasse la relation
d’équilibre ponctuel πx Pxy = π y P yx pour tout x, y ∈ E plutôt que de résoudre l’équation πP = π. Néanmoins, cette équation n’a de solution que si la chaîne est réversible
par rapport à son unique probabilité invariante, ce qui n’est pas toujours vrai.
15