Graphes probabilistes et chaînes de Markov

Chaque semaine, Malik joue ou non à un jeu en ligne. S’il a joué une semaine, il joue la suivante avec la probabilité $0,9$ ; s’il n’a pas joué, il joue la suivante avec la probabilité $0,2$. Il a joué la semaine $0$. On note $J_n$ l’événement « Malik joue la semaine $n$ ». Donne des valeurs exactes.

1. $p(J_1\cap J_2)=$
   Malik a joué la semaine $0$, donc $p(J_1)=0,9$. Puis $p(J_1\cap J_2)$ $=p(J_1)\times p_{J_1}(J_2)$ $=0,9\times 0,9$ $=0,81$.
2. $p(J_2)=$
   $J_1$ et $\overline{J_1}$ forment une partition ; d’après la formule des probabilités totales, $p(J_2)=0,9\times 0,9+0,1\times 0,2$ $=0,81+0,02$ $=0,83$.
3. $p_{J_2}(J_1)=$ (fraction irréductible)
   On inverse le conditionnement : $p_{J_2}(J_1)$ $={\displaystyle \frac{p(J_1\cap J_2)}{p(J_2)}}$ $={\displaystyle \frac{0,81}{0,83}}$ $={\displaystyle \frac{81}{83}}$.

Un système a trois états $1$, $2$, $3$. À l’étape $n$, il est dans ces états avec les probabilités $0,5$, $0,3$ et $0,2$. Depuis l’état $1$, il est en $1$ à l’étape suivante avec la probabilité $0,6$ ; depuis l’état $2$, avec la probabilité $0,1$ ; depuis l’état $3$, avec la probabilité $0,25$.

1. $p((X_n=2)\cap (X_{n+1}=1))$ $=$
   Probabilité du chemin : $0,3\times 0,1=0,03$.
2. $p(X_{n+1}=1)=$
   Les événements $(X_n=1)$, $(X_n=2)$, $(X_n=3)$ forment une partition. Probabilités totales : $p(X_{n+1}=1)$ $=0,5\times 0,6+0,3\times 0,1+0,2\times 0,25$ $=0,3+0,03+0,05$ $=0,38$.
3. Sachant que le système est en $1$ à l’étape $n+1$, la probabilité qu’il ait été en $1$ à l’étape $n$ vaut (fraction irréductible)
   $p_{(X_{n+1}=1)}(X_n=1)$ $={\displaystyle \frac{0,5\times 0,6}{0,38}}$ $={\displaystyle \frac{0,3}{0,38}}$ $={\displaystyle \frac{15}{19}}$.

Dans un parking relais, on observe chaque soir une place donnée. Si elle est occupée un soir, elle l’est encore le lendemain soir avec la probabilité $0,65$ ; si elle est libre, elle est occupée le lendemain soir avec la probabilité $0,4$. Le soir $0$, elle est libre. On note $O_n$ l’événement « la place est occupée le soir $n$ » et $o_n=p(O_n)$.

1. Justifier que pour tout $n\in \mathbb{N}$, $o_{n+1}=0,25o_n+0,4$. Contrôle : $o_2=$
   Rédaction attendue. On construit l’arbre entre le soir $n$ et le soir $n+1$ : $O_n$ (probabilité $o_n$) puis $O_{n+1}$ avec $0,65$ ; $\overline{O_n}$ (probabilité $1-o_n$) puis $O_{n+1}$ avec $0,4$. Les événements $O_n$ et $\overline{O_n}$ forment une partition ; d’après la formule des probabilités totales, $o_{n+1}=0,65o_n+0,4(1-o_n)$ $=0,25o_n+0,4$. Avec $o_0=0$ : $o_1=0,4$ et $o_2=0,25\times 0,4+0,4=0,5$.
2. Le réel $\ell$ tel que $\ell =0,25\ell +0,4$ vaut (fraction irréductible)
   $\ell -0,25\ell$ $=0,4⟺0,75\ell$ $=0,4⟺\ell$ $={\displaystyle \frac{0,4}{0,75}}$ $={\displaystyle \frac{8}{15}}$.
3. Démontrer que $(o_n-{\displaystyle \frac{8}{15}})$ est géométrique, puis exprimer $o_n$ en fonction de $n$. Contrôle : $o_3=$
   Rédaction attendue. Pour tout $n$, $o_{n+1}-{\displaystyle \frac{8}{15}}$ $=0,25o_n+0,4-{\displaystyle \frac{8}{15}}$ $=0,25o_n-{\displaystyle \frac{2}{15}}$ $=0,25(o_n-{\displaystyle \frac{8}{15}})$. La suite est géométrique de raison $0,25$ et de premier terme $0-{\displaystyle \frac{8}{15}}=-{\displaystyle \frac{8}{15}}$. Donc $o_n={\displaystyle \frac{8}{15}}(1-0,{25}^n)$, et $o_3={\displaystyle \frac{8}{15}}\times {\displaystyle \frac{63}{64}}$ $={\displaystyle \frac{21}{40}}$ $=0,525$ (c’est aussi $0,25\times 0,5+0,4$). Comme $-1<0,25<1$, $lim{o}_n={\displaystyle \frac{8}{15}}$.

Une application de méditation suit ses utilisateurs jour après jour. On note $A_n$ l’événement « l’utilisateur médite le jour $n$ », $a_n=p(A_n)$, $\alpha =p_{A_n}(A_{n+1})$ et $\beta =p_{\overline{A_n}}(A_{n+1})$, indépendants de $n$, avec $\alpha \ne \beta$. On observe $a_0=0,2$, $a_1=0,44$, et l’on sait que la suite $(a_n)$ converge vers $0,8$.

1. On pose $q=\alpha -\beta$. Le réel $q$ vaut
   Probabilités totales : $a_{n+1}=q{a}_n+\beta$. La limite $0,8$ est le point fixe : $0,8=0,8q+\beta$, donc $\beta =0,8(1-q)$. Et $a_1=0,2q+\beta =0,44$. En remplaçant : $0,2q+0,8-0,8q=0,44$, soit $0,6q=0,36$ et $q=0,6$.
2. $\beta =$ et $\alpha =$
   $\beta =0,8\times (1-0,6)=0,32$ et $\alpha =q+\beta =0,92$. Contrôle : $a_1=0,92\times 0,2+0,32\times 0,8$ $=0,184+0,256$ $=0,44$.
3. Justifier que la limite de $(a_n)$ est bien $0,8$ avec ces valeurs. Contrôle : $a_2=$
   Rédaction attendue. $a_{n+1}=0,6a_n+0,32$ ; le point fixe vérifie $\ell =0,6\ell +0,32$, soit $\ell =0,8$. La suite $(a_n-0,8)$ est géométrique de raison $0,6$ : $a_n=0,8-0,6\times 0,6^n$. Comme $-1<0,6<1$, $lim{a}_n=0,8$. Enfin $a_2=0,6\times 0,44+0,32=0,584$.

On considère les matrices $M_1=\left(\begin{array}{cc}0,4& 0,6\\ 0,9& 0,2\end{array}\right)$, $M_2=\left(\begin{array}{cc}0,3& 0,7\\ 0,55& 0,45\end{array}\right)$, $M_3=\left(\begin{array}{cc}1& 0\\ 0,2& 0,8\end{array}\right)$ et $M_4=\left(\begin{array}{ccc}0,5& 0,3& 0,2\\ 0,1& 0,8& 0,1\\ 0,25& 0,25& 0,4\end{array}\right)$.

1. Nombre de matrices de transition parmi ces quatre :
   Une matrice de transition est carrée, à coefficients dans $[0;1]$, et chacune de ses lignes somme à $1$. $M_1$ : $0,9+0,2=1,1$, non. $M_2$ : $0,3+0,7=1$ et $0,55+0,45=1$, oui. $M_3$ : $1+0=1$ et $0,2+0,8=1$, oui. $M_4$ : $0,25+0,25+0,4=0,9$, non. Il y en a $2$.
2. Dans $M_2$, le coefficient $0,55$ est la probabilité de passer de l’état à l’état
   Il est en ligne $2$ (départ) et en colonne $1$ (arrivée) : c’est la probabilité de passer de l’état $2$ à l’état $1$ en une étape.
3. Dans $M_3$, l’état absorbant est l’état numéro
   $p_{11}=1$ : partant de l’état $1$, on y reste avec la probabilité $1$. Sur le graphe, une seule flèche part de $1$, sa boucle de poids $1$ : une fois cet état atteint, le système n’en sort plus.

Un chat passe chaque heure de l’état « dort » ($D$) à l’état « joue » ($J$) selon le graphe probabiliste ci-dessous. Les états sont rangés dans l’ordre $(D;J)$.

1. $p_{12}=$
   $p_{12}$ est le poids de l’arc qui va de l’état $1$ ($D$) vers l’état $2$ ($J$) : $0,35$.
2. $p_{21}=$
   Arc de $J$ vers $D$ : $p_{21}=0,8$. Donc $P=\left(\begin{array}{cc}0,65& 0,35\\ 0,8& 0,2\end{array}\right)$.
3. La somme des coefficients de la première colonne de $P$ vaut
   $0,65+0,8=1,45$ : une colonne ne somme pas à $1$ en général. Ce sont les lignes qui somment à $1$ : $0,65+0,35=1$ et $0,8+0,2=1$.

Une abeille butine trois massifs : lavande ($L$), thym ($T$) et romarin ($R$). Chaque minute, elle change de massif ou reste, selon le graphe ci-dessous, sur lequel les boucles n’ont pas été dessinées. Les états sont rangés dans l’ordre $(L;T;R)$.

1. $p_{11}=$
   Deux arcs partent de $L$ : $0,3$ et $0,2$. La boucle porte le complément : $1-0,3-0,2=0,5$.
2. $p_{23}=$
   Aucun arc ne va de $T$ vers $R$ : $p_{23}=0$.
3. $p_{22}=$ et $p_{33}=$
   Depuis $T$ : $1-0,45=0,55$. Depuis $R$ : $1-0,1-0,3=0,6$. Ainsi $P=\left(\begin{array}{ccc}0,5& 0,3& 0,2\\ 0,45& 0,55& 0\\ 0,1& 0,3& 0,6\end{array}\right)$, dont chaque ligne somme à $1$.

Un pion se déplace sur trois cases numérotées $1$, $2$, $3$, alignées. À chaque tour, on lance une pièce équilibrée : sur « pile », le pion avance d’une case ; sur « face », il recule d’une case. S’il ne peut pas bouger (avancer depuis $3$, reculer depuis $1$), il reste sur place. On note $X_n$ la case occupée après $n$ tours ; les états sont rangés dans l’ordre $(1;2;3)$.

1. Justifier que $(X_n)$ est une chaîne de Markov et écrire sa matrice de transition $P$. Contrôle : $p_{22}=$
   Rédaction attendue. La case occupée au tour $n+1$ ne dépend que de la case occupée au tour $n$ et du lancer de pièce, indépendant de tout le reste, avec des probabilités qui ne dépendent pas de $n$ : $(X_n)$ est une chaîne de Markov. Depuis $1$ : pile → $2$, face → reste en $1$. Depuis $2$ : pile → $3$, face → $1$. Depuis $3$ : pile → reste en $3$, face → $2$. Donc $P=\left(\begin{array}{ccc}0,5& 0,5& 0\\ 0,5& 0& 0,5\\ 0& 0,5& 0,5\end{array}\right)$ et $p_{22}=0$ : depuis $2$, le pion bouge toujours.
2. On change la règle : la case $3$ devient une case d’arrivée, d’où le pion ne repart plus. Le nouveau coefficient $p_{33}$ vaut
   Le pion reste en $3$ avec la probabilité $1$ : $p_{33}=1$, l’état $3$ est absorbant. Les lignes $1$ et $2$ ne changent pas.
3. Avec cette nouvelle règle, le nombre de coefficients nuls de la matrice de transition vaut
   La nouvelle matrice est $\left(\begin{array}{ccc}0,5& 0,5& 0\\ 0,5& 0& 0,5\\ 0& 0& 1\end{array}\right)$ : ses coefficients nuls sont $p_{13}$, $p_{22}$, $p_{31}$ et $p_{32}$, soit $4$.

Un système évolue chaque semaine entre deux états $A$ et $B$. Sur le graphe probabiliste, l’arc de $A$ vers $B$ porte le poids $0,25$ et l’arc de $B$ vers $A$ porte le poids $0,6$. Les états sont rangés dans l’ordre $(A;B)$ et ${\pi }_0=\left(\begin{array}{cc}0,2& 0,8\end{array}\right)$.

1. Le poids de la boucle en $A$ vaut et celui de la boucle en $B$ vaut
   Les poids des arcs qui partent de $A$ somment à $1$ : $1-0,25=0,75$. De même en $B$ : $1-0,6=0,4$. D’où $P=\left(\begin{array}{cc}0,75& 0,25\\ 0,6& 0,4\end{array}\right)$.
2. Premier coefficient de ${\pi }_1$ :
   ${\pi }_1={\pi }_{0}P$ : premier coefficient $0,2\times 0,75+0,8\times 0,6$ $=0,15+0,48$ $=0,63$, second $0,2\times 0,25+0,8\times 0,4$ $=0,05+0,32$ $=0,37$. Donc ${\pi }_1=\left(\begin{array}{cc}0,63& 0,37\end{array}\right)$, de somme $1$.
3. Probabilité que le système soit en $A$ au bout de deux semaines :
   ${\pi }_2={\pi }_{1}P$ : $0,63\times 0,75+0,37\times 0,6$ $=0,4725+0,222$ $=0,6945$, et $0,63\times 0,25+0,37\times 0,4$ $=0,1575+0,148$ $=0,3055$. La probabilité d’être en $A$ au bout de deux semaines vaut $0,6945$, soit environ $69,5\%$.

Soit la matrice de transition $P=\left(\begin{array}{cc}0,9& 0,1\\ 0,35& 0,65\end{array}\right)$ d’une chaîne de Markov à deux états $1$ et $2$.

1. Coefficient $(2;1)$ de $P^2$ :
   Ligne $2$ de $P$ par colonne $1$ : $0,35\times 0,9+0,65\times 0,35$ $=0,315+0,2275$ $=0,5425$. On trouve de même $P^2=\left(\begin{array}{cc}0,845& 0,155\\ 0,5425& 0,4575\end{array}\right)$, dont chaque ligne somme à $1$.
2. Probabilité de se trouver dans l’état $2$ deux étapes après avoir été dans l’état $1$ :
   C’est le coefficient $(1;2)$ de $P^2$ : $0,9\times 0,1+0,1\times 0,65$ $=0,09+0,065$ $=0,155$.
3. Avec ${\pi }_0=\left(\begin{array}{cc}0,4& 0,6\end{array}\right)$, premier coefficient de ${\pi }_2={\pi }_0{P}^2$ :
   $0,4\times 0,845+0,6\times 0,5425$ $=0,338+0,3255$ $=0,6635$. Second coefficient : $0,4\times 0,155+0,6\times 0,4575$ $=0,062+0,2745$ $=0,3365$.

Un système a trois états $1$, $2$, $3$, de matrice de transition $P=\left(\begin{array}{ccc}0,5& 0,4& 0,1\\ 0,2& 0,7& 0,1\\ 0,3& 0,3& 0,4\end{array}\right)$ et de distribution initiale ${\pi }_0=\left(\begin{array}{ccc}1& 0& 0\end{array}\right)$.

1. Deuxième coefficient de ${\pi }_2$ :
   ${\pi }_1={\pi }_{0}P$ est la première ligne de $P$ : $\left(\begin{array}{ccc}0,5& 0,4& 0,1\end{array}\right)$. Puis ${\pi }_2={\pi }_{1}P$ : $0,5\times 0,5+0,4\times 0,2+0,1\times 0,3$ $=0,36$ ; $0,5\times 0,4+0,4\times 0,7+0,1\times 0,3$ $=0,2+0,28+0,03$ $=0,51$ ; $0,5\times 0,1+0,4\times 0,1+0,1\times 0,4$ $=0,13$. Donc ${\pi }_2=\left(\begin{array}{ccc}0,36& 0,51& 0,13\end{array}\right)$.
2. Probabilité que le système soit dans l’état $2$ après trois étapes :
   Comme ${\pi }_3={\pi }_{2}P$, son deuxième coefficient est le produit de la ligne ${\pi }_2$ par la colonne $2$ de $P$ : $0,36\times 0,4+0,51\times 0,7+0,13\times 0,3$ $=0,144+0,357+0,039$ $=0,54$. Partant de l’état $1$, la probabilité d’être en $2$ après trois étapes vaut $0,54$.
3. En déduire le coefficient $(1;3)$ de $P^3$ :
   Comme ${\pi }_0=\left(\begin{array}{ccc}1& 0& 0\end{array}\right)$, ${\pi }_3={\pi }_0{P}^3$ est exactement la première ligne de $P^3$ : le coefficient $(1;3)$ de $P^3$ est le troisième coefficient de ${\pi }_3$, $0,36\times 0,1+0,51\times 0,1+0,13\times 0,4$ $=0,036+0,051+0,052$ $=0,139$. Contrôle : le premier coefficient vaut $0,18+0,102+0,039=0,321$, et $0,321+0,54+0,139=1$.

Une chaîne de Markov $(X_n)$ à deux états $1$ et $2$ a pour matrice de transition $P=\left(\begin{array}{cc}0,55& 0,45\\ 0,1& 0,9\end{array}\right)$ et pour distribution initiale ${\pi }_0=\left(\begin{array}{cc}0,4& 0,6\end{array}\right)$.

1. Démontrer que pour tout $n\in \mathbb{N}$, ${\pi }_{n+1}={\pi }_{n}P$. Contrôle : $p(X_1=1)=$
   Rédaction attendue. Soit $n\in \mathbb{N}$. Les événements $(X_n=1)$ et $(X_n=2)$ forment une partition. D’après la formule des probabilités totales, $p(X_{n+1}=1)$ $=p(X_n=1)\times 0,55+p(X_n=2)\times 0,1$ et $p(X_{n+1}=2)$ $=p(X_n=1)\times 0,45+p(X_n=2)\times 0,9$. Ce sont les deux coefficients du produit de la ligne ${\pi }_n$ par $P$ : ${\pi }_{n+1}={\pi }_{n}P$. Pour $n=0$ : $p(X_1=1)=0,4\times 0,55+0,6\times 0,1$ $=0,22+0,06$ $=0,28$.
2. Démontrer par récurrence que pour tout $n\in \mathbb{N}$, ${\pi }_n={\pi }_0{P}^n$. Contrôle : coefficient $(2;1)$ de $P^2$ =
   Rédaction attendue. On note $𝒫(n)$ : « ${\pi }_n={\pi }_0{P}^n$ ». Initialisation : ${\pi }_0{P}^0={\pi }_0{I}_2={\pi }_0$. Hérédité : soit $k\in \mathbb{N}$ tel que ${\pi }_k={\pi }_0{P}^k$ ; alors ${\pi }_{k+1}={\pi }_{k}P$ $=({\pi }_0{P}^k)P$ $={\pi }_0{P}^{k+1}$ par associativité. Conclusion : la propriété est vraie pour tout $n$. Contrôle : $(P^2{)}_{21}=0,1\times 0,55+0,9\times 0,1$ $=0,055+0,09$ $=0,145$, probabilité de passer de $2$ à $1$ en deux transitions.
3. On note $U=\left(\begin{array}{c}1\\ 1\end{array}\right)$. Démontrer que $P^{n}U=U$ pour tout $n$, et en déduire que chaque ligne de $P^n$ somme à $1$. Contrôle : coefficient $(2;2)$ de $P^2$ =
   Rédaction attendue. Le produit $PU$ est la colonne des sommes des lignes de $P$, donc $PU=U$. Par récurrence : $P^{0}U=U$ ; si $P^{k}U=U$, alors $P^{k+1}U=P^k(PU)=P^{k}U=U$. Ainsi $P^{n}U=U$ : chaque ligne de $P^n$ somme à $1$. Contrôle : $(P^2{)}_{22}=0,1\times 0,45+0,9\times 0,9$ $=0,045+0,81$ $=0,855$, et $0,145+0,855=1$.

Une chaîne de Markov à deux états a pour matrice de transition $P=\left(\begin{array}{cc}0,84& 0,16\\ 0,28& 0,72\end{array}\right)$. On cherche une distribution invariante $\pi =\left(\begin{array}{cc}x& 1-x\end{array}\right)$.

1. Le premier coefficient de $\pi P$ s’écrit $0,56x+$
   $0,84x+0,28(1-x)$ $=0,84x+0,28-0,28x$ $=0,56x+0,28$. L’égalité $\pi P=\pi$ équivaut donc à $0,56x+0,28=x$, soit $0,44x=0,28$ (le second coefficient donne la même équation).
2. $x=$ (fraction irréductible)
   $x={\displaystyle \frac{0,28}{0,44}}$ $={\displaystyle \frac{28}{44}}$ $={\displaystyle \frac{7}{11}}$, puis $1-x={\displaystyle \frac{4}{11}}$ : $\pi =\left(\begin{array}{cc}{\displaystyle \frac{7}{11}}& {\displaystyle \frac{4}{11}}\end{array}\right)$.
3. Valeur approchée de $1-x$ à ${10}^{-3}$ près :
   ${\displaystyle \frac{4}{11}}\approx 0,36364$, donc $1-x\approx 0,364$ (et $x\approx 0,636$).

Une chaîne de Markov à trois états a pour matrice de transition $P=\left(\begin{array}{ccc}0,7& 0,2& 0,1\\ 0,2& 0,2& 0,6\\ 0,1& 0,2& 0,7\end{array}\right)$. On cherche une distribution invariante $\pi =\left(\begin{array}{ccc}x& y& z\end{array}\right)$.

1. Justifier que la deuxième coordonnée $y$ de toute distribution invariante vaut
   Rédaction attendue. La deuxième équation de $\pi P=\pi$ s’écrit $0,2x+0,2y+0,2z=y$, soit $0,2(x+y+z)=y$. Comme $x+y+z=1$, on obtient $y=0,2$. (La deuxième colonne de $P$ a tous ses coefficients égaux.)
2. $x=$ et $z=$
   Alors $x+z=0,8$. La première équation donne $0,7x+0,2\times 0,2+0,1z=x$, soit $0,3x=0,04+0,1z$. Avec $z=0,8-x$ : $0,3x=0,04+0,08-0,1x$, donc $0,4x=0,12$, $x=0,3$ et $z=0,5$.
3. Une population de $2000$ individus est répartie au départ selon $\pi$. Nombre moyen d’individus dans l’état $3$ au bout de $10$ étapes :
   $\pi$ est invariante : si ${\pi }_0=\pi$, alors ${\pi }_n=\pi$ pour tout $n$. Au bout de $10$ étapes, la proportion dans l’état $3$ vaut encore $0,5$, soit $0,5\times 2000=1000$ individus en moyenne. Vérification de l’invariance sur le troisième coefficient de $\pi P$ : $0,3\times 0,1+0,2\times 0,6+0,5\times 0,7$ $=0,03+0,12+0,35$ $=0,5$.

Soit $P=\left(\begin{array}{ccc}0,6& 0,2& 0,2\\ 0,1& 0,8& 0,1\\ 0,2& 0,3& 0,5\end{array}\right)$. On cherche la distribution invariante $\pi =\left(\begin{array}{ccc}x& y& z\end{array}\right)$.

1. Montrer que $y={\displaystyle \frac{16}{7}}x$ et $z={\displaystyle \frac{6}{7}}x$. Première étape : la troisième équation donne $z=0,4x+ky$ avec $k=$
   Le système $\pi P=\pi$ s’écrit $0,6x+0,1y+0,2z=x$ ; $0,2x+0,8y+0,3z=y$ ; $0,2x+0,1y+0,5z=z$, complété par $x+y+z=1$. La troisième équation donne $0,5z=0,2x+0,1y$, soit $z=0,4x+0,2y$. La première donne $0,4x=0,1y+0,2z$ $=0,1y+0,08x+0,04y$, donc $0,32x=0,14y$ et $y={\displaystyle \frac{16}{7}}x$ ; puis $z=0,4x+{\displaystyle \frac{3,2}{7}}x$ $={\displaystyle \frac{6}{7}}x$.
2. $x=$ (fraction irréductible)
   $x+{\displaystyle \frac{16}{7}}x+{\displaystyle \frac{6}{7}}x$ $={\displaystyle \frac{29}{7}}x$ $=1$, d’où $x={\displaystyle \frac{7}{29}}$, $y={\displaystyle \frac{16}{29}}$ et $z={\displaystyle \frac{6}{29}}$.
3. Valeur approchée de $y$ à ${10}^{-3}$ près :
   ${\displaystyle \frac{16}{29}}\approx 0,5517$, donc $y\approx 0,552$ ($x\approx 0,241$ et $z\approx 0,207$). Vérification sur la deuxième équation : $0,2\times {\displaystyle \frac{7}{29}}+0,8\times {\displaystyle \frac{16}{29}}+0,3\times {\displaystyle \frac{6}{29}}$ $={\displaystyle \frac{1,4+12,8+1,8}{29}}$ $={\displaystyle \frac{16}{29}}$.

Soit $a$ et $b$ deux réels de $[0;1]$ tels que $a+b>0$, et $P=\left(\begin{array}{cc}1-a& a\\ b& 1-b\end{array}\right)$ la matrice de transition d’une chaîne de Markov à deux états.

1. Démontrer que la chaîne admet une unique distribution invariante, $\left(\begin{array}{cc}{\displaystyle \frac{b}{a+b}}& {\displaystyle \frac{a}{a+b}}\end{array}\right)$. Contrôle pour $a=0,12$ et $b=0,28$ : premier coefficient =
   Rédaction attendue. Une distribution à deux coefficients s’écrit $\pi =\left(\begin{array}{cc}x& 1-x\end{array}\right)$. Le premier coefficient de $\pi P$ vaut $(1-a)x+b(1-x)$, et le second vaut $1$ moins le premier, puisque les lignes de $P$ somment à $1$. Donc $\pi P=\pi ⟺(1-a)x+b(1-x)$ $=x⟺b$ $=(a+b)x$ $⟺x$ $={\displaystyle \frac{b}{a+b}}$ (car $a+b\ne 0$). L’unique distribution invariante est $\left(\begin{array}{cc}{\displaystyle \frac{b}{a+b}}& {\displaystyle \frac{a}{a+b}}\end{array}\right)$. Pour $a=0,12$ et $b=0,28$ : ${\displaystyle \frac{0,28}{0,4}}=0,7$.
2. Justifier que le premier coefficient de la distribution invariante dépasse $0,5$ si et seulement si $b>a$. Contrôle pour $a=0,3$ et $b=0,45$ : premier coefficient =
   Rédaction attendue. Comme $a+b>0$ : ${\displaystyle \frac{b}{a+b}}$ $>{\displaystyle \frac{1}{2}}$ $⟺2b$ $>a+b⟺b$ $>a$. On reste plus souvent dans l’état $1$ quand on y revient plus facilement ($b$) qu’on ne le quitte ($a$). Pour $a=0,3$ et $b=0,45$ : ${\displaystyle \frac{0,45}{0,75}}=0,6>0,5$.

Une chaîne de Markov à deux états a pour matrice de transition $P=\left(\begin{array}{cc}0,7& 0,3\\ 0,2& 0,8\end{array}\right)$ et pour distribution initiale ${\pi }_0=\left(\begin{array}{cc}0,9& 0,1\end{array}\right)$. On note $x_n$ le premier coefficient de ${\pi }_n$.

1. Montrer que $x_{n+1}=0,5x_n+0,2$. Contrôle : $x_1=$
   Le premier coefficient de ${\pi }_{n+1}={\pi }_{n}P$ vaut $0,7x_n+0,2(1-x_n)$ $=0,5x_n+0,2$. Ainsi $x_1=0,5\times 0,9+0,2=0,65$.
2. On pose $u_n=x_n-0,4$. Démontrer que la suite $(u_n)$ est géométrique, en précisant sa raison et son premier terme. Contrôle : $u_3=$
   Rédaction attendue. Pour tout $n$, $u_{n+1}=x_{n+1}-0,4$ $=0,5x_n+0,2-0,4$ $=0,5x_n-0,2$ $=0,5(x_n-0,4)$ $=0,5u_n$. La suite $(u_n)$ est géométrique de raison $0,5$, de premier terme $u_0=0,9-0,4=0,5$. Donc $u_n=0,5\times 0,5^n=0,5^{n+1}$ et $u_3=0,5^4=0,0625$.
3. En déduire $x_n$ en fonction de $n$ et la limite de $(x_n)$. Contrôle : $x_4=$
   $x_n=0,4+0,5^{n+1}$, donc $x_4=0,4+0,5^5$ $=0,4+0,03125$ $=0,43125$. Comme $-1<0,5<1$, $lim{x}_n=0,4$ : $({\pi }_n)$ converge vers $\left(\begin{array}{cc}0,4& 0,6\end{array}\right)$, la distribution invariante.
4. Plus petit entier $n$ tel que $x_n<0,401$ :
   $x_n<0,401⟺0,5^{n+1}$ $<0,001⟺2^{n+1}$ $>1000$. Or $2^9=512$ et $2^{10}=1024$, donc $n+1⩾10$, soit $n⩾9$. Vérification : $x_9=0,4+0,5^{10}\approx 0,400977$ et $x_8\approx 0,401953$.

Une chaîne de Markov à deux états a pour matrice de transition $P=\left(\begin{array}{cc}0,55& 0,45\\ b& 1-b\end{array}\right)$, où $b$ est un réel de $]0;1[$.

1. La distribution invariante a pour premier coefficient ${\displaystyle \frac{b}{0,45+b}}$. Pour $b=0,2$, il vaut (fraction irréductible)
   $\pi =\left(\begin{array}{cc}x& 1-x\end{array}\right)$ : $0,55x+b(1-x)$ $=x⟺b$ $=(0,45+b)x$ $⟺x$ $={\displaystyle \frac{b}{0,45+b}}$, car $0,45+b>0$. Pour $b=0,2$ : ${\displaystyle \frac{0,2}{0,65}}={\displaystyle \frac{4}{13}}$.
2. Valeur de $b$ pour que la distribution invariante soit $\left(\begin{array}{cc}0,4& 0,6\end{array}\right)$ : $b=$
   ${\displaystyle \frac{b}{0,45+b}}$ $=0,4⟺b$ $=0,18+0,4b$ $⟺0,6b$ $=0,18⟺b$ $=0,3$. Vérification : $0,55\times 0,4+0,3\times 0,6$ $=0,22+0,18$ $=0,4$.
3. Avec cette valeur de $b$ et ${\pi }_0=\left(\begin{array}{cc}0,1& 0,9\end{array}\right)$, premier coefficient de ${\pi }_2$ :
   ${\pi }_1=\left(\begin{array}{cc}0,1& 0,9\end{array}\right)P$ : $0,1\times 0,55+0,9\times 0,3$ $=0,055+0,27$ $=0,325$, donc ${\pi }_1=\left(\begin{array}{cc}0,325& 0,675\end{array}\right)$. Puis $0,325\times 0,55+0,675\times 0,3$ $=0,17875+0,2025$ $=0,38125$.
4. Justifier que $({\pi }_n)$ converge vers $\left(\begin{array}{cc}0,4& 0,6\end{array}\right)$. Raison de la suite arithmético-géométrique $(x_n)$ :
   $x_{n+1}=0,55x_n+0,3(1-x_n)$ $=0,25x_n+0,3$ : raison $0,25=0,55-0,3$. Comme $-1<0,25<1$, $x_n\to 0,4$ : $({\pi }_n)$ converge vers $\left(\begin{array}{cc}0,4& 0,6\end{array}\right)$, quelle que soit ${\pi }_0$ (tous les coefficients de $P$ sont strictement positifs). Les valeurs $0,325$ puis $0,38125$ montrent déjà la progression vers $0,4$.

Soit $P=\left(\begin{array}{cc}0,5& 0,5\\ 0,2& 0,8\end{array}\right)$ la matrice de transition d’une chaîne de Markov à deux états.

1. Coefficient $(1;1)$ de $P^3$ :
   $P^2=\left(\begin{array}{cc}0,35& 0,65\\ 0,26& 0,74\end{array}\right)$ (par exemple $0,5\times 0,5+0,5\times 0,2=0,35$). Puis $(P^3{)}_{11}=0,35\times 0,5+0,65\times 0,2$ $=0,175+0,13$ $=0,305$. De même $P^3=\left(\begin{array}{cc}0,305& 0,695\\ 0,278& 0,722\end{array}\right)$.
2. Premier coefficient de la distribution invariante : (fraction irréductible)
   $0,5x+0,2(1-x)$ $=x⟺0,3x+0,2$ $=x⟺0,7x$ $=0,2⟺x$ $={\displaystyle \frac{2}{7}}$. Distribution invariante : $\left(\begin{array}{cc}{\displaystyle \frac{2}{7}}& {\displaystyle \frac{5}{7}}\end{array}\right)$ $\approx \left(\begin{array}{cc}0,2857& 0,7143\end{array}\right)$.
3. Conjecturer la limite de $P^n$, puis démontrer cette conjecture. Raison de la suite $(x_n)$ des premiers coefficients :
   Rédaction attendue. Les premiers coefficients des lignes de $P$, $P^2$, $P^3$ ($0,5$ ; $0,35$ ; $0,305$ et $0,2$ ; $0,26$ ; $0,278$) se rapprochent de ${\displaystyle \frac{2}{7}}\approx 0,2857$ : on conjecture que $P^n$ tend vers $\left(\begin{array}{cc}\frac{2}{7}& \frac{5}{7}\\ \frac{2}{7}& \frac{5}{7}\end{array}\right)$. La ligne $i$ de $P^n$ est la distribution ${\pi }_n$ obtenue en partant de l’état $i$. Son premier coefficient vérifie $x_{n+1}=0,5x_n+0,2(1-x_n)$ $=0,3x_n+0,2$, donc $x_n={\displaystyle \frac{2}{7}}+(x_0-{\displaystyle \frac{2}{7}})\times 0,3^n$. Comme $-1<0,3<1$, $x_n\to {\displaystyle \frac{2}{7}}$ pour $x_0=1$ comme pour $x_0=0$ : les deux lignes de $P^n$ tendent vers $\left(\begin{array}{cc}{\displaystyle \frac{2}{7}}& {\displaystyle \frac{5}{7}}\end{array}\right)$.