Partie I

Considérons $(X_n)_{n\ge0}$ une chaîne de Markov à trois états

$$\{0,1,2\},$$

de matrice de transition

$$P= \begin{pmatrix} 1 & 0 & 0\\ \alpha & \beta & \gamma\\ 0 & 0 & 1 \end{pmatrix},$$

où

$$\alpha,\beta,\gamma>0, \qquad \alpha+\beta+\gamma=1.$$

1. Tracer le graphe de transition associé à la chaîne de Markov $(X_n)_{n\ge0}$.

2. Donner la classification et la nature des états de la chaîne de Markov $(X_n)_{n\ge0}$.

3. Montrer que

$$P_{11}^{(n)}=\beta^n.$$

4. Montrer que l'état $1$ est transitoire.

5. Soit

$$T=\inf\{n>0:\ X_n=0\ \text{ou}\ X_n=2\},$$

le temps d'absorption dans l'un des deux états absorbants.

Calculer

$$E(T\mid X_0=1).$$

6. Soient

$$T_0=\inf\{n>0:\ X_n=0\}$$

et

$$T_2=\inf\{n>0:\ X_n=2\},$$

les temps d'absorption dans les états $0$ et $2$ respectivement.

Calculer

$$P(T_0<T_2\mid X_0=1).$$

Partie II

(Les deux parties sont indépendantes.)

1. Montrer que toute chaîne de Markov définie sur un espace d'états fini $E$ possède au moins une classe de communication récurrente.

2. Ce résultat reste-t-il vrai lorsque l'espace d'états $E$ est infini ? Justifier la réponse.