مسابقة دكتوراه 2016 — Université des Sciences et de la Technologie Houari Boumediène (USTHB)

التمرين 1

Exercice 1 — Vrai/Faux (Markov, brownien, AR(1)) et martingale de l'espérance conditionnelle

#markov-chains#brownian-motion#ar1-process#conditional-expectation#martingale

A/ Les affirmations suivantes sont-elles vraies ou fausses ? Justifier chaque réponse et, lorsque l'affirmation est fausse, donner l'affirmation correcte.

Une chaîne de Markov homogène ayant une distribution stationnaire unique peut posséder des états transitoires.
Si $\{W_t\}_{t\ge0}$ est un mouvement brownien standard, alors sa variance est $V(W_t)=t^2$ .
L'espérance d'un processus autorégressif AR(1) $X_t=\phi_0+\phi_1X_{t-1}+\epsilon_t$ , avec $|\phi_1|<1$ et $\epsilon_t$ un bruit blanc centré, est égale à $\phi_0+\phi_1$ .
Le temps de séjour d'une chaîne de Markov à temps continu dans un état suit une loi exponentielle.

B/ Soit $(\Omega,\mathcal{F},P)$ un espace probabilisé et $X$ une variable aléatoire intégrable ( $E(|X|)<\infty$ ) de densité $f_X$ .

Soit $Y$ une variable aléatoire de loi exponentielle $\mathcal{E}(\lambda)$ , indépendante de $X$ , et $f_X^{*}(s)$ , $s\ge0$ , la transformée de Laplace de $X$ . Calculer $P(Y>X)$ .
Soit $\{\mathcal{A}_n\}_n$ une filtration sur $(\Omega,\mathcal{F},P)$ ( $\mathcal{A}_k\subset\mathcal{A}_{k+1}$ ) et $Y_n=E(X\mid\mathcal{A}_n)$ . Montrer que le processus $\{Y_n\}_n$ est une martingale. (Si $\mathcal{A}_n$ est engendrée par une suite $\{\xi_n\}_n$ , on peut écrire $E(X\mid\mathcal{A}_n)=E(X\mid\xi_1,\dots,\xi_n)$ .)

◀الحل

A. 1.

Vrai. Une loi stationnaire unique peut ne charger qu'une classe récurrente positive et donner une masse nulle à des états transitoires qui y mènent. Exemple : $0\to\{1,2\}$ avec $\{1,2\}$ récurrente positive ; $\pi=(0,\pi_1,\pi_2)$ est l'unique loi stationnaire et l'état $0$ est transitoire.

A. 2.

Faux. Pour un mouvement brownien standard, $W_t\sim\mathcal{N}(0,t)$ , donc

$\boxed{\ V(W_t)=t\ }$

et non $t^2$ .

A. 3.

Faux. En régime stationnaire ( $|\phi_1|<1$ ), $E[X_t]=m$ est constante ; en prenant l'espérance et comme $E[\epsilon_t]=0$ , $m=\phi_0+\phi_1 m$ , d'où

$\boxed{\ E[X_t]=\frac{\phi_0}{1-\phi_1}\ }$

et non $\phi_0+\phi_1$ .

A. 4.

Vrai. Par absence de mémoire de la chaîne à temps continu, le temps de séjour dans un état $i$ vérifie $P(T_i>s+u\mid T_i>s)=P(T_i>u)$ ; la seule loi continue sans mémoire est l'exponentielle : $T_i\sim\mathcal{E}(q_i)$ avec $q_i=-q_{ii}$ .

B. 1.

Par indépendance, en conditionnant par $X=x$ et comme $P(Y>x)=e^{-\lambda x}$ pour $x\ge0$ ,

$P(Y>X)=\int_{\mathbb{R}}P(Y>x)f_X(x)\,dx.$

Pour $X\ge0$ (cadre de la transformée de Laplace),

$P(Y>X)=\int_0^{+\infty}e^{-\lambda x}f_X(x)\,dx=E[e^{-\lambda X}]=\boxed{\ f_X^{*}(\lambda).\ }$

B. 2.

Intégrabilité : $E|Y_n|=E\big|E(X\mid\mathcal{A}_n)\big|\le E\big(E(|X|\mid\mathcal{A}_n)\big)=E|X|<\infty$ .
Adaptation : $Y_n=E(X\mid\mathcal{A}_n)$ est $\mathcal{A}_n$ -mesurable par définition.
Propriété de martingale : comme $\mathcal{A}_n\subset\mathcal{A}_{n+1}$ , la propriété de la tour donne

$E[Y_{n+1}\mid\mathcal{A}_n]=E\big[E(X\mid\mathcal{A}_{n+1})\mid\mathcal{A}_n\big]=E(X\mid\mathcal{A}_n)=Y_n.$

Donc $\{Y_n\}_n$ est une martingale (martingale de Doob-Lévy).

التمرين 2

Exercice 2 — Chaîne de Markov à trois états : irréductibilité, périodicité, récurrence et loi stationnaire

#markov-chains#irreducibility#periodicity#stationary-distribution#fundamental-matrix

Soit une chaîne de Markov homogène à trois états (notés 1, 2 et 3) de matrice de transition

$P=\begin{pmatrix} 0 & \frac{1}{3} & \frac{2}{3} \\ 1-p-q & p & q \\ \frac{3}{4} & \frac{1}{4} & 0 \end{pmatrix},\qquad p+q\le1,\ p,q\ge0.$

Pour quelles valeurs de $p$ et $q$ cette chaîne est-elle irréductible ? Quelle condition supplémentaire assure l'existence d'une distribution stationnaire ?
Étudier la périodicité de la chaîne selon les valeurs de $p$ et $q$ .
On pose $q=0$ . En supposant qu'initialement le processus est dans l'état 1, calculer la probabilité de revenir dans l'état 1 : si $p=1$ ; si $p\neq1$ . Quelle est, dans les deux cas, la nature de l'état 1 (transitoire, récurrent) ?
On suppose $q=0$ et $p=1$ . Calculer le nombre moyen de passages par l'état 3 partant de l'état 1.
Déterminer la distribution stationnaire en fonction de $p$ et $q$ .

◀الحل

1.

Les transitions toujours présentes sont $1\to2$ , $1\to3$ , $3\to1$ , $3\to2$ : ainsi $1$ et $3$ communiquent et atteignent $2$ . Il reste que l'état $2$ puisse ressortir. Depuis $2$ : vers $1$ avec probabilité $1-p-q$ , vers $3$ avec $q$ , et reste en $2$ avec $p$ . L'état $2$ est absorbant si et seulement si $p=1$ (alors $q=0$ et $1-p-q=0$ ). Si $p<1$ , alors $(1-p-q)+q=1-p>0$ , donc $2$ atteint $1$ ou $3$ , puis tout l'espace. Donc

$\boxed{\ \text{la chaîne est irréductible} \iff p<1\ (p\neq1).\ }$

Condition supplémentaire : l'espace d'états étant fini, une chaîne irréductible y est automatiquement récurrente positive ; il existe alors une unique distribution stationnaire. (Finitude $+$ irréductibilité $\Rightarrow$ récurrence positive.)

2.

L'état $1$ revient en $2$ pas via $1\to3\to1$ (car $P_{13}P_{31}=\frac23\cdot\frac34>0$ ). Il existe aussi un retour de longueur $3$ :

si $q>0$ : $1\to2\to3\to1$ ;
si $q=0$ (et $p<1$ , donc $1-p>0$ ) : $1\to3\to2\to1$ .

Dans tous les cas où la chaîne est irréductible ( $p<1$ ), il existe des retours de longueurs $2$ et $3$ , donc $d(1)=\gcd(2,3)=1$ :

$\boxed{\ \text{la chaîne est apériodique pour toutes les valeurs }(p,q)\text{ qui la rendent irréductible }(p<1).\ }$

(Si de plus $p>0$ , la boucle $2\to2$ rend directement l'état $2$ apériodique.)

3.

Avec $q=0$ , la matrice devient $P=\begin{pmatrix} 0 & \frac13 & \frac23 \\ 1-p & p & 0 \\ \frac34 & \frac14 & 0 \end{pmatrix}$ .

Cas $p=1$ : l'état $2$ est absorbant. Depuis $1$ : vers $2$ (prob $\frac13$ , jamais de retour) ou vers $3$ (prob $\frac23$ ). Depuis $3$ : vers $1$ (prob $\frac34$ , retour) ou vers $2$ (prob $\frac14$ , absorption). Donc

$f_1=P(\text{retour en }1)=\frac13\cdot0+\frac23\cdot\frac34=\frac12<1.$

$\boxed{\ p=1:\ f_1=\tfrac12,\ \text{l'état 1 est transitoire.}\ }$

Cas $p\neq1$ : la chaîne est irréductible et finie, donc récurrente positive :

$\boxed{\ p\neq1:\ f_1=1,\ \text{l'état 1 est récurrent (positif).}\ }$

4.

Avec $q=0$ , $p=1$ , les états transitoires sont $\{1,3\}$ (état $2$ absorbant). La sous-matrice des transitions entre états transitoires (ordre $1,3$ ) est

$Q=\begin{pmatrix} 0 & \frac23 \\ \frac34 & 0 \end{pmatrix},\qquad I-Q=\begin{pmatrix} 1 & -\frac23 \\ -\frac34 & 1 \end{pmatrix},\quad \det(I-Q)=1-\tfrac12=\tfrac12.$

La matrice fondamentale est

$N=(I-Q)^{-1}=2\begin{pmatrix} 1 & \frac23 \\ \frac34 & 1 \end{pmatrix}=\begin{pmatrix} 2 & \frac43 \\ \frac32 & 2 \end{pmatrix}.$

Le nombre moyen de passages par l'état $3$ partant de $1$ est le terme $N_{1,3}$ :

$\boxed{\ N_{1,3}=\frac43.\ }$

(Vérification directe : $P(\text{atteindre }3\text{ depuis }1)=\frac23$ , probabilité de retour en $3$ avant absorption $=\frac34\cdot\frac23=\frac12$ , d'où $\frac23\cdot\frac{1}{1-\frac12}=\frac43$ .)

5.

On résout $\pi P=\pi$ , $\sum_i\pi_i=1$ :

$\pi_1=(1-p-q)\pi_2+\tfrac34\pi_3,\quad \pi_2=\tfrac13\pi_1+p\pi_2+\tfrac14\pi_3,\quad \pi_3=\tfrac23\pi_1+q\pi_2.$

En posant $\Delta=4-4p-q$ , on tire $\pi_2=\dfrac{2}{\Delta}\pi_1$ et $\pi_3=\dfrac{4(2-2p+q)}{3\Delta}\pi_1$ . La normalisation fait apparaître le dénominateur $26-20p+q$ , d'où

$\boxed{\ \pi_1=\frac{3(4-4p-q)}{26-20p+q},\quad \pi_2=\frac{6}{26-20p+q},\quad \pi_3=\frac{4(2-2p+q)}{26-20p+q}.\ }$

(Contrôle pour $p=q=0$ : $\pi=\big(\tfrac{6}{13},\tfrac{3}{13},\tfrac{4}{13}\big)$ , qui vérifie bien $\pi P=\pi$ .)

التمرين 3

Exercice 3 — Processus de Poisson, superposition et Poisson composé

#poisson-process#superposition#erlang-distribution#compound-poisson#generating-function

A.

Donner une définition formelle d'un processus de Poisson $\{N(t),t\ge0\}$ de taux $\lambda$ .
Soient $\{N_1(t),t\ge0\}$ et $\{N_2(t),t\ge0\}$ deux processus de Poisson indépendants de taux respectifs $\lambda_1$ et $\lambda_2$ , et $N(t)=N_1(t)+N_2(t)$ le processus mélange. Montrer que $\{N(t),t\ge0\}$ est un processus de Poisson de taux $\lambda_1+\lambda_2$ .
Un magasin possède un stock de $Q_1$ unités d'un produit 1 et $Q_2$ unités d'un produit 2. Les deux produits sont retirés de la production et ne peuvent plus être réapprovisionnés. Les clients demandant le produit 1 arrivent selon un processus de Poisson de taux $\lambda_1$ ; indépendamment, ceux demandant le produit 2 arrivent selon un processus de Poisson de taux $\lambda_2$ . Chaque client demande une unité du produit concerné. Les deux produits servent de substitut l'un à l'autre : si un client demande un produit épuisé, il est satisfait avec l'autre produit lorsque celui-ci est disponible. a. Quelle est la loi du temps nécessaire à l'épuisement total du stock des deux produits ? b. Quelle est la probabilité que le stock du produit 1 soit épuisé avant celui du produit 2 ?

B. Soit le processus stochastique $\{X(t),t\ge0\}$ défini par

$X(t)=\sum_{i=1}^{N(t)}D_i,\qquad (1)$

où $\{N(t),t\ge0\}$ est un processus de Poisson de taux $\lambda$ et $\{D_i\}_{i\ge1}$ une suite de variables aléatoires i.i.d. positives, indépendante de $\{N(t)\}$ et de moyenne finie $\mu$ .

Calculer $E[X(t)]$ en fonction de $\lambda$ et $\mu$ (les $D_i$ étant discrètes).
On suppose les $D_i$ discrètes, de loi $a_j=P(D_1=j)$ , $j=0,1,\dots$ , et de fonction génératrice $A(z)$ . Pour $t\ge0$ , on pose $r_j(t)=P(X(t)=j)$ et $R(z,t)=\sum_{j=0}^{\infty}r_j(t)z^{j}$ , $|z|\le1$ . Montrer que $R(z,t)=e^{-\lambda t[1-A(z)]}$ .

◀الحل

A. 1.

$\{N(t),t\ge0\}$ est un processus de Poisson de taux $\lambda>0$ si c'est un processus de comptage vérifiant :

$N(0)=0$ ;
$N$ est à accroissements indépendants ;
pour tous $0\le s<t$ , $N(t)-N(s)$ suit une loi de Poisson de paramètre $\lambda(t-s)$ (accroissements stationnaires).

De façon équivalente (définition infinitésimale) : $N(0)=0$ , accroissements indépendants et stationnaires, $P(N(h)=1)=\lambda h+o(h)$ et $P(N(h)\ge2)=o(h)$ quand $h\to0^{+}$ .

A. 2.

Vérifions les axiomes pour $N=N_1+N_2$ .

$N(0)=N_1(0)+N_2(0)=0$ .
Comme $N_1$ et $N_2$ sont chacun à accroissements indépendants et sont mutuellement indépendants, $N$ est à accroissements indépendants.
Pour $0\le s<t$ , $N(t)-N(s)=\big(N_1(t)-N_1(s)\big)+\big(N_2(t)-N_2(s)\big)$ est la somme de deux variables indépendantes de lois $\mathcal{P}(\lambda_1(t-s))$ et $\mathcal{P}(\lambda_2(t-s))$ .

La somme de deux lois de Poisson indépendantes est une loi de Poisson de paramètre la somme, ce que confirme la fonction génératrice :

$e^{\lambda_1(t-s)(z-1)}\,e^{\lambda_2(t-s)(z-1)}=e^{(\lambda_1+\lambda_2)(t-s)(z-1)}.$

Donc $N(t)-N(s)\sim\mathcal{P}\big((\lambda_1+\lambda_2)(t-s)\big)$ , et

$\boxed{\ \{N(t)\}\text{ est un processus de Poisson de taux }\lambda_1+\lambda_2.\ }$

A. 3. a.

Grâce à la substitution, chaque client — quel que soit le produit demandé — consomme exactement une unité du stock total tant qu'il reste au moins une unité (les deux produits confondus). Les demandes, tous produits confondus, arrivent selon le processus mélange de taux $\lambda_1+\lambda_2$ (question A.2). L'épuisement total survient à l'instant de la $(Q_1+Q_2)$ -ème arrivée de ce processus, c'est-à-dire une somme de $Q_1+Q_2$ temps d'inter-arrivée exponentiels indépendants de taux $\lambda_1+\lambda_2$ :

$\boxed{\ T\sim\text{Erlang}\big(Q_1+Q_2,\ \lambda_1+\lambda_2\big),\ }$

de densité

$f_T(t)=\frac{(\lambda_1+\lambda_2)^{Q_1+Q_2}}{(Q_1+Q_2-1)!}\,t^{\,Q_1+Q_2-1}\,e^{-(\lambda_1+\lambda_2)t},\qquad t\ge0.$

A. 3. b.

Tant qu'aucun des deux stocks n'est épuisé, aucune substitution n'a lieu : le produit 1 ne décroît que par les demandes de type 1, et le produit 2 par celles de type 2. Le produit 1 est épuisé avant le produit 2 si et seulement si la $Q_1$ -ème arrivée de type 1 précède la $Q_2$ -ème arrivée de type 2.

Dans le processus mélange, chaque arrivée est de type 1 avec probabilité $p=\dfrac{\lambda_1}{\lambda_1+\lambda_2}$ (et de type 2 avec probabilité $1-p$ ), indépendamment. Le produit 1 s'épuise le premier si et seulement si, parmi les $Q_1+Q_2-1$ premières arrivées, on compte au moins $Q_1$ arrivées de type 1. D'où

$\boxed{\ P(\text{produit 1 épuisé avant produit 2})=\sum_{k=Q_1}^{Q_1+Q_2-1}\binom{Q_1+Q_2-1}{k}p^{k}(1-p)^{\,Q_1+Q_2-1-k},\quad p=\frac{\lambda_1}{\lambda_1+\lambda_2}.\ }$

B. 1.

$X(t)$ est un processus de Poisson composé. En conditionnant par $N(t)$ et par indépendance (identité de Wald) :

$E[X(t)]=E\!\left[\sum_{i=1}^{N(t)}D_i\right]=E[N(t)]\,E[D_1]=\lambda t\cdot\mu,$

soit

$\boxed{\ E[X(t)]=\lambda\mu\,t.\ }$

B. 2.

$R(z,t)=E\!\left[z^{X(t)}\right]$ . En conditionnant par $N(t)=n$ , comme les $D_i$ sont i.i.d. de fonction génératrice $A(z)$ et indépendantes de $N$ ,

$E\!\left[z^{X(t)}\mid N(t)=n\right]=E\!\left[z^{D_1+\dots+D_n}\right]=A(z)^{n}.$

Donc, avec $P(N(t)=n)=e^{-\lambda t}\dfrac{(\lambda t)^{n}}{n!}$ ,

$R(z,t)=\sum_{n=0}^{\infty}e^{-\lambda t}\frac{(\lambda t)^{n}}{n!}A(z)^{n}=e^{-\lambda t}\,e^{\lambda t A(z)},$

d'où

$\boxed{\ R(z,t)=e^{-\lambda t\,[\,1-A(z)\,]}.\ }$