📚 الرئيسية
دخول

مسابقة دكتوراه 2025 — Centre Universitaire Salhi Ahmed - Naâma — الموضوع 02

مسابقة تخصص · Probabilités & Statistiques

⬇️ تحميل☆ حفظ

Concours national d'accès à la formation doctorale (Doctorat 3ème cycle), année universitaire 2024-2025, Centre Universitaire Salhi Ahmed - Naâma, Épreuve N°2 : examen de la matière de spécialité « Probabilités et Statistiques », composée de trois exercices (4, 8 et 8 points).

التمرين 1

Exercice 1 — Loi conditionnelle et régression de deux lois de Poisson

#probability#poisson-distribution#conditional-distribution#binomial-distribution#regression-function

Soient XX et YY deux variables aléatoires indépendantes de lois de Poisson de paramètres respectifs λ\lambda et μ\mu.

  1. (2 pts) Déterminer la loi conditionnelle de XX lorsque la somme S=X+YS=X+Y a une valeur fixée S=sS=s.
  2. (2 pts) En déduire l'expression de la fonction de régression de XX sur SS, puis la valeur de E[X∣S]\mathbb{E}[X\mid S].
◀الحل

1. Loi conditionnelle de XX sachant S=sS=s

Comme XX et YY sont indépendantes et suivent des lois de Poisson, leur somme S=X+YS=X+Y suit une loi de Poisson de paramètre λ+μ\lambda+\mu :

P(S=s)=e−(λ+μ)(λ+μ)ss!.\mathbb{P}(S=s)=e^{-(\lambda+\mu)}\frac{(\lambda+\mu)^s}{s!}.

Pour 0≤k≤s0\le k\le s :

P(X=k∣S=s)=P(X=k,  Y=s−k)P(S=s)=P(X=k) P(Y=s−k)P(S=s).\mathbb{P}(X=k\mid S=s)=\frac{\mathbb{P}(X=k,\;Y=s-k)}{\mathbb{P}(S=s)}=\frac{\mathbb{P}(X=k)\,\mathbb{P}(Y=s-k)}{\mathbb{P}(S=s)}.

En remplaçant :

P(X=k∣S=s)=e−λλkk! e−μμs−k(s−k)!e−(λ+μ)(λ+μ)ss!=(sk)(λλ+μ)k(μλ+μ)s−k.\mathbb{P}(X=k\mid S=s)=\frac{e^{-\lambda}\frac{\lambda^k}{k!}\,e^{-\mu}\frac{\mu^{s-k}}{(s-k)!}}{e^{-(\lambda+\mu)}\frac{(\lambda+\mu)^s}{s!}}=\binom{s}{k}\left(\frac{\lambda}{\lambda+\mu}\right)^k\left(\frac{\mu}{\lambda+\mu}\right)^{s-k}.

Donc, conditionnellement à S=sS=s, XX suit une loi binomiale :

 X∣S=s ∼ B ⁣(s, p=λλ+μ).\boxed{\,X\mid S=s\ \sim\ \mathcal{B}\!\left(s,\ p=\frac{\lambda}{\lambda+\mu}\right).}

2. Fonction de régression et E[X∣S]\mathbb{E}[X\mid S]

L'espérance d'une loi binomiale B(s,p)\mathcal{B}(s,p) vaut spsp, donc la fonction de régression est :

E[X∣S=s]=s λλ+μ.\mathbb{E}[X\mid S=s]=s\,\frac{\lambda}{\lambda+\mu}.

En tant que variable aléatoire :

 E[X∣S]=λλ+μ S.\boxed{\,\mathbb{E}[X\mid S]=\frac{\lambda}{\lambda+\mu}\,S.}

التمرين 2

Exercice 2 — Inférence bayésienne : loi a posteriori et densité prédictive (modèle exponentiel)

#bayesian-inference#posterior-distribution#gamma-distribution#predictive-density#exponential-law

Soit Y1,Y2,…,YnY_1,Y_2,\dots,Y_n une suite de variables aléatoires indépendantes et identiquement distribuées, de densité de probabilité

f(y∣λ)={λe−λy,y>00,sinonf(y\mid\lambda)=\begin{cases}\lambda e^{-\lambda y}, & y\gt 0\\ 0, & \text{sinon}\end{cases}

où λ\lambda est un paramètre inconnu strictement positif, muni d'une loi a priori gamma(m,β)\text{gamma}(m,\beta).

  1. (3 pts) Montrer que la loi a posteriori de λ\lambda sachant Y1=y1,…,Yn=ynY_1=y_1,\dots,Y_n=y_n est gamma(n+m,β+t)\text{gamma}(n+m,\beta+t), où t=∑i=1nyit=\sum_{i=1}^n y_i.
  2. (3 pts) Montrer que la densité prédictive de Yn+1Y_{n+1} sachant les nn observations Y1=y1,…,Yn=ynY_1=y_1,\dots,Y_n=y_n est π(yn+1∣y1,…,yn)=(n+m)(β+t)n+m(yn+1+β+t)n+m+1.\pi(y_{n+1}\mid y_1,\dots,y_n)=\frac{(n+m)(\beta+t)^{n+m}}{(y_{n+1}+\beta+t)^{n+m+1}}.
  3. (2 pts) Trouver la densité conjointe prédictive de Yn+1Y_{n+1} et Yn+2Y_{n+2} sachant Y1=y1,…,Yn=ynY_1=y_1,\dots,Y_n=y_n.
◀الحل

Rappel : loi Gamma

On utilise la paramétrisation en taux : λ∼gamma(a,θ)\lambda\sim\text{gamma}(a,\theta) a pour densité

π(λ)=θaΓ(a)λa−1e−θλ,λ>0.\pi(\lambda)=\frac{\theta^{a}}{\Gamma(a)}\lambda^{a-1}e^{-\theta\lambda},\qquad \lambda\gt 0.

1. Loi a posteriori

La vraisemblance de l'échantillon est

L(λ)=∏i=1nλe−λyi=λne−λt,t=∑i=1nyi.L(\lambda)=\prod_{i=1}^n \lambda e^{-\lambda y_i}=\lambda^{n}e^{-\lambda t},\qquad t=\sum_{i=1}^n y_i.

La loi a priori vérifie π(λ)∝λm−1e−βλ\pi(\lambda)\propto \lambda^{m-1}e^{-\beta\lambda}. Par la formule de Bayes :

π(λ∣y1,…,yn)∝L(λ) π(λ)∝λne−λt λm−1e−βλ=λ(n+m)−1e−(β+t)λ.\pi(\lambda\mid y_1,\dots,y_n)\propto L(\lambda)\,\pi(\lambda)\propto \lambda^{n}e^{-\lambda t}\,\lambda^{m-1}e^{-\beta\lambda}=\lambda^{(n+m)-1}e^{-(\beta+t)\lambda}.

On reconnaît le noyau d'une loi Gamma de paramètres n+mn+m et β+t\beta+t :

 λ∣y1,…,yn ∼ gamma(n+m, β+t).\boxed{\,\lambda\mid y_1,\dots,y_n\ \sim\ \text{gamma}(n+m,\ \beta+t).}

2. Densité prédictive de Yn+1Y_{n+1}

π(yn+1∣y1,…,yn)=∫0+∞f(yn+1∣λ) π(λ∣y1,…,yn) dλ.\pi(y_{n+1}\mid y_1,\dots,y_n)=\int_0^{+\infty} f(y_{n+1}\mid\lambda)\,\pi(\lambda\mid y_1,\dots,y_n)\,d\lambda.

Avec π(λ∣⋅)=(β+t)n+mΓ(n+m)λn+m−1e−(β+t)λ\pi(\lambda\mid\cdot)=\dfrac{(\beta+t)^{n+m}}{\Gamma(n+m)}\lambda^{n+m-1}e^{-(\beta+t)\lambda} :

π(yn+1∣⋅)=(β+t)n+mΓ(n+m)∫0+∞λn+me−(yn+1+β+t)λ dλ.\pi(y_{n+1}\mid\cdot)=\frac{(\beta+t)^{n+m}}{\Gamma(n+m)}\int_0^{+\infty}\lambda^{n+m}e^{-(y_{n+1}+\beta+t)\lambda}\,d\lambda.

Or ∫0+∞λae−cλ dλ=Γ(a+1)ca+1\int_0^{+\infty}\lambda^{a}e^{-c\lambda}\,d\lambda=\dfrac{\Gamma(a+1)}{c^{a+1}}, donc avec a=n+ma=n+m et c=yn+1+β+tc=y_{n+1}+\beta+t :

π(yn+1∣⋅)=(β+t)n+mΓ(n+m)⋅Γ(n+m+1)(yn+1+β+t)n+m+1.\pi(y_{n+1}\mid\cdot)=\frac{(\beta+t)^{n+m}}{\Gamma(n+m)}\cdot\frac{\Gamma(n+m+1)}{(y_{n+1}+\beta+t)^{n+m+1}}.

Comme Γ(n+m+1)Γ(n+m)=n+m\dfrac{\Gamma(n+m+1)}{\Gamma(n+m)}=n+m :

 π(yn+1∣y1,…,yn)=(n+m)(β+t)n+m(yn+1+β+t)n+m+1.\boxed{\,\pi(y_{n+1}\mid y_1,\dots,y_n)=\frac{(n+m)(\beta+t)^{n+m}}{(y_{n+1}+\beta+t)^{n+m+1}}.}

3. Densité conjointe prédictive de Yn+1Y_{n+1} et Yn+2Y_{n+2}

Conditionnellement à λ\lambda, Yn+1Y_{n+1} et Yn+2Y_{n+2} sont indépendantes, donc

π(yn+1,yn+2∣⋅)=∫0+∞λe−λyn+1 λe−λyn+2 π(λ∣⋅) dλ.\pi(y_{n+1},y_{n+2}\mid\cdot)=\int_0^{+\infty}\lambda e^{-\lambda y_{n+1}}\,\lambda e^{-\lambda y_{n+2}}\,\pi(\lambda\mid\cdot)\,d\lambda.

=(β+t)n+mΓ(n+m)∫0+∞λn+m+1e−(yn+1+yn+2+β+t)λ dλ.=\frac{(\beta+t)^{n+m}}{\Gamma(n+m)}\int_0^{+\infty}\lambda^{n+m+1}e^{-(y_{n+1}+y_{n+2}+\beta+t)\lambda}\,d\lambda.

Avec Γ(n+m+2)Γ(n+m)=(n+m)(n+m+1)\dfrac{\Gamma(n+m+2)}{\Gamma(n+m)}=(n+m)(n+m+1) :

 π(yn+1,yn+2∣y1,…,yn)=(n+m)(n+m+1)(β+t)n+m(yn+1+yn+2+β+t)n+m+2.\boxed{\,\pi(y_{n+1},y_{n+2}\mid y_1,\dots,y_n)=\frac{(n+m)(n+m+1)(\beta+t)^{n+m}}{(y_{n+1}+y_{n+2}+\beta+t)^{n+m+2}}.}

التمرين 3

Exercice 3 — Estimation du paramètre d'une loi de Poisson (moments, MV, Fisher, efficacité)

#statistics#poisson-distribution#maximum-likelihood#method-of-moments#fisher-information

On extrait un nn-échantillon X1,…,XnX_1,\dots,X_n du modèle XX de Poisson de paramètre λ\lambda :

X∼P(λ)  ⟺  P(X=k)=e−λλkk!,∀k∈N.X\sim\mathcal{P}(\lambda)\iff \mathbb{P}(X=k)=e^{-\lambda}\frac{\lambda^k}{k!},\quad \forall k\in\mathbb{N}.

  1. Calculer E(X)\mathbb{E}(X) et Var(X)\text{Var}(X).
  2. Donner la fonction de vraisemblance de l'échantillon.
  3. Calculer λ^MM\hat\lambda_{MM} (l'estimateur de λ\lambda par la méthode des moments).
  4. Vérifier qu'il s'agit bien de λ^MV\hat\lambda_{MV} (l'estimateur par la méthode du maximum de vraisemblance) du paramètre λ\lambda.
  5. Calculer le biais de cet estimateur. Est-il sans biais ? Est-il asymptotiquement sans biais ?
  6. Est-il convergent ?
  7. Calculer le score.
  8. Calculer la quantité d'information de Fisher apportée par l'échantillon sur le paramètre λ\lambda.
  9. Est-il efficace ?
◀الحل

1. Espérance et variance

Pour une loi de Poisson de paramètre λ\lambda :

E(X)=λ,Var(X)=λ.\boxed{\mathbb{E}(X)=\lambda,\qquad \text{Var}(X)=\lambda.}

2. Fonction de vraisemblance

L(λ)=∏i=1ne−λλxixi!=e−nλ λ∑i=1nxi∏i=1nxi!.L(\lambda)=\prod_{i=1}^n e^{-\lambda}\frac{\lambda^{x_i}}{x_i!}=e^{-n\lambda}\,\frac{\lambda^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i!}.

3. Estimateur par la méthode des moments

Le moment théorique d'ordre 1 est E(X)=λ\mathbb{E}(X)=\lambda. On l'égale au moment empirique X‾n\overline{X}_n :

λ^MM=X‾n=1n∑i=1nXi.\boxed{\hat\lambda_{MM}=\overline{X}_n=\frac{1}{n}\sum_{i=1}^n X_i.}

4. Estimateur du maximum de vraisemblance

Log-vraisemblance :

ℓ(λ)=ln⁡L(λ)=−nλ+(∑i=1nxi)ln⁡λ−ln⁡(∏i=1nxi!).\ell(\lambda)=\ln L(\lambda)=-n\lambda+\Big(\sum_{i=1}^n x_i\Big)\ln\lambda-\ln\Big(\prod_{i=1}^n x_i!\Big).

Équation de vraisemblance :

ℓ′(λ)=−n+∑i=1nxiλ=0 ⟹ λ=X‾n.\ell'(\lambda)=-n+\frac{\sum_{i=1}^n x_i}{\lambda}=0\ \Longrightarrow\ \lambda=\overline{X}_n.

Comme ℓ′′(λ)=−∑xiλ2<0\ell''(\lambda)=-\dfrac{\sum x_i}{\lambda^2}\lt 0, c'est bien un maximum. Donc

λ^MV=X‾n=λ^MM.\boxed{\hat\lambda_{MV}=\overline{X}_n=\hat\lambda_{MM}.}

5. Biais

E(λ^MV)=E(X‾n)=1n∑i=1nE(Xi)=λ.\mathbb{E}(\hat\lambda_{MV})=\mathbb{E}(\overline{X}_n)=\frac{1}{n}\sum_{i=1}^n\mathbb{E}(X_i)=\lambda.

Le biais est donc b(λ^)=E(λ^)−λ=0b(\hat\lambda)=\mathbb{E}(\hat\lambda)-\lambda=0 : l'estimateur est sans biais, donc a fortiori asymptotiquement sans biais.

6. Convergence

Var(λ^MV)=Var(X‾n)=Var(X)n=λn→n→+∞0.\text{Var}(\hat\lambda_{MV})=\text{Var}(\overline{X}_n)=\frac{\text{Var}(X)}{n}=\frac{\lambda}{n}\xrightarrow[n\to+\infty]{}0.

Étant sans biais avec une variance qui tend vers 00, l'estimateur converge en moyenne quadratique, donc en probabilité : il est convergent (consistant).

7. Score

Le score est la dérivée de la log-vraisemblance par rapport à λ\lambda :

Un(λ)=∂ℓ∂λ=−n+∑i=1nXiλ=n(X‾n−λ)λ.\boxed{U_n(\lambda)=\frac{\partial \ell}{\partial\lambda}=-n+\frac{\sum_{i=1}^n X_i}{\lambda}=\frac{n(\overline{X}_n-\lambda)}{\lambda}.}

8. Information de Fisher

In(λ)=−E ⁣[∂2ℓ∂λ2]=−E ⁣[−∑i=1nXiλ2]=∑i=1nE(Xi)λ2=nλλ2.I_n(\lambda)=-\mathbb{E}\!\left[\frac{\partial^2\ell}{\partial\lambda^2}\right]=-\mathbb{E}\!\left[-\frac{\sum_{i=1}^n X_i}{\lambda^2}\right]=\frac{\sum_{i=1}^n\mathbb{E}(X_i)}{\lambda^2}=\frac{n\lambda}{\lambda^2}.

In(λ)=nλ.\boxed{I_n(\lambda)=\frac{n}{\lambda}.}

9. Efficacité

La borne de Cramér-Rao vaut 1In(λ)=λn\dfrac{1}{I_n(\lambda)}=\dfrac{\lambda}{n}. Or Var(λ^MV)=λn\text{Var}(\hat\lambda_{MV})=\dfrac{\lambda}{n} atteint exactement cette borne :

Var(λ^MV)=λn=1In(λ) ⇒ λ^MV est efficace.\boxed{\text{Var}(\hat\lambda_{MV})=\frac{\lambda}{n}=\frac{1}{I_n(\lambda)}\ \Rightarrow\ \hat\lambda_{MV}\text{ est efficace}.}