مسابقة دكتوراه 2019 — Centre Universitaire Salhi Ahmed

التمرين 1

Exercice 1 — Estimation paramétrique : loi de Pareto, EMV, efficacité

#statistics#maximum-likelihood#pareto-distribution#efficiency

Première partie : Estimation paramétrique.

Soit $X_1,X_2,\ldots,X_n$ un échantillon issu de la loi de la variable aléatoire $X$ de densité

$f_X(x)=\begin{cases} \dfrac{1}{\theta\,x^{(1+\frac{1}{\theta})}} & \text{si } x\geq 1 \\\ 0 & \text{sinon,} \end{cases}$

où $\theta\gt 0$ .

(4 pts) Déterminer l'estimateur de maximum de vraisemblance $\widehat{\theta}_n$ de $\theta$ .
(3 pts) Calculer $\mathbb{E}(\widehat{\theta}_n)$ et $\operatorname{Var}(\widehat{\theta}_n)$ .
(3 pts) L'estimateur $\widehat{\theta}_n$ est-il sans biais ? Convergent ? Efficace ?

◀الحل

1.

$\ln f_X(x)=-\ln\theta-(1+\tfrac{1}{\theta})\ln x$ . Log-vraisemblance :

$\ell(\theta)=-n\ln\theta-\left(1+\tfrac{1}{\theta}\right)\sum_{i=1}^n\ln x_i.$

$\dfrac{d\ell}{d\theta}=-\dfrac{n}{\theta}+\dfrac{1}{\theta^2}\sum\ln x_i=0$ donne

$\boxed{\widehat{\theta}_n=\frac{1}{n}\sum_{i=1}^n\ln X_i.}$

2.

Posons $T_i=\ln X_i$ . Alors $\mathbb{P}(\ln X\gt t)=\mathbb{P}(X\gt e^t)=e^{-t/\theta}$ , donc $T_i\sim\mathcal{E}(1/\theta)$ , d'espérance $\theta$ et variance $\theta^2$ . D'où

$\mathbb{E}(\widehat{\theta}_n)=\theta,\qquad \operatorname{Var}(\widehat{\theta}_n)=\frac{\theta^2}{n}.$

3.

Sans biais ( $\mathbb{E}=\theta$ ) et convergent ( $\operatorname{Var}\to 0$ ).

Information de Fisher : $I_1(\theta)=\dfrac{1}{\theta^2}$ (modèle exponentiel de paramètre-moyenne). La borne de Cramer-Rao vaut $\dfrac{1}{nI_1(\theta)}=\dfrac{\theta^2}{n}=\operatorname{Var}(\widehat{\theta}_n)$ . L'estimateur atteint la borne : il est efficace.

التمرين 2

Exercice 2 — Estimation non-paramétrique : estimateur à noyau de la fonction de répartition

#statistics#kernel-estimation#distribution-function#almost-complete-convergence

Deuxième partie : Estimation non-paramétrique.

Soit $X$ une variable aléatoire définie sur $(\Omega,\mathcal{A},\mathbb{P})$ , à valeur dans $\mathbb{R}$ . On désigne par $F$ la fonction de répartition de $X$ , supposée $(k+1)$ -fois continûment dérivable, et par $f$ la densité, supposée strictement positive et de classe $C^k$ au voisinage de $x$ .

Étant donné $X_1,X_2,\ldots,X_n$ une suite de variables aléatoires de même loi que $X$ , l'estimateur à noyau de la fonction de répartition est

$F_n(x)=\frac{1}{n}\sum_{i=1}^n K\!\left(\frac{x-X_i}{h_n}\right),\quad \forall x\in\mathbb{R},$

où $K$ est un noyau et $h_n$ une suite de réels positifs vérifiant :

Le noyau $K$ est supposé d'ordre $k$ , intégrable, d'intégrale égale à 1, borné et positif à support compact $(0,1)$ , vérifiant : a. $\int t^j K(t)\,dt=0\ \forall j=1,\ldots,k-1$ et $0\lt\left|\int t^k K(t)\,dt\right|\lt\infty$ ; $\exists A\lt\infty$ , $\forall x_1,x_2\in\mathbb{R}$ : $|K^{(i)}(x_1)-K^{(i)}(x_2)|\leq A|x_1-x_2|$ où $i=0,1$ .
(10 pts) $\lim_{n\to+\infty}h_n=0$ et $\lim_{n\to+\infty}n^\beta h_n=\infty$ pour tout $\beta\gt 0$ . Montrer qu'on a

$|F_n(x)-F(x)|=\mathcal{O}(h_n^k)+\mathcal{O}\!\left(\sqrt{\frac{\log n}{n}}\right)\quad \text{p.co.}$

◀الحل

Décomposition biais-fluctuation

On écrit $F_n(x)-F(x)=\underbrace{\big(\mathbb{E}F_n(x)-F(x)\big)}_{\text{biais}}+\underbrace{\big(F_n(x)-\mathbb{E}F_n(x)\big)}_{\text{fluctuation}}$ .

1. Terme de biais : $\mathcal{O}(h_n^k)$

$\mathbb{E}F_n(x)=\mathbb{E}\,K\!\left(\frac{x-X}{h_n}\right)=\int K\!\left(\frac{x-u}{h_n}\right)f(u)\,du.$

Avec le changement $t=\frac{x-u}{h_n}$ et un développement de Taylor de $F$ à l'ordre $k$ , les conditions de moments du noyau ( $\int t^j K=0$ pour $j\lt k$ ) annulent les termes intermédiaires, et il reste

$\mathbb{E}F_n(x)-F(x)=\frac{h_n^k}{k!}F^{(k+1)}(x)\int t^k K(t)\,dt+o(h_n^k)=\mathcal{O}(h_n^k).$

2. Terme de fluctuation : $\mathcal{O}\!\left(\sqrt{\tfrac{\log n}{n}}\right)$ p.co.

Posons $Z_i=K\!\left(\frac{x-X_i}{h_n}\right)-\mathbb{E}K\!\left(\frac{x-X_i}{h_n}\right)$ , centrées, bornées (car $K$ borné), i.i.d. Par l'inégalité exponentielle de Bernstein/Hoeffding, pour $\varepsilon_n=\eta\sqrt{\frac{\log n}{n}}$ :

$\mathbb{P}\big(|F_n(x)-\mathbb{E}F_n(x)|\gt\varepsilon_n\big)\leq 2\exp\!\left(-C n\varepsilon_n^2\right)=2\exp(-C\eta^2\log n)=2\,n^{-C\eta^2}.$

En choisissant $\eta$ assez grand pour que $C\eta^2\gt 1$ , la série $\sum_n n^{-C\eta^2}$ converge, ce qui donne la convergence presque complète (p.co.) :

$F_n(x)-\mathbb{E}F_n(x)=\mathcal{O}\!\left(\sqrt{\frac{\log n}{n}}\right)\ \text{p.co.}$

Conclusion

En additionnant les deux contributions :

$\boxed{|F_n(x)-F(x)|=\mathcal{O}(h_n^k)+\mathcal{O}\!\left(\sqrt{\frac{\log n}{n}}\right)\ \text{p.co.}}$