مسابقة دكتوراه 2016 — Université des Sciences et de la Technologie Houari Boumediène (USTHB) — الموضوع 02

1. a.

Avec $\theta_2 = 0$, $X$ suit la loi exponentielle de densité $f_X(x) = \theta_1 e^{-\theta_1 x}\mathbf{1}_{\{x \geq 0\}}$. La vraisemblance est

$L(\theta_1) = \prod_{i=1}^{n} \theta_1 e^{-\theta_1 x_i} = \theta_1^{\,n}\, e^{-\theta_1 \sum_{i=1}^n x_i}.$

La log-vraisemblance $\ell(\theta_1) = n \ln \theta_1 - \theta_1 \sum x_i$ vérifie $\ell'(\theta_1) = \dfrac{n}{\theta_1} - \sum x_i = 0$, d'où

$\boxed{\,\widehat{\theta_1} = \frac{n}{\sum_{i=1}^n X_i} = \frac{1}{\overline{X}}.\,}$

Posons $S = \sum_{i=1}^n X_i \sim \Gamma(n, \theta_1)$. On a $\mathbb{E}[S^{-1}] = \dfrac{\theta_1}{n-1}$ et $\mathbb{E}[S^{-2}] = \dfrac{\theta_1^2}{(n-1)(n-2)}$ (pour $n \geq 3$). Donc

$\mathbb{E}[\widehat{\theta_1}] = n\,\mathbb{E}[S^{-1}] = \frac{n\,\theta_1}{n-1} \neq \theta_1 : \ \widehat{\theta_1} \text{ est biaisé.}$

$\text{Biais}(\widehat{\theta_1}) = \frac{n \theta_1}{n-1} - \theta_1 = \frac{\theta_1}{n-1}.$

Variance : $\operatorname{Var}(\widehat{\theta_1}) = n^2\left( \mathbb{E}[S^{-2}] - \mathbb{E}[S^{-1}]^2 \right) = n^2 \theta_1^2\left( \frac{1}{(n-1)(n-2)} - \frac{1}{(n-1)^2} \right) = \frac{n^2 \theta_1^2}{(n-1)^2 (n-2)}.$

Erreur quadratique moyenne :

$\operatorname{EQM}(\widehat{\theta_1}) = \operatorname{Var}(\widehat{\theta_1}) + \text{Biais}^2 = \frac{n^2 \theta_1^2}{(n-1)^2(n-2)} + \frac{\theta_1^2}{(n-1)^2}.$

$\boxed{\,\operatorname{EQM}(\widehat{\theta_1}) = \frac{\theta_1^2 (n+2)}{(n-1)(n-2)}.\,}$

1. b.

Comme $\mathbb{E}\!\left[\dfrac{n-1}{S}\right] = (n-1)\dfrac{\theta_1}{n-1} = \theta_1$, l'estimateur

$\theta_1^{*} = \frac{n-1}{\sum_{i=1}^n X_i}$

est sans biais. La loi appartient à la famille exponentielle et $S = \sum X_i$ est une statistique exhaustive et complète. Comme $\theta_1^{*}$ est une fonction de $S$ sans biais, le théorème de Lehmann-Scheffé assure que c'est l'unique estimateur sans biais de variance minimale (UVMB).

$\operatorname{Var}(\theta_1^{*}) = (n-1)^2\left( \frac{\theta_1^2}{(n-1)(n-2)} - \frac{\theta_1^2}{(n-1)^2} \right) = \frac{\theta_1^2}{n-2}.$

Information de Fisher : pour une observation $I_1(\theta_1) = \dfrac{1}{\theta_1^2}$, donc $I_n(\theta_1) = \dfrac{n}{\theta_1^2}$ et la borne de Fréchet-Darmois-Cramér-Rao vaut $\dfrac{1}{I_n(\theta_1)} = \dfrac{\theta_1^2}{n}$. Or

$\operatorname{Var}(\theta_1^{*}) = \frac{\theta_1^2}{n-2} \gt \frac{\theta_1^2}{n},$

donc $\theta_1^{*}$ n'est pas efficace (il n'atteint pas la borne FDCR), bien qu'il soit optimal parmi les estimateurs sans biais.

$\boxed{\,\theta_1^{*} = \frac{n-1}{\sum_{i=1}^n X_i}, \qquad \operatorname{Var}(\theta_1^{*}) = \frac{\theta_1^2}{n-2} \gt \frac{\theta_1^2}{n} = \text{borne FDCR}.\,}$

1. c.

On a $P_{\theta_1}(X \gt K) = \displaystyle\int_K^{+\infty} \theta_1 e^{-\theta_1 x}\,dx = e^{-\theta_1 K}$. Par le principe d'invariance de l'EMV,

$\widehat{P_{\theta_1}(X \gt K)} = e^{-\widehat{\theta_1} K} = e^{-\,nK / \sum_{i=1}^n X_i}.$

Pour l'estimateur sans biais optimal, on part de l'estimateur sans biais élémentaire $\mathbf{1}_{\{X_1 \gt K\}}$ (car $\mathbb{E}[\mathbf{1}_{\{X_1 \gt K\}}] = e^{-\theta_1 K}$) et on le conditionne par la statistique exhaustive complète $S = \sum X_i$ (Rao-Blackwell / Lehmann-Scheffé). Pour des exponentielles i.i.d., $\dfrac{X_1}{S} \sim \text{Beta}(1, n-1)$, de densité $(n-1)(1-u)^{n-2}$ sur $(0,1)$. Donc, pour $S \gt K$,

$P(X_1 \gt K \mid S) = P\!\left( \frac{X_1}{S} \gt \frac{K}{S} \right) = \int_{K/S}^{1} (n-1)(1-u)^{n-2}\,du = \left( 1 - \frac{K}{S} \right)^{n-1}.$

$\boxed{\,\psi^{*} = \left( 1 - \frac{K}{\sum_{i=1}^n X_i} \right)^{n-1}\mathbf{1}_{\{\sum X_i \gt K\}} \ \text{est l'estimateur sans biais optimal (UVMB) de } e^{-\theta_1 K}.\,}$

Il ne peut pas être efficace : un estimateur sans biais atteint la borne FDCR si et seulement s'il est une fonction affine du score, c'est-à-dire de la forme $g(\theta_1) + c(\theta_1)\big(S - \mathbb{E}[S]\big)$. Or $\psi^{*} = (1 - K/S)^{n-1}$ est une fonction non affine de $S$ ; l'égalité de Cauchy-Schwarz dans l'inégalité FDCR ne peut donc pas être atteinte pour $e^{-\theta_1 K}$.

2.

Car $X - \theta_2 \sim \mathcal{E}(\theta_1)$, on a $\mathbb{E}[X] = \theta_2 + \dfrac{1}{\theta_1}$ et $\operatorname{Var}(X) = \dfrac{1}{\theta_1^2}$.

Méthode des moments. On égale les moments théoriques aux moments empiriques :

$\overline{X} = \theta_2 + \frac{1}{\theta_1}, \qquad S_n^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \overline{X})^2 = \frac{1}{\theta_1^2}.$

D'où $\dfrac{1}{\theta_1} = S_n$, puis

$\boxed{\,\widetilde{\theta_1} = \frac{1}{S_n}, \qquad \widetilde{\theta_2} = \overline{X} - S_n.\,}$

Méthode du maximum de vraisemblance. La vraisemblance est

$L(\theta_1, \theta_2) = \theta_1^{\,n}\, e^{-\theta_1 \sum_{i=1}^n (x_i - \theta_2)}\,\mathbf{1}_{\{\theta_2 \leq x_{(1)}\}}, \qquad x_{(1)} = \min_i x_i.$

À $\theta_1 \gt 0$ fixé, $L$ est croissante en $\theta_2$ (le facteur $e^{n \theta_1 \theta_2}$ croît) sous la contrainte $\theta_2 \leq x_{(1)}$, donc $\widehat{\theta_2} = x_{(1)}$. En remplaçant puis en annulant $\partial_{\theta_1} \ell$ :

$\boxed{\,\widehat{\theta_2} = X_{(1)} = \min_i X_i, \qquad \widehat{\theta_1} = \frac{n}{\sum_{i=1}^n X_i - n X_{(1)}} = \frac{1}{\overline{X} - X_{(1)}}.\,}$

3. a.

Avec $\theta_1 = 1$, les $X_i - \theta_2 \sim \mathcal{E}(1)$ sont i.i.d. et $\widehat{\theta_2} = X_{(1)}$. Alors

$\widehat{\theta_2} - \theta_2 = \min_i (X_i - \theta_2) \sim \mathcal{E}(n),$

car le minimum de $n$ exponentielles $\mathcal{E}(1)$ indépendantes est une $\mathcal{E}(n)$ (densité $n e^{-n t}\mathbf{1}_{\{t \geq 0\}}$). Ainsi $n(\widehat{\theta_2} - \theta_2) \sim \mathcal{E}(1)$ et

$2n(\widehat{\theta_2} - \theta_2) \sim \mathcal{E}\!\left(\tfrac{1}{2}\right) = \chi_2^2 \quad (\text{loi exacte, pour tout } n).$

En effet la $\chi_2^2$ est exactement l'exponentielle de moyenne $2$. Soient $q_{\alpha/2}$ et $q_{1-\alpha/2}$ les quantiles d'ordre $\alpha/2$ et $1 - \alpha/2$ de la loi $\chi_2^2$ ; alors $P\big(q_{\alpha/2} \leq 2n(\widehat{\theta_2} - \theta_2) \leq q_{1-\alpha/2}\big) = 1 - \alpha$, ce qui donne (en notant $\widehat{\theta_2} \geq \theta_2$) :

$\boxed{\,\theta_2 \in \left[\, \widehat{\theta_2} - \frac{q_{1-\alpha/2}}{2n},\ \widehat{\theta_2} - \frac{q_{\alpha/2}}{2n} \,\right].\,}$

Comme $q_{\beta} = -2\ln(1 - \beta)$ pour la $\chi_2^2$, l'intervalle s'écrit explicitement

$\theta_2 \in \left[\, \widehat{\theta_2} + \frac{\ln(\alpha/2)}{n},\ \widehat{\theta_2} + \frac{\ln(1 - \alpha/2)}{n} \,\right].$

3. b.

Comme $\widehat{\theta_2} - \theta_2 \sim \mathcal{E}(n)$, la condition $P(a \lt \widehat{\theta_2} - \theta_2 \lt b) = 1 - \alpha$ s'écrit

$e^{-na} - e^{-nb} = 1 - \alpha,$

et l'événement $a \lt \widehat{\theta_2} - \theta_2 \lt b$ équivaut à $\widehat{\theta_2} - b \lt \theta_2 \lt \widehat{\theta_2} - a$. D'où l'intervalle de confiance

$\theta_2 \in \big(\, \widehat{\theta_2} - b,\ \widehat{\theta_2} - a \,\big), \qquad \text{de longueur } \ell = b - a.$

On exprime $b$ en fonction de $a$ : $b = -\dfrac{1}{n}\ln\!\big(e^{-na} - (1 - \alpha)\big)$. Alors

$\frac{d\ell}{da} = \frac{db}{da} - 1 = \frac{e^{-na}}{e^{-na} - (1 - \alpha)} - 1 = \frac{1 - \alpha}{e^{-na} - (1 - \alpha)} \gt 0,$

donc $\ell$ est strictement croissante en $a$ : la longueur est minimale pour la plus petite valeur admissible $a = 0$, ce qui donne $e^{-nb} = \alpha$, soit $b = \dfrac{1}{n}\ln\dfrac{1}{\alpha}$.

$\boxed{\,\theta_2 \in \left(\, \widehat{\theta_2} - \frac{1}{n}\ln\frac{1}{\alpha},\ \widehat{\theta_2} \,\right], \qquad \text{longueur minimale } \ell_{\min} = \frac{1}{n}\ln\frac{1}{\alpha}.\,}$

Cet intervalle unilatéral est naturel puisque $\theta_2 \leq \widehat{\theta_2}$ presque sûrement.

On pose $T = \displaystyle\sum_{i=1}^n i X_i$ et $S_2 = \displaystyle\sum_{i=1}^n i^2 = \frac{n(n+1)(2n+1)}{6}$.

1.

$T$ est une combinaison linéaire de variables normales indépendantes, donc reste normale, avec

$\mathbb{E}[T] = \sum_{i=1}^n i\,\mathbb{E}[X_i] = \sum_{i=1}^n i \cdot i\theta = \theta \sum_{i=1}^n i^2 = \theta\, S_2,$

$\operatorname{Var}(T) = \sum_{i=1}^n i^2 \operatorname{Var}(X_i) = \sum_{i=1}^n i^2 = S_2.$

$\boxed{\,T = \sum_{i=1}^n i X_i \sim \mathcal{N}\big(\theta\, S_2,\ S_2\big), \qquad S_2 = \frac{n(n+1)(2n+1)}{6}.\,}$

2.

La densité conjointe est $f_\theta(x) \propto \exp\!\left( -\tfrac{1}{2}\sum_{i=1}^n (x_i - i\theta)^2 \right)$. Le rapport de vraisemblance de Neyman-Pearson vaut

$\frac{f_{\theta_1}(x)}{f_{\theta_0}(x)} = \exp\!\left( -\tfrac{1}{2}\sum_i (x_i - i\theta_1)^2 + \tfrac{1}{2}\sum_i (x_i - i\theta_0)^2 \right) = \exp\!\left( (\theta_1 - \theta_0)\sum_i i x_i - \tfrac{1}{2}(\theta_1^2 - \theta_0^2) S_2 \right).$

Comme $\theta_1 - \theta_0 \gt 0$, ce rapport est une fonction strictement croissante de $T = \sum i x_i$. D'après le lemme de Neyman-Pearson, le test le plus puissant rejette $H_0$ pour les grandes valeurs du rapport, c'est-à-dire

$C = \left\{ \sum_{i=1}^n i x_i \gt K \right\}.$

Détermination de $K$ (niveau $\alpha$). Sous $H_0$, $T \sim \mathcal{N}(\theta_0 S_2, S_2)$, donc

$\alpha = P_{\theta_0}(T \gt K) = 1 - \Phi\!\left( \frac{K - \theta_0 S_2}{\sqrt{S_2}} \right) \ \Longrightarrow\ \boxed{\,K = \theta_0 S_2 + z_{1-\alpha}\sqrt{S_2},\,}$

où $z_{1-\alpha} = \Phi^{-1}(1 - \alpha)$. Le test le plus puissant rejette $H_0$ si $\dfrac{T - \theta_0 S_2}{\sqrt{S_2}} \gt z_{1-\alpha}$.

Puissance. Sous $H_1$, $T \sim \mathcal{N}(\theta_1 S_2, S_2)$, donc

$\pi = P_{\theta_1}(T \gt K) = 1 - \Phi\!\left( \frac{K - \theta_1 S_2}{\sqrt{S_2}} \right) = 1 - \Phi\!\big( z_{1-\alpha} - (\theta_1 - \theta_0)\sqrt{S_2} \big).$

$\boxed{\,\pi = \Phi\!\big( (\theta_1 - \theta_0)\sqrt{S_2} - z_{1-\alpha} \big), \qquad \sqrt{S_2} = \sqrt{\tfrac{n(n+1)(2n+1)}{6}}.\,}$

Comme $S_2 \to +\infty$, la puissance tend vers $1$ : le test est convergent.

3.

Pour l'alternative bilatérale "$\theta \neq \theta_0$", on centre la statistique sur son espérance sous $H_0$, à savoir $\mathbb{E}_{H_0}[T] = \theta_0 S_2$ (l'énoncé écrit $\theta_0$ pour $\theta_0 S_2$). La région critique est

$C_1 = \left\{ \left| \sum_{i=1}^n i x_i - \theta_0 S_2 \right| \gt K_1 \right\}.$

Sous $H_0$, $\dfrac{T - \theta_0 S_2}{\sqrt{S_2}} \sim \mathcal{N}(0, 1)$, donc pour un niveau $\alpha$ :

$\alpha = P_{\theta_0}\!\big( |T - \theta_0 S_2| \gt K_1 \big) = 2\left( 1 - \Phi\!\left( \frac{K_1}{\sqrt{S_2}} \right) \right) \ \Longrightarrow\ \frac{K_1}{\sqrt{S_2}} = z_{1 - \alpha/2}.$

$\boxed{\,K_1 = z_{1 - \alpha/2}\,\sqrt{S_2} = \Phi^{-1}\!\left( 1 - \tfrac{\alpha}{2} \right)\sqrt{\tfrac{n(n+1)(2n+1)}{6}}.\,}$