مسابقة دكتوراه 2018 — Université Mouloud Mammeri - Tizi Ouzou — الموضوع 01

Notons $\theta = 1/\lambda$. La densité de $X$ en fonction de $\theta$ est $f(x;\theta) = \frac{1}{\theta}e^{-x/\theta} \mathbb{I}_{\{x \ge 0\}}$. On a $E[X] = \theta$ et $\text{Var}(X) = \theta^2$. L'énoncé utilise la notation $\hat{\lambda}_1$ et $\hat{\lambda}_2$ pour des estimateurs de $1/\lambda = \theta$. Pour éviter la confusion, nous les noterons $\hat{\theta}_1$ et $\hat{\theta}_2$.

1. Estimateur du maximum de vraisemblance de $\theta = 1/\lambda$

La fonction de vraisemblance pour un échantillon $(x_1, \dots, x_n)$ est : $L(\theta; x_1, \dots, x_n) = \prod_{i=1}^n \frac{1}{\theta} e^{-x_i/\theta} = \frac{1}{\theta^n} \exp\left(-\frac{1}{\theta}\sum_{i=1}^n x_i\right)$ La log-vraisemblance est : $\ln L(\theta) = -n \ln \theta - \frac{1}{\theta} \sum_{i=1}^n x_i$ On dérive par rapport à $\theta$ et on égale à zéro pour trouver le maximum : $\frac{d \ln L}{d\theta} = -\frac{n}{\theta} + \frac{1}{\theta^2} \sum_{i=1}^n x_i = 0$ $\frac{1}{\theta^2} \sum_{i=1}^n x_i = \frac{n}{\theta} \implies \hat{\theta} = \frac{1}{n} \sum_{i=1}^n x_i = \bar{X}$ L'estimateur du maximum de vraisemblance de $\theta=1/\lambda$ est donc $\hat{\theta}_1 = \bar{X}$.

Biais de $\hat{\theta}_1$: L'espérance de l'estimateur est : $E[\hat{\theta}_1] = E[\bar{X}] = E\left[\frac{1}{n}\sum_{i=1}^n X_i\right] = \frac{1}{n} \sum_{i=1}^n E[X_i] = \frac{1}{n} \cdot n E[X] = E[X] = \frac{1}{\lambda} = \theta$ Comme $E[\hat{\theta}_1] = \theta$, l'estimateur $\hat{\theta}_1$ est sans biais pour $\theta$.

Consistance de $\hat{\theta}_1$: D'après la loi faible des grands nombres, la moyenne empirique $\bar{X}$ converge en probabilité vers l'espérance de la variable aléatoire $X$ lorsque $n \to \infty$. $\bar{X} \xrightarrow[n \to \infty]{P} E[X] = \theta$ Donc, $\hat{\theta}_1$ est un estimateur consistant de $\theta$.

\boxed{\hat{\lambda}_1 = \bar{X}, \text{ il est sans biais et consistant pour } 1/\lambda.}

2. Étude de l'estimateur $\hat{\lambda}_2 = nK$

L'énoncé le note $\hat{\lambda}_2$, nous l'appelons $\hat{\theta}_2 = nK$ où $K = \min(X_1, \dots, X_n)$.

Loi de $K$: Soit $k > 0$. La fonction de répartition de $K$ est $F_K(k) = P(K \le k) = 1 - P(K > k)$. $P(K > k) = P(\min(X_i) > k) = P(X_1 > k, \dots, X_n > k)$ Les $X_i$ sont i.i.d., donc : $P(K > k) = \prod_{i=1}^n P(X_i > k) = (P(X > k))^n$ Pour une loi exponentielle de paramètre $\lambda$, $P(X>k) = \int_k^{\infty} \lambda e^{-\lambda x} dx = [-e^{-\lambda x}]_k^{\infty} = e^{-\lambda k}$. $P(K > k) = (e^{-\lambda k})^n = e^{-n\lambda k}$ Cette fonction de survie est celle d'une loi exponentielle de paramètre $n\lambda$. Donc, $K \sim \mathcal{E}(n\lambda)$.

Biais de $\hat{\theta}_2$: $E[K] = \frac{1}{n\lambda}$. $E[\hat{\theta}_2] = E[nK] = n E[K] = n \cdot \frac{1}{n\lambda} = \frac{1}{\lambda} = \theta$ L'estimateur $\hat{\theta}_2$ est donc sans biais pour $\theta$.

Consistance de $\hat{\theta}_2$: Un estimateur est consistant si sa variance tend vers 0 quand $n \to \infty$. La variance de $K$ est $\text{Var}(K) = \frac{1}{(n\lambda)^2}$. $\text{Var}(\hat{\theta}_2) = \text{Var}(nK) = n^2 \text{Var}(K) = n^2 \frac{1}{(n\lambda)^2} = \frac{1}{\lambda^2} = \theta^2$ La variance de $\hat{\theta}_2$ est constante et ne tend pas vers 0 lorsque $n \to \infty$. Donc, $\hat{\theta}_2$ n'est pas un estimateur consistant.

\boxed{K \sim \mathcal{E}(n\lambda). \text{ L'estimateur } \hat{\lambda}_2=nK \text{ est sans biais pour } 1/\lambda \text{ mais non-consistant.}}

3. Comparaison de $\hat{\theta}_1$ et $\hat{\theta}_2$

Les deux estimateurs sont sans biais pour $\theta=1/\lambda$. On les compare donc sur la base de leurs variances (efficacité). Variance de $\hat{\theta}_1 = \bar{X}$ : $\text{Var}(\hat{\theta}_1) = \text{Var}(\bar{X}) = \frac{\text{Var}(X)}{n} = \frac{1/\lambda^2}{n} = \frac{\theta^2}{n}$ Variance de $\hat{\theta}_2 = nK$ : $\text{Var}(\hat{\theta}_2) = \frac{1}{\lambda^2} = \theta^2$ Pour $n > 1$, on a $\frac{\theta^2}{n} < \theta^2$, donc $\text{Var}(\hat{\theta}_1) < \text{Var}(\hat{\theta}_2)$. L'estimateur $\hat{\theta}_1 = \bar{X}$ est plus efficace que $\hat{\theta}_2 = nK$.

\boxed{\text{Pour } n>1, \text{Var}(\hat{\lambda}_1) = \frac{1}{n\lambda^2} \lt \text{Var}(\hat{\lambda}_2) = \frac{1}{\lambda^2}, \text{ donc } \hat{\lambda}_1 \text{ est plus efficace.}}

4. Test d'hypothèse

On veut tester $H_0: \lambda = \lambda_0$ contre $H_1: \lambda > \lambda_0$ au seuil $\alpha$. La famille des lois exponentielles est une famille exponentielle à un paramètre. La densité peut s'écrire $f(x;\lambda) = e^{\ln \lambda - \lambda x} \mathbb{I}_{\{x \ge 0\}}$. Le ratio de vraisemblance est monotone par rapport à la statistique suffisante $T = \sum_{i=1}^n X_i$. D'après le théorème de Karlin-Rubin, il existe un test uniformément le plus puissant (UMP). Le ratio de vraisemblance pour $\lambda_2 > \lambda_1$ est : $\frac{L(\lambda_2)}{L(\lambda_1)} = \left(\frac{\lambda_2}{\lambda_1}\right)^n e^{-(\lambda_2 - \lambda_1)\sum x_i}$ Cette fonction est décroissante en $\sum x_i$. Le test UMP rejette $H_0$ pour les petites valeurs de $\sum x_i$. La région de rejet est de la forme $W = \{ (x_1,\ldots,x_n) : \sum x_i \le c \}$. Sous $H_0$, les $X_i$ sont i.i.d. $\mathcal{E}(\lambda_0)$. La somme $T = \sum_{i=1}^n X_i$ suit une loi Gamma $\mathcal{G}(n, \lambda_0)$. On sait que si $T \sim \mathcal{G}(n, \lambda_0)$, alors $2\lambda_0 T \sim \chi^2_{2n}$, une loi du chi-deux à $2n$ degrés de liberté. On fixe le seuil $c$ tel que $P(T \le c | \lambda = \lambda_0) = \alpha$. $P(2\lambda_0 T \le 2\lambda_0 c | \lambda = \lambda_0) = \alpha$ Soit $c' = 2\lambda_0 c$. On cherche $c'$ tel que $P(\chi^2_{2n} \le c') = \alpha$. Cette valeur $c'$ est le quantile d'ordre $\alpha$ de la loi $\chi^2_{2n}$, noté $\chi^2_{2n, \alpha}$. On rejette $H_0$ si $2\lambda_0 \sum_{i=1}^n X_i \le \chi^2_{2n, \alpha}$.

\boxed{\text{On rejette } H_0 \text{ si } 2\lambda_0 \sum_{i=1}^n X_i \le \chi^2_{2n, \alpha}, \text{ où } \chi^2_{2n, \alpha} \text{ est le quantile d'ordre } \alpha \text{ de la loi du } \chi^2 \text{ à } 2n \text{ ddl.}}

1. Propriétés de la fonction de coût Linex

Soit $u = c(\delta - \theta)$. La fonction de coût s'écrit $L(\theta, \delta) = g(u) = e^u - u - 1$. Pour étudier le signe de $g(u)$, on étudie ses variations. La dérivée première est $g'(u) = e^u - 1$. $g'(u) = 0 \iff e^u = 1 \iff u = 0$. La dérivée seconde est $g''(u) = e^u$. Comme $e^u > 0$ pour tout $u \in \mathbb{R}$, le point $u=0$ est un minimum global strict. La valeur minimale de $g$ est $g(0) = e^0 - 0 - 1 = 0$. Par conséquent, $g(u) \ge 0$ pour tout $u$, et $g(u) = 0$ si et seulement si $u=0$. Puisque $c > 0$, $u = c(\delta - \theta) = 0$ si et seulement si $\delta = \theta$.

\boxed{L(\theta, \delta) \ge 0 \text{ pour tout } (\theta, \delta) \text{ et } L(\theta, \delta) = 0 \iff \delta = \theta.}

2. Détermination de l'estimateur de Bayes

L'estimateur de Bayes $\delta^\pi(x)$ est la valeur de $\delta$ qui minimise le risque postérieur, c'est-à-dire l'espérance de la fonction de coût par rapport à la loi a posteriori $\pi(\theta|x)$. Le risque postérieur est $\rho(\delta|x) = E^{\pi(\cdot|x)}[L(\theta, \delta)]$. $\rho(\delta|x) = \int L(\theta, \delta) \pi(\theta|x) d\theta = \int (e^{c(\delta - \theta)} - c(\delta - \theta) - 1) \pi(\theta|x) d\theta$ $\rho(\delta|x) = \int e^{c\delta}e^{-c\theta} \pi(\theta|x) d\theta - c\delta \int \pi(\theta|x) d\theta + c \int \theta \pi(\theta|x) d\theta - \int \pi(\theta|x) d\theta$ $\rho(\delta|x) = e^{c\delta} E^{\pi(\cdot|x)}[e^{-c\theta}] - c\delta + cE^{\pi(\cdot|x)}[\theta] - 1$ Pour trouver le minimum, on dérive par rapport à $\delta$ et on annule la dérivée : $\frac{\partial \rho}{\partial \delta} = c e^{c\delta} E^{\pi(\cdot|x)}[e^{-c\theta}] - c = 0$ $e^{c\delta} E^{\pi(\cdot|x)}[e^{-c\theta}] = 1 \implies e^{c\delta} = \frac{1}{E^{\pi(\cdot|x)}[e^{-c\theta}]}$ En prenant le logarithme naturel des deux côtés : $c\delta = \ln\left(\frac{1}{E^{\pi(\cdot|x)}[e^{-c\theta}]}\right) = -\ln\{E^{\pi(\cdot|x)}[e^{-c\theta}]\}$ $\delta^\pi(x) = -\frac{1}{c} \ln\{E^{\pi(\cdot|x)}[e^{-c\theta}]\}$ La dérivée seconde $\frac{\partial^2 \rho}{\partial \delta^2} = c^2 e^{c\delta} E^{\pi(\cdot|x)}[e^{-c\theta}]$ est positive (car $e^{-c\theta}>0$), ce qui confirme que c'est bien un minimum.

3. Estimateur de Bayes pour une loi Normale

On a une observation $X|\theta \sim N(\theta, 1)$ et une loi a priori non informative (impropre) $\pi(\theta)=1$ pour $\theta \in \mathbb{R}$.

Loi a posteriori : La loi a posteriori $\pi(\theta|x)$ est proportionnelle au produit de la vraisemblance et de la loi a priori. $\pi(\theta|x) \propto f(x|\theta) \pi(\theta) \propto \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}(x-\theta)^2} \cdot 1 \propto e^{-\frac{1}{2}(\theta^2 - 2x\theta + x^2)} \propto e^{-\frac{1}{2}(\theta^2 - 2x\theta)}$ On complète le carré dans l'exposant: $\theta^2 - 2x\theta = (\theta-x)^2 - x^2$. $\pi(\theta|x) \propto e^{-\frac{1}{2}((\theta-x)^2 - x^2)} \propto e^{-\frac{1}{2}(\theta-x)^2}$ Ceci est le noyau d'une loi normale de moyenne $x$ et de variance 1. Donc, la loi a posteriori est $\theta|x \sim N(x, 1)$.

Calcul de l'estimateur : On doit calculer $E^{\pi(\cdot|x)}[e^{-c\theta}]$. Il s'agit de la fonction génératrice des moments (FGM) de la loi a posteriori $N(x,1)$, évaluée en $t=-c$. La FGM d'une loi $N(\mu, \sigma^2)$ est $M(t) = e^{\mu t + \frac{1}{2}\sigma^2 t^2}$. Pour $\theta|x \sim N(x,1)$, on a $\mu=x$ et $\sigma^2=1$. La FGM est $M_{\theta|x}(t) = e^{xt + \frac{1}{2}t^2}$. On l'évalue en $t=-c$ : $E^{\pi(\cdot|x)}[e^{-c\theta}] = M_{\theta|x}(-c) = e^{x(-c) + \frac{1}{2}(-c)^2} = e^{-cx + \frac{c^2}{2}}$ On substitue ce résultat dans la formule de l'estimateur de Bayes : $\delta^\pi(x) = -\frac{1}{c} \ln\{e^{-cx + \frac{c^2}{2}}\} = -\frac{1}{c} \left(-cx + \frac{c^2}{2}\right) = x - \frac{c}{2}$

\boxed{\delta^\pi(x) = x - \frac{c}{2}}

Soit $X \sim U(0,1)$. La fonction de répartition est $F(x) = x$ et la fonction de densité est $f(x)=1$ pour $x \in (0,1)$.

1. Densité de la médiane

Si $n=2k+1$, la médiane de l'échantillon est la statistique d'ordre $k+1$, c'est-à-dire $M = X_{(k+1)}$. La formule générale de la densité de la $r$-ième statistique d'ordre $X_{(r)}$ est : $f_{X_{(r)}}(x) = \frac{n!}{(r-1)!(n-r)!} [F(x)]^{r-1} [1-F(x)]^{n-r} f(x)$ Pour la médiane $M=X_{(k+1)}$, on a $r=k+1$. Alors $r-1=k$ et $n-r = (2k+1)-(k+1) = k$. En substituant dans la formule avec $F(x)=x$ et $f(x)=1$ pour $x \in (0,1)$: $f_M(x) = \frac{(2k+1)!}{k!k!} x^k (1-x)^k, \quad \text{pour } x \in (0,1)$ Cette densité est celle d'une loi Bêta de paramètres $\alpha=k+1$ et $\beta=k+1$. La densité de la loi $\text{Beta}(\alpha, \beta)$ est $\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} x^{\alpha-1}(1-x)^{\beta-1}$. Avec $\alpha=k+1$ et $\beta=k+1$, on a $\alpha-1=k$, $\beta-1=k$, et le coefficient est $\frac{\Gamma(2k+2)}{\Gamma(k+1)\Gamma(k+1)} = \frac{(2k+1)!}{k!k!}$, ce qui correspond bien.

\boxed{\text{La densité de la médiane } M=X_{(k+1)} \text{ est } f_M(x) = \frac{(2k+1)!}{(k!)^2} x^k (1-x)^k \text{ pour } x \in (0,1).}

2. Loi de $V = X_{(i)}/X_{(j)}$

La question spécifie $0 \le i < j \le n$. Le cas $i=0$ est atypique, $X_{(0)}$ est généralement défini comme 0. Dans ce cas $V=0$ (distribution dégénérée). Nous traitons le cas standard où $1 \le i < j \le n$.

La densité jointe des statistiques d'ordre $X_{(i)}$ et $X_{(j)}$ pour $0 < u < v < 1$ est : $f_{X_{(i)}, X_{(j)}}(u, v) = \frac{n!}{(i-1)!(j-i-1)!(n-j)!} [F(u)]^{i-1} [F(v)-F(u)]^{j-i-1} [1-F(v)]^{n-j} f(u)f(v)$ Pour la loi uniforme $U(0,1)$: $f_{X_{(i)}, X_{(j)}}(u, v) = C u^{i-1} (v-u)^{j-i-1} (1-v)^{n-j}$ où $C = \frac{n!}{(i-1)!(j-i-1)!(n-j)!}$.

On effectue le changement de variables : $V = X_{(i)}/X_{(j)}$ et $U = X_{(j)}$. La transformation inverse est $X_{(i)} = UV$ et $X_{(j)} = U$. Le Jacobien de cette transformation est : $J = \det \begin{pmatrix} \frac{\partial X_{(i)}}{\partial U} & \frac{\partial X_{(i)}}{\partial V} \\ \frac{\partial X_{(j)}}{\partial U} & \frac{\partial X_{(j)}}{\partial V} \end{pmatrix} = \det \begin{pmatrix} V & U \\ 1 & 0 \end{pmatrix} = -U$ La valeur absolue du Jacobien est $|J|=U$. Le domaine de $(X_{(i)}, X_{(j)})$ est $0 < u < v < 1$. Pour $(U, V)$, on a $U=v \in (0,1)$ et $V=u/v \in (0,1)$. La densité jointe de $(U, V)$ est : $f_{U,V}(u, v) = f_{X_{(i)}, X_{(j)}}(uv, u) |J| = C (uv)^{i-1} (u-uv)^{j-i-1} (1-u)^{n-j} u$ $f_{U,V}(u, v) = C u^{i-1}v^{i-1} u^{j-i-1}(1-v)^{j-i-1} (1-u)^{n-j} u$ $f_{U,V}(u, v) = C u^{i-1+j-i-1+1} v^{i-1} (1-v)^{j-i-1} (1-u)^{n-j}$ $f_{U,V}(u, v) = C u^{j-1} (1-u)^{n-j} v^{i-1} (1-v)^{j-i-1}$ La densité se factorise en un produit d'une fonction de $u$ et d'une fonction de $v$. $U$ et $V$ sont donc indépendantes. Pour trouver la loi de $V$, on peut identifier sa densité marginale. Intégrons par rapport à $u$ sur $(0,1)$ : $f_V(v) = C v^{i-1} (1-v)^{j-i-1} \int_0^1 u^{j-1} (1-u)^{n-j} du$ L'intégrale est une fonction Bêta: $B(j, n-j+1) = \frac{\Gamma(j)\Gamma(n-j+1)}{\Gamma(n+1)} = \frac{(j-1)!(n-j)!}{n!}$. $f_V(v) = \frac{n!}{(i-1)!(j-i-1)!(n-j)!} \times \frac{(j-1)!(n-j)!}{n!} \times v^{i-1} (1-v)^{j-i-1}$ $f_V(v) = \frac{(j-1)!}{(i-1)!(j-i-1)!} v^{i-1} (1-v)^{j-i-1}$ Cette expression est la densité d'une loi Bêta de paramètres $\alpha=i$ et $\beta=j-i$, car le coefficient est $\frac{\Gamma(i+j-i)}{\Gamma(i)\Gamma(j-i)} = \frac{\Gamma(j)}{\Gamma(i)\Gamma(j-i)} = \frac{(j-1)!}{(i-1)!(j-i-1)!}$.

\boxed{\text{La statistique } V = \frac{X_{(i)}}{X_{(j)}} \text{ suit une loi Bêta de paramètres } (i, j-i), V \sim \text{Beta}(i, j-i).}