مسابقة دكتوراه 2017 — Université Dr Moulay Tahar

التمرين 1

Problème — Estimateur à noyau : biais, variance et erreur quadratique

#kernel-density-estimation#nonparametric-statistics#bias-variance#mise

Soit $K : \mathbb{R} \to \mathbb{R}$ une fonction quelconque et soit $h$ un réel positif. On considère l'estimateur à noyau

$\hat{f}_h = \frac{1}{nh}\sum_{i=1}^n K\!\left(\frac{X_i - x}{h}\right)$

avec $K$ le noyau de cet estimateur et $h$ la fenêtre.

(I) Montrer que si $K$ est positive et $\int_{\mathbb{R}} K(u)\,du = 1$ , alors $\hat{f}_h(\cdot)$ est une densité de probabilité. De plus, $\hat{f}_h$ est continue si $K$ est continue.

(II) On suppose que $K$ vérifie les 4 conditions suivantes :

$\int_{\mathbb{R}} K(u)\,du = 1$
$K$ est une fonction paire ou, plus généralement, $\int_{\mathbb{R}} u K(u)\,du = 0$
$\int_{\mathbb{R}} u^2|K(u)|\,du \lt \infty$
$\int_{\mathbb{R}} (K(u))^2\,du \lt \infty$
Si les trois premières conditions de l'hypothèse $K$ sont remplies et $f$ est une densité bornée dont la dérivée seconde est bornée, alors

$|\mathrm{Biais}(\hat{f}_h(x))| \leq C_1 h^2$

où $C_1 = \frac{1}{2}\sup_{z\in\mathbb{R}}|f''(z)|\int_{\mathbb{R}} u^2|K(u)|\,du$ .

Si, de plus, la condition 4 de l'hypothèse $K$ est satisfaite, alors

$\mathrm{Var}\!\left(\hat{f}_h(x)\right) \leq \frac{C_2}{nh}$

avec $C_2 = \sup_{z\in\mathbb{R}} f(z) \int_{\mathbb{R}} (K(u))^2\,du$ .

Donner les expressions asymptotiques de l'erreur quadratique moyenne (MSE) et l'expression exacte de l'erreur quadratique moyenne intégrée (MISE) de notre estimateur à noyau.

◀الحل

(I)

$\hat{f}_h(x) \geq 0$ car $K \geq 0$ et $X_i$ réels.

$\int_{\mathbb{R}} \hat{f}_h(x)\,dx = \frac{1}{nh}\sum_{i=1}^n \int_{\mathbb{R}} K\!\left(\frac{X_i-x}{h}\right)dx = \frac{1}{n}\sum_{i=1}^n \int_{\mathbb{R}} K(u)\,du = 1 \quad \checkmark$

Si $K$ est continue, $x \mapsto K((X_i-x)/h)$ est continue $\Rightarrow$ $\hat{f}_h$ est continue.

(II.1) Biais.

$\mathbb{E}[\hat{f}_h(x)] = \int_{\mathbb{R}} K(u)\,f(x+hu)\,du$

Développement de Taylor : $f(x+hu) = f(x) + hu f'(x) + \frac{(hu)^2}{2}f''(\xi)$ .

En intégrant avec $\int K = 1$ et $\int uK = 0$ :

$\mathrm{Biais} = \frac{h^2}{2}\int u^2 f''(\xi) K(u)\,du$

$\boxed{|\mathrm{Biais}(\hat{f}_h(x))| \leq \frac{h^2}{2}\sup|f''|\int u^2|K(u)|\,du = C_1 h^2}$

(II.2) Variance.

$\mathrm{Var}(\hat{f}_h(x)) \leq \frac{1}{n}\mathbb{E}\!\left[\frac{1}{h^2}K^2\!\left(\frac{X-x}{h}\right)\right] = \frac{1}{nh}\int K^2(u)f(x+hu)\,du$

$\boxed{\leq \frac{\sup f}{nh}\int K^2(u)\,du = \frac{C_2}{nh}}$

(II.3) MSE et MISE.

$\mathrm{MSE}(\hat{f}_h(x)) \approx C_1^2 h^4 + \frac{C_2}{nh} \quad (n\to\infty,\; h\to 0,\; nh\to\infty)$

$\boxed{\mathrm{MISE} = \frac{h^4}{4}\left(\int u^2 K(u)\,du\right)^2 \!\int (f''(x))^2\,dx + \frac{1}{nh}\int (K(u))^2\,du}$

(en utilisant $\int f(x)\,dx = 1$ pour le terme de variance.)