📚 الرئيسية

مسابقة دكتوراه 2016Université Dr Moulay Tahar - Saïda — الموضوع 04

مسابقة تخصص · Probabilités & Statistiques · المدة: 1سا 30د

Concours de Doctorat, Modèles stochastiques, Statistique et Applications, épreuve de Statistique Non Paramétrique, Université Dr. Moulay Tahar de Saïda, Faculté des Sciences, Département de Mathématiques (A. A. Bouchentouf), année universitaire 2016/2017, durée 1h30.

التمرين 1

Problème — Estimateur à noyau : densité, biais, variance, MSE et MISE

#kernel-density-estimation#bias-variance#mse#mise#nonparametric-statistics

Soit K:RRK:\mathbb{R}\to\mathbb{R} une fonction quelconque et soit hh un réel positif. On considère l'estimateur à noyau

f^h=1nhi=1nK ⁣(Xixh)\widehat f_h=\frac{1}{nh}\sum_{i=1}^n K\!\left(\frac{X_i-x}{h}\right)

avec KK le noyau de cet estimateur et hh la fenêtre.

  1. (I) Montrer que si KK est positive et RK(u)du=1\int_{\mathbb{R}}K(u)\,du=1, alors f^h()\widehat f_h(\cdot) est une densité de probabilité. De plus, f^h\widehat f_h est continue si KK est continue.

  2. (II) On suppose que KK vérifie les 4 conditions suivantes : a. RK(u)du=1\int_{\mathbb{R}}K(u)\,du=1 ; b. KK est paire ou, plus généralement, RuK(u)du=0\int_{\mathbb{R}}uK(u)\,du=0 ; c. Ru2K(u)du<\int_{\mathbb{R}}u^2|K(u)|\,du\lt\infty ; d. R(K(u))2du<\int_{\mathbb{R}}(K(u))^2\,du\lt\infty.

    Puis :

    1. Si les trois premières conditions sont remplies et ff est une densité bornée dont la dérivée seconde est bornée, alors Biais(f^h(x))C1h2|\mathrm{Biais}(\widehat f_h(x))|\le C_1 h^2C1=12supzRf(z)Ru2K(u)duC_1=\tfrac12\sup_{z\in\mathbb{R}}|f''(z)|\int_{\mathbb{R}}u^2|K(u)|\,du.
    2. Si de plus la condition 4 est satisfaite, alors Var(f^h(x))C2nh\mathrm{Var}(\widehat f_h(x))\le\dfrac{C_2}{nh}, avec C2=supzRf(z)R(K(u))2duC_2=\sup_{z\in\mathbb{R}}f(z)\int_{\mathbb{R}}(K(u))^2\,du.
    3. Donner les expressions asymptotiques de l'erreur quadratique moyenne (MSE) et l'expression exacte de l'erreur quadratique moyenne intégrée (MISE) de l'estimateur à noyau.
الحل

I.

Si K0K\ge0 alors f^h0\widehat f_h\ge0, et Rf^h(x)dx=1niK(u)du=1\int_{\mathbb{R}}\widehat f_h(x)\,dx=\frac1n\sum_i\int K(u)\,du=1 (changement u=Xixhu=\tfrac{X_i-x}{h}). Donc f^h\widehat f_h est une densité, continue si KK l'est.

II.1.

Biais : Ef^h(x)f(x)=K(u)(f(x+hu)f(x))du\mathbb{E}\widehat f_h(x)-f(x)=\int K(u)\big(f(x+hu)-f(x)\big)du. Taylor à l'ordre 2 avec uK=0\int uK=0 :

Biais(f^h(x))12supf ⁣u2K(u)du  h2=C1h2\boxed{|\mathrm{Biais}(\widehat f_h(x))|\le \tfrac12\sup|f''|\!\int u^2|K(u)|\,du\;h^2=C_1h^2}

II.2.

Var(f^h(x))C2nh\boxed{\mathrm{Var}(\widehat f_h(x))\le\frac{C_2}{nh}}

II.3.

MSE(x)14(f(x))2(u2K)2h4+f(x)K2nh\mathrm{MSE}(x)\approx \tfrac14 (f''(x))^2\Big(\int u^2K\Big)^2 h^4+\frac{f(x)\int K^2}{nh}

MISE=h44(u2K(u)du)2 ⁣(f(x))2dx+K2(u)dunh\boxed{\mathrm{MISE}=\frac{h^4}{4}\Big(\int u^2K(u)\,du\Big)^2\!\int (f''(x))^2dx+\frac{\int K^2(u)\,du}{nh}}