📚 الرئيسية

مسابقة دكتوراه 2012Université Djilali Liabès - Sidi Bel Abbès — الموضوع 01

مسابقة تخصص · Probabilités & Statistiques

Concours de Statistique Non Paramétrique, Module Statistique et application, 3ème Année Licence SMAEF, Département de Mathématiques, Faculté des Sciences, Université de Sidi Bel Abbès, année universitaire 2011/2012.

التمرين 1

Problème 1 — Estimateur à noyau : densité, biais et variance

#nonparametric-statistics#kernel-density-estimation#bias-variance#estimator-properties#asymptotic-analysis

Soit K:RRK:\mathbb{R}\longrightarrow\mathbb{R} une fonction quelconque et soit hh un réel positif. On appelle estimateur à noyau la fonction

fn(x)=1nhi=1nK ⁣(Xixh),f_n(x)=\frac{1}{nh}\sum_{i=1}^n K\!\left(\frac{X_i-x}{h}\right),

KK est le noyau de cet estimateur et h>0h\gt 0 la fenêtre.

0. Montrer que si KK est positive et RK(u)du=1\displaystyle\int_{\mathbb{R}}K(u)\,du=1, alors fn()f_n(\cdot) est une densité de probabilité. De plus, fnf_n est continue si KK est continue.

Hypothèse KK. On suppose que KK vérifie les 4 conditions suivantes :

  1. RK(u)du=1\displaystyle\int_{\mathbb{R}}K(u)\,du=1 ;
  2. KK est une fonction paire, ou plus généralement RuK(u)du=0\displaystyle\int_{\mathbb{R}}uK(u)\,du=0 ;
  3. Ru2K(u)du<\displaystyle\int_{\mathbb{R}}u^2|K(u)|\,du\lt\infty ;
  4. RK(u)2du<\displaystyle\int_{\mathbb{R}}K(u)^2\,du\lt\infty.

(i) Si les trois premières conditions de l'hypothèse KK sont remplies et si ff est une densité bornée dont la dérivée seconde est bornée, montrer que

Biais(fn(x))C1h2,C1=12supzRf(z)Ru2K(u)du.\big|\mathrm{Biais}(f_n(x))\big|\leq C_1 h^2,\qquad C_1=\frac12\sup_{z\in\mathbb{R}}|f''(z)|\int_{\mathbb{R}}u^2|K(u)|\,du.

(ii) Si de plus la condition 4 de l'hypothèse KK est satisfaite, montrer que

Var(fn(x))C2nh,C2=supzRf(z)RK(u)2du.\mathrm{Var}(f_n(x))\leq\frac{C_2}{nh},\qquad C_2=\sup_{z\in\mathbb{R}}f(z)\int_{\mathbb{R}}K(u)^2\,du.

الحل

0. fnf_n est une densité

Positivité. KK étant positive, chaque terme K(Xixh)0K\big(\tfrac{X_i-x}{h}\big)\geq 0, donc fn(x)0f_n(x)\geq 0 pour tout xx.

Intégrale égale à 1. Pour chaque ii, le changement de variable u=Xixhu=\dfrac{X_i-x}{h} (du=1hdxdu=-\tfrac{1}{h}dx) donne

RK ⁣(Xixh)dx=hRK(u)du=h.\int_{\mathbb{R}}K\!\left(\frac{X_i-x}{h}\right)dx=h\int_{\mathbb{R}}K(u)\,du=h.

D'où

Rfn(x)dx=1nhi=1nRK ⁣(Xixh)dx=1nhnh=1.\int_{\mathbb{R}}f_n(x)\,dx=\frac{1}{nh}\sum_{i=1}^n\int_{\mathbb{R}}K\!\left(\frac{X_i-x}{h}\right)dx=\frac{1}{nh}\cdot n\cdot h=1.

Continuité. Si KK est continue, alors pour chaque ii l'application xK(Xixh)x\mapsto K\big(\tfrac{X_i-x}{h}\big) est continue (composée d'une fonction affine et de KK) ; fnf_n, somme finie de fonctions continues, est continue.

fn est une densiteˊ de probabiliteˊ, continue deˋs que K l’est.\boxed{f_n\ \text{est une densité de probabilité, continue dès que }K\ \text{l'est.}}

(i) Biais

Par définition Biais(fn(x))=E(fn(x))f(x)\mathrm{Biais}(f_n(x))=E(f_n(x))-f(x). Les XiX_i étant i.i.d. de densité ff,

E(fn(x))=1hE ⁣[K ⁣(Xxh)]=1hRK ⁣(txh)f(t)dt.E(f_n(x))=\frac{1}{h}E\!\left[K\!\left(\frac{X-x}{h}\right)\right]=\frac{1}{h}\int_{\mathbb{R}}K\!\left(\frac{t-x}{h}\right)f(t)\,dt.

Avec le changement u=txhu=\dfrac{t-x}{h}, i.e. t=x+hut=x+hu, dt=hdudt=h\,du :

E(fn(x))=RK(u)f(x+hu)du.E(f_n(x))=\int_{\mathbb{R}}K(u)\,f(x+hu)\,du.

Comme ff'' est bornée, la formule de Taylor à l'ordre 2 avec reste de Lagrange donne, pour un ξu\xi_u entre xx et x+hux+hu,

f(x+hu)=f(x)+huf(x)+h2u22f(ξu).f(x+hu)=f(x)+hu\,f'(x)+\frac{h^2u^2}{2}f''(\xi_u).

En intégrant contre KK et en utilisant les conditions 1 (K=1\int K=1) et 2 (uK=0\int uK=0) :

E(fn(x))=f(x)K(u)du=1+hf(x)uK(u)du=0+h22u2f(ξu)K(u)du.E(f_n(x))=f(x)\underbrace{\int K(u)du}_{=1}+h f'(x)\underbrace{\int uK(u)du}_{=0}+\frac{h^2}{2}\int u^2 f''(\xi_u)K(u)\,du.

Donc

Biais(fn(x))=h22Ru2f(ξu)K(u)du,\mathrm{Biais}(f_n(x))=\frac{h^2}{2}\int_{\mathbb{R}} u^2 f''(\xi_u)K(u)\,du,

et en majorant f(ξu)supzf(z)|f''(\xi_u)|\leq \sup_z|f''(z)| (condition 3 assurant la finitude) :

Biais(fn(x))h22supzf(z)Ru2K(u)du=C1h2.\big|\mathrm{Biais}(f_n(x))\big|\leq \frac{h^2}{2}\sup_{z}|f''(z)|\int_{\mathbb{R}}u^2|K(u)|\,du=C_1 h^2.

Biais(fn(x))C1h2,C1=12supzf(z) ⁣u2K(u)du.\boxed{\big|\mathrm{Biais}(f_n(x))\big|\leq C_1 h^2,\qquad C_1=\tfrac12\sup_{z}|f''(z)|\!\int u^2|K(u)|du.}

(ii) Variance

Les K(Xixh)K\big(\tfrac{X_i-x}{h}\big) étant i.i.d.,

Var(fn(x))=1n2h2i=1nVar ⁣[K ⁣(Xixh)]=1nh2Var ⁣[K ⁣(Xxh)].\mathrm{Var}(f_n(x))=\frac{1}{n^2h^2}\sum_{i=1}^n \mathrm{Var}\!\left[K\!\left(\frac{X_i-x}{h}\right)\right]=\frac{1}{nh^2}\mathrm{Var}\!\left[K\!\left(\frac{X-x}{h}\right)\right].

Comme Var(W)E(W2)\mathrm{Var}(W)\leq E(W^2),

Var ⁣[K ⁣(Xxh)]E ⁣[K ⁣(Xxh)2]=RK ⁣(txh)2f(t)dt.\mathrm{Var}\!\left[K\!\left(\frac{X-x}{h}\right)\right]\leq E\!\left[K\!\left(\frac{X-x}{h}\right)^2\right]=\int_{\mathbb{R}}K\!\left(\frac{t-x}{h}\right)^2 f(t)\,dt.

Avec u=txhu=\dfrac{t-x}{h} (t=x+hut=x+hu, dt=hdudt=h\,du) :

RK ⁣(txh)2f(t)dt=hRK(u)2f(x+hu)duhsupzf(z)RK(u)2du,\int_{\mathbb{R}}K\!\left(\frac{t-x}{h}\right)^2 f(t)\,dt=h\int_{\mathbb{R}}K(u)^2 f(x+hu)\,du\leq h\,\sup_{z}f(z)\int_{\mathbb{R}}K(u)^2\,du,

la condition 4 garantissant la finitude de K2\int K^2. En reportant,

Var(fn(x))1nh2hsupzf(z)K(u)2du=1nhsupzf(z)K(u)2du.\mathrm{Var}(f_n(x))\leq \frac{1}{nh^2}\cdot h\,\sup_{z}f(z)\int K(u)^2 du=\frac{1}{nh}\sup_{z}f(z)\int K(u)^2 du.

Var(fn(x))C2nh,C2=supzf(z)K(u)2du.\boxed{\mathrm{Var}(f_n(x))\leq\frac{C_2}{nh},\qquad C_2=\sup_{z}f(z)\int K(u)^2 du.}