📚 الرئيسية

مسابقة دكتوراه 2012Université Djilali Liabès - Sidi Bel Abbès — الموضوع 02

مسابقة تخصص · Probabilités & Statistiques

Concours de Statistique Non Paramétrique, Module Statistique et application, formation de 3ème cycle, Faculté des Sciences, Département de Mathématique, Université Djilali Liabès – Sidi Bel Abbès, année universitaire 2011/2012.

التمرين 1

Exercice 1 — Convergence d'une identité approchée (produit de convolution f * K_h)

#kernel-smoothing#convolution#approximate-identity#dominated-convergence#nonparametric-statistics

Soient fL1f \in L^1 (une fonction intégrable) et KK un noyau borné, intégrable et vérifiant

RK(x)dx=1etxK(x)0  quand x.\int_{\mathbb{R}} K(x)\,dx = 1 \qquad \text{et} \qquad |x K(x)| \longrightarrow 0 \ \text{ quand } |x| \longrightarrow \infty.

Montrer que, en tout point xxff est continue,

limh0(fKh)(x)=f(x),\lim_{h \to 0} (f * K_h)(x) = f(x),

Kh()=1hK ⁣(h)K_h(\cdot) = \dfrac{1}{h} K\!\left( \dfrac{\cdot}{h} \right) et fg(x)=g(xy)f(y)dyf * g(x) = \displaystyle\int g(x - y) f(y)\,dy.

الحل

Réécriture du produit de convolution

Par définition, (fKh)(x)=RKh(xy)f(y)dy(f * K_h)(x) = \displaystyle\int_{\mathbb{R}} K_h(x - y) f(y)\,dy. Le changement de variable u=xyu = x - y puis u=hvu = h v donne

(fKh)(x)=RKh(u)f(xu)du=RK(v)f(xhv)dv,(f * K_h)(x) = \int_{\mathbb{R}} K_h(u) f(x - u)\,du = \int_{\mathbb{R}} K(v)\, f(x - h v)\,dv,

en utilisant Kh(u)du=1hK(u/h)du=K(v)dvK_h(u)\,du = \tfrac{1}{h}K(u/h)\,du = K(v)\,dv. Comme RK(v)dv=1\int_{\mathbb{R}} K(v)\,dv = 1, on a aussi f(x)=RK(v)f(x)dvf(x) = \int_{\mathbb{R}} K(v) f(x)\,dv, d'où

(fKh)(x)f(x)=RK(v)[f(xhv)f(x)]dv.(f * K_h)(x) - f(x) = \int_{\mathbb{R}} K(v)\,\big[ f(x - h v) - f(x) \big]\,dv.

Découpage de l'intégrale

Soit ε>0\varepsilon \gt 0. Comme ff est continue en xx, il existe δ>0\delta \gt 0 tel que uδf(xu)f(x)ε|u| \leq \delta \Rightarrow |f(x - u) - f(x)| \leq \varepsilon. On sépare selon hvδ|h v| \leq \delta ou hv>δ|h v| \gt \delta :

(fKh)(x)f(x)hvδK(v)f(xhv)f(x)dvI1+hv>δK(v)f(xhv)f(x)dvI2.\big| (f * K_h)(x) - f(x) \big| \leq \underbrace{\int_{|h v| \leq \delta} |K(v)|\,|f(x - h v) - f(x)|\,dv}_{I_1} + \underbrace{\int_{|h v| \gt \delta} |K(v)|\,|f(x - h v) - f(x)|\,dv}_{I_2}.

Terme central I1I_1. Sur hvδ|h v| \leq \delta, f(xhv)f(x)ε|f(x - h v) - f(x)| \leq \varepsilon, donc

I1εRK(v)dv=εK1.I_1 \leq \varepsilon \int_{\mathbb{R}} |K(v)|\,dv = \varepsilon\, \|K\|_1.

Terme des queues I2I_2. On majore f(xhv)f(x)f(xhv)+f(x)|f(x - h v) - f(x)| \leq |f(x - h v)| + |f(x)|.

  • La partie f(x)v>δ/hK(v)dv0|f(x)|\displaystyle\int_{|v| \gt \delta/h} |K(v)|\,dv \to 0 quand h0h \to 0, car KK est intégrable et δ/h\delta/h \to \infty.
  • Pour la partie v>δ/hK(v)f(xhv)dv\displaystyle\int_{|v| \gt \delta/h} |K(v)|\,|f(x - h v)|\,dv, on revient à w=hvw = h v :

v>δ/hK(v)f(xhv)dv=1hw>δK ⁣(wh)f(xw)dw.\int_{|v| \gt \delta/h} |K(v)|\,|f(x - h v)|\,dv = \frac{1}{h}\int_{|w| \gt \delta} \left| K\!\left( \tfrac{w}{h} \right) \right| |f(x - w)|\,dw.

En posant η(h)=supsδ/hsK(s)0\eta(h) = \sup_{|s| \geq \delta/h} |s\,K(s)| \to 0 (hypothèse sK(s)0|s K(s)| \to 0), on a pour w>δ|w| \gt \delta : K(wh)=hwwhK(wh)hwη(h)\left| K(\tfrac{w}{h}) \right| = \dfrac{h}{|w|}\left| \tfrac{w}{h} K(\tfrac{w}{h}) \right| \leq \dfrac{h}{|w|}\eta(h). D'où

1hw>δK ⁣(wh)f(xw)dwη(h)w>δf(xw)wdwη(h)δf10.\frac{1}{h}\int_{|w| \gt \delta} \left| K\!\left( \tfrac{w}{h} \right) \right| |f(x - w)|\,dw \leq \eta(h)\int_{|w| \gt \delta} \frac{|f(x - w)|}{|w|}\,dw \leq \frac{\eta(h)}{\delta}\,\|f\|_1 \to 0.

C'est ici qu'interviennent fL1f \in L^1 et xK(x)0|x K(x)| \to 0. Ainsi I20I_2 \to 0 quand h0h \to 0.

Conclusion

En faisant h0h \to 0 puis ε0\varepsilon \to 0 :

lim suph0(fKh)(x)f(x)εK1ε>0.\limsup_{h \to 0} \big| (f * K_h)(x) - f(x) \big| \leq \varepsilon\, \|K\|_1 \quad \forall \varepsilon \gt 0.

limh0(fKh)(x)=f(x)  en tout point de continuiteˊ x de f.\boxed{\,\lim_{h \to 0} (f * K_h)(x) = f(x) \ \text{ en tout point de continuité } x \text{ de } f.\,}

التمرين 2

Exercice 2 — Inégalité de Hoeffding par la méthode de Chernoff

#hoeffding-inequality#concentration-inequality#chernoff-bound#moment-generating-function#convexity

1. Soit XX une variable aléatoire réelle centrée, bornée par 11.

(i) Soit tRt \in \mathbb{R}. Montrer que pour tout x[1,1]x \in [-1, 1],

exp(tx)1x2exp(t)+1+x2exp(t).\exp(t x) \leq \frac{1 - x}{2}\exp(-t) + \frac{1 + x}{2}\exp(t).

(ii) En déduire les inégalités E[exp(tX)]ch(t)\mathbb{E}[\exp(t X)] \leq \operatorname{ch}(t) et E[exp(tX)]exp ⁣(t22)\mathbb{E}[\exp(t X)] \leq \exp\!\left( \dfrac{t^2}{2} \right).

2. Soit (Xn)n1(X_n)_{n \geq 1} une suite de variables aléatoires indépendantes centrées telles que Xncn|X_n| \leq c_n avec cn>0c_n \gt 0. On note, pour tout n1n \geq 1, Sn=j=1nXjS_n = \sum_{j=1}^n X_j.

(a) Montrer que pour tout tt,  E[exp(tSn)]exp ⁣(t22j=1ncj2)\ \mathbb{E}[\exp(t S_n)] \leq \exp\!\left( \dfrac{t^2}{2}\sum_{j=1}^n c_j^2 \right).

(b) Montrer alors, avec l'inégalité de Markov, que pour tout t>0t \gt 0 et ε>0\varepsilon \gt 0,

P(Sn>ε)exp ⁣(tε+t22j=1ncj2).P(S_n \gt \varepsilon) \leq \exp\!\left( -t\varepsilon + \frac{t^2}{2}\sum_{j=1}^n c_j^2 \right).

(c) En déduire que pour tout ε>0\varepsilon \gt 0,  P(Sn>ε)exp ⁣(ε22j=1ncj2)\ P(S_n \gt \varepsilon) \leq \exp\!\left( -\dfrac{\varepsilon^2}{2 \sum_{j=1}^n c_j^2} \right).

(d) Montrer alors, pour tout ε>0\varepsilon \gt 0, l'inégalité de Hoeffding  P(Sn>ε)exp ⁣(ε22j=1ncj2).\ P(|S_n| \gt \varepsilon) \leq \exp\!\left( -\dfrac{\varepsilon^2}{2 \sum_{j=1}^n c_j^2} \right).

الحل

1. (i)

Pour x[1,1]x \in [-1, 1], on écrit xx comme combinaison convexe des bornes 1-1 et 11 :

x=1x2(1)+1+x2(1),avec 1x20, 1+x20, 1x2+1+x2=1.x = \frac{1 - x}{2}\cdot(-1) + \frac{1 + x}{2}\cdot(1), \qquad \text{avec } \frac{1 - x}{2} \geq 0,\ \frac{1 + x}{2} \geq 0,\ \frac{1 - x}{2} + \frac{1 + x}{2} = 1.

La fonction uexp(tu)u \mapsto \exp(t u) étant convexe, l'inégalité de convexité donne

exp(tx)1x2exp(t)+1+x2exp(t).\boxed{\,\exp(t x) \leq \frac{1 - x}{2}\exp(-t) + \frac{1 + x}{2}\exp(t).\,}

1. (ii)

En prenant l'espérance et en utilisant E[X]=0\mathbb{E}[X] = 0 :

E[exp(tX)]1E[X]2exp(t)+1+E[X]2exp(t)=exp(t)+exp(t)2=ch(t).\mathbb{E}[\exp(t X)] \leq \frac{1 - \mathbb{E}[X]}{2}\exp(-t) + \frac{1 + \mathbb{E}[X]}{2}\exp(t) = \frac{\exp(t) + \exp(-t)}{2} = \operatorname{ch}(t).

De plus, par les développements en série, comme (2k)!2kk!(2k)! \geq 2^k\, k!,

ch(t)=k=0t2k(2k)!k=0(t2/2)kk!=exp ⁣(t22).\operatorname{ch}(t) = \sum_{k=0}^{\infty} \frac{t^{2k}}{(2k)!} \leq \sum_{k=0}^{\infty} \frac{(t^2/2)^k}{k!} = \exp\!\left( \frac{t^2}{2} \right).

E[exp(tX)]ch(t)exp ⁣(t22).\boxed{\,\mathbb{E}[\exp(t X)] \leq \operatorname{ch}(t) \leq \exp\!\left( \frac{t^2}{2} \right).\,}

2. (a)

Pour chaque jj, la variable Xj/cjX_j / c_j est centrée et bornée par 11. En appliquant (ii) au paramètre tcjt c_j :

E[exp(tXj)]=E ⁣[exp ⁣((tcj)Xjcj)]exp ⁣((tcj)22)=exp ⁣(t2cj22).\mathbb{E}[\exp(t X_j)] = \mathbb{E}\!\left[ \exp\!\left( (t c_j)\tfrac{X_j}{c_j} \right) \right] \leq \exp\!\left( \frac{(t c_j)^2}{2} \right) = \exp\!\left( \frac{t^2 c_j^2}{2} \right).

Par indépendance des XjX_j,

E[exp(tSn)]=j=1nE[exp(tXj)]j=1nexp ⁣(t2cj22)=exp ⁣(t22j=1ncj2).\mathbb{E}[\exp(t S_n)] = \prod_{j=1}^n \mathbb{E}[\exp(t X_j)] \leq \prod_{j=1}^n \exp\!\left( \frac{t^2 c_j^2}{2} \right) = \exp\!\left( \frac{t^2}{2}\sum_{j=1}^n c_j^2 \right).

E[exp(tSn)]exp ⁣(t22j=1ncj2).\boxed{\,\mathbb{E}[\exp(t S_n)] \leq \exp\!\left( \frac{t^2}{2}\sum_{j=1}^n c_j^2 \right).\,}

2. (b)

Pour t>0t \gt 0, la fonction uetuu \mapsto e^{t u} est croissante, donc par l'inégalité de Markov appliquée à etSn0e^{t S_n} \geq 0 :

P(Sn>ε)=P ⁣(etSn>etε)E[etSn]etεexp ⁣(tε+t22j=1ncj2).P(S_n \gt \varepsilon) = P\!\left( e^{t S_n} \gt e^{t \varepsilon} \right) \leq \frac{\mathbb{E}[e^{t S_n}]}{e^{t \varepsilon}} \leq \exp\!\left( -t\varepsilon + \frac{t^2}{2}\sum_{j=1}^n c_j^2 \right).

2. (c)

On optimise le majorant en t>0t \gt 0. En posant C=j=1ncj2C = \sum_{j=1}^n c_j^2, la fonction φ(t)=tε+t22C\varphi(t) = -t\varepsilon + \tfrac{t^2}{2}C atteint son minimum en t=εC>0t^* = \dfrac{\varepsilon}{C} \gt 0, avec

φ(t)=ε2C+12ε2C2C=ε22C.\varphi(t^*) = -\frac{\varepsilon^2}{C} + \frac{1}{2}\frac{\varepsilon^2}{C^2}C = -\frac{\varepsilon^2}{2 C}.

P(Sn>ε)exp ⁣(ε22j=1ncj2).\boxed{\,P(S_n \gt \varepsilon) \leq \exp\!\left( -\frac{\varepsilon^2}{2 \sum_{j=1}^n c_j^2} \right).\,}

2. (d)

La suite (Xj)(-X_j) est également centrée avec Xjcj|-X_j| \leq c_j ; en appliquant (c) à Sn=j(Xj)-S_n = \sum_j (-X_j) :

P(Sn<ε)=P(Sn>ε)exp ⁣(ε22j=1ncj2).P(S_n \lt -\varepsilon) = P(-S_n \gt \varepsilon) \leq \exp\!\left( -\frac{\varepsilon^2}{2 \sum_{j=1}^n c_j^2} \right).

En combinant les deux queues,

P(Sn>ε)=P(Sn>ε)+P(Sn<ε)2exp ⁣(ε22j=1ncj2).P(|S_n| \gt \varepsilon) = P(S_n \gt \varepsilon) + P(S_n \lt -\varepsilon) \leq 2\exp\!\left( -\frac{\varepsilon^2}{2 \sum_{j=1}^n c_j^2} \right).

P(Sn>ε)2exp ⁣(ε22j=1ncj2).\boxed{\,P(|S_n| \gt \varepsilon) \leq 2\exp\!\left( -\frac{\varepsilon^2}{2 \sum_{j=1}^n c_j^2} \right).\,}

Remarque. L'énoncé imprimé omet le facteur 22 ; la constante correcte pour l'inégalité bilatérale est bien 22 (somme des deux queues).