مسابقة دكتوراه 2017 — Université des Sciences et de la Technologie Houari Boumediène (USTHB)

التمرين 1

Exercice 1 — ACP normée d'un tableau de données

#data-analysis#pca#correlation-matrix#eigenvalues#standardization

On considère le tableau des données $X$ suivant :

$X=\begin{pmatrix} 2 & 3 \\ 4 & 5 \\ 6 & 1 \end{pmatrix}$

Donner le tableau des données centrées et réduites.
Déterminer la matrice des corrélations $\Gamma$ .
Diagonaliser la matrice $\Gamma$ . On note $\lambda_1$ et $\lambda_2$ ses valeurs propres avec $\lambda_1>\lambda_2$ .
Déterminer $F_i$ les axes factoriels (ACP normée). Donner le vecteur unitaire $u_i$ de chaque axe $F_i$ . Vérifier que ces axes sont perpendiculaires.
Écrire la matrice diagonale des valeurs propres $\Lambda$ et calculer sa trace $\mathrm{tr}(\Lambda)$ , puis vérifier que $\mathrm{tr}(\Lambda)=\mathrm{tr}(\Gamma)$ .

◀الحل

1.

Les deux variables : colonne 1 $=(2,4,6)$ , colonne 2 $=(3,5,1)$ . Moyennes : $\bar x_1=4$ , $\bar x_2=3$ .

Écarts-types (en divisant par $n=3$ ) : $\sigma_1^2=\tfrac13(4+0+4)=\tfrac83$ et $\sigma_2^2=\tfrac13(0+4+4)=\tfrac83$ , donc $\sigma_1=\sigma_2=\sqrt{8/3}=\dfrac{2\sqrt6}{3}$ .

Données centrées : colonne 1 $(-2,0,2)$ , colonne 2 $(0,2,-2)$ . Comme $2/\sigma=\dfrac{\sqrt6}{2}$ , le tableau centré-réduit $z=(x-\bar x)/\sigma$ est

$Z=\begin{pmatrix} -\tfrac{\sqrt6}{2} & 0 \\ 0 & \tfrac{\sqrt6}{2} \\ \tfrac{\sqrt6}{2} & -\tfrac{\sqrt6}{2}\end{pmatrix}\approx\begin{pmatrix} -1.225 & 0 \\ 0 & 1.225 \\ 1.225 & -1.225\end{pmatrix}$

2.

La matrice des corrélations est $\Gamma=\tfrac1n Z^{\top}Z$ . Le coefficient de corrélation vaut

$\mathrm{Cov}(X_1,X_2)=\tfrac13\big[(-2)(0)+(0)(2)+(2)(-2)\big]=-\tfrac43,\qquad r=\frac{\mathrm{Cov}(X_1,X_2)}{\sigma_1\sigma_2}=\frac{-4/3}{8/3}=-\tfrac12.$

$\boxed{\Gamma=\begin{pmatrix} 1 & -\tfrac12 \\ -\tfrac12 & 1\end{pmatrix}}$

3.

$\det(\Gamma-\lambda I)=(1-\lambda)^2-\tfrac14=0\ \Rightarrow\ 1-\lambda=\pm\tfrac12$ .

$\boxed{\lambda_1=\tfrac32,\qquad \lambda_2=\tfrac12}$

4.

Pour $\lambda_1=\tfrac32$ : $(\Gamma-\tfrac32 I)u=0\Rightarrow -\tfrac12 u^{(1)}-\tfrac12 u^{(2)}=0\Rightarrow u^{(1)}=-u^{(2)}$ , d'où le vecteur unitaire

$u_1=\frac{1}{\sqrt2}\begin{pmatrix}1\\-1\end{pmatrix}.$

Pour $\lambda_2=\tfrac12$ : $\tfrac12 u^{(1)}-\tfrac12 u^{(2)}=0\Rightarrow u^{(1)}=u^{(2)}$ , d'où

$u_2=\frac{1}{\sqrt2}\begin{pmatrix}1\\1\end{pmatrix}.$

Les axes sont orthogonaux : $u_1^{\top}u_2=\tfrac12\big(1\cdot1+(-1)\cdot1\big)=0$ .

$\boxed{u_1\perp u_2}$

5.

$\Lambda=\begin{pmatrix}\tfrac32 & 0\\ 0 & \tfrac12\end{pmatrix},\qquad \mathrm{tr}(\Lambda)=\tfrac32+\tfrac12=2,\qquad \mathrm{tr}(\Gamma)=1+1=2.$

$\boxed{\mathrm{tr}(\Lambda)=\mathrm{tr}(\Gamma)=2\ (=p,\ \text{nombre de variables})}$

التمرين 2

Exercice 2 — Estimation à noyau de la loi conditionnelle : biais

#nonparametric-statistics#kernel-estimation#conditional-distribution#bias#asymptotics

Soient $X$ et $Y$ deux variables aléatoires définies sur l'espace de probabilité $(\Omega,\mathcal{A},\mathbb{P})$ à valeurs dans $\mathbb{R}\times\mathbb{R}$ . Pour tout $x\in\mathbb{R}$ , on désigne par $F^x$ la fonction de répartition conditionnelle de $Y$ sachant $X=x$ ; on suppose que $F^x$ est absolument continue par rapport à la mesure de Lebesgue, de densité $f^x$ . Étant donné $(X_1,Y_1),\dots,(X_n,Y_n)$ une suite d'observations de même loi que $(X,Y)$ , on estime par la méthode à noyau la fonction de répartition conditionnelle $F^x$ par l'estimateur $\hat F^x$ défini par :

$\hat F^x(y)=\frac{\sum_{i=1}^{n} K\!\left(h_K^{-1}(x-X_i)\right)H\!\left(h_H^{-1}(y-Y_i)\right)}{\sum_{i=1}^{n} K\!\left(h_K^{-1}(x-X_i)\right)},\qquad \forall y\in\mathbb{R} \tag{1}$

où $K$ est un noyau, $H$ une fonction de répartition et $h_K=h_{K,n}$ (resp. $h_H=h_{H,n}$ ) une suite de réels positifs. On déduit de $\hat F^x$ un estimateur de la densité conditionnelle, noté $\hat f^x$ , défini par :

$\hat f^x(y)=\frac{h_H^{-1}\sum_{i=1}^{n} K\!\left(h_K^{-1}(x-X_i)\right)H^{(1)}\!\left(h_H^{-1}(y-Y_i)\right)}{\sum_{i=1}^{n} K\!\left(h_K^{-1}(x-X_i)\right)},\qquad \forall y\in\mathbb{R} \tag{2}$

Pour simplifier la notation, on pose

$K_i(x)=K\!\left(h_K^{-1}(x-X_i)\right),\qquad H_i(y)=H\!\left(h_H^{-1}(y-Y_i)\right)$

$f_n(x)=\frac{1}{n\,h_K}\sum_{i=1}^{n}K_i(x),\qquad g_n^{(j)}(x,y)=\frac{1}{n\,h_H^{\,j}\,h_K}\sum_{i=1}^{n}K_i(x)\,H_i^{(j)}(y),\quad j=0,1.$

Supposons que : a. La fonction de répartition conditionnelle est $k+1$ fois continûment dérivable autour de $S$ , où $S$ est un compact de $\mathbb{R}$ . b. La densité de la variable explicative est strictement positive et de classe $\mathcal{C}^k$ au voisinage de $x$ . c. La fonction $H$ est strictement croissante, de dérivée bornée et d'ordre $k$ , et telle que $\forall(y_1,y_2)\in\mathbb{R}^2$ , $\ |H^{(j)}(y_1)-H^{(j)}(y_2)|\le A|y_1-y_2|$ , $\ j=0,1$ . d. Le noyau $K$ est supposé d'ordre $k$ , intégrable, d'intégrale égale à $1$ , borné et positif. Montrer que :

$\sup_{y\in S}\left|F^x(y)f(x)-\mathbb{E}\,g_n(x,y)\right|=\mathcal{O}\!\left(h_K^{k}+h_H^{k}\right) \tag{3}$

$\sup_{y\in S}\left|f^x(y)f(x)-\mathbb{E}\,g_n^{(1)}(x,y)\right|=\mathcal{O}\!\left(h_K^{k}+h_H^{k}\right) \tag{4}$

(où $f$ désigne la densité marginale de $X$ et $g_n=g_n^{(0)}$ ).

◀الحل

Préliminaires

Notons $f$ la densité marginale de $X$ et $f_{X,Y}(u,v)=f(u)\,f^u(v)$ la densité jointe, où $f^u$ est la densité conditionnelle de $Y$ sachant $X=u$ . Rappelons qu'un noyau $L$ est d'ordre $k$ si $\int L=1$ , $\int t^m L(t)\,dt=0$ pour $1\le m\le k-1$ et $\int t^k L(t)\,dt$ est fini non nul ; il en résulte un biais de lissage en $\mathcal{O}(h^k)$ . On note enfin que $g_n=g_n^{(0)}$ , avec $\hat F^x=g_n^{(0)}/f_n$ et $\hat f^x=g_n^{(1)}/f_n$ .

Preuve de (3)

Les couples étant i.i.d., l'espérance de chaque terme est identique et

$\mathbb{E}\,g_n^{(0)}(x,y)=\frac{1}{h_K}\,\mathbb{E}\!\left[K\!\left(\tfrac{x-X}{h_K}\right)H\!\left(\tfrac{y-Y}{h_H}\right)\right]=\frac{1}{h_K}\iint K\!\left(\tfrac{x-u}{h_K}\right)H\!\left(\tfrac{y-v}{h_H}\right)f(u)\,f^u(v)\,du\,dv.$

Intégration en $v$ . Posons $J(u,y)=\displaystyle\int H\!\left(\tfrac{y-v}{h_H}\right)f^u(v)\,dv$ . Une intégration par parties ( $H$ est une f.d.r. et $F^u$ une primitive de $f^u$ , les termes de bord étant nuls) puis le changement de variable $t=(y-v)/h_H$ donnent

$J(u,y)=\int F^u(y-h_H t)\,H^{(1)}(t)\,dt.$

Comme $H^{(1)}$ est un noyau d'ordre $k$ , un développement de Taylor de $F^u$ (suffisamment dérivable, hyp. (a)) donne, uniformément en $y\in S$ ,

$J(u,y)=F^u(y)+\frac{(-h_H)^{k}}{k!}\,F^{u\,(k)}(y)\!\int t^{k}H^{(1)}(t)\,dt+o(h_H^{k})=F^u(y)+\mathcal{O}(h_H^{k}).$

Intégration en $u$ . En posant $\varphi(u)=f(u)\,F^u(y)$ (de classe $\mathcal{C}^k$ d'après (a)-(b)) et en effectuant le changement $s=(x-u)/h_K$ , le noyau $K$ étant d'ordre $k$ :

$\mathbb{E}\,g_n^{(0)}(x,y)=\int K(s)\,\varphi(x-h_K s)\,ds+\mathcal{O}(h_H^{k})=\varphi(x)+\mathcal{O}(h_K^{k})+\mathcal{O}(h_H^{k}).$

Or $\varphi(x)=f(x)\,F^x(y)$ . D'où, uniformément en $y\in S$ ,

$\boxed{\sup_{y\in S}\left|F^x(y)f(x)-\mathbb{E}\,g_n(x,y)\right|=\mathcal{O}\!\left(h_K^{k}+h_H^{k}\right).}$

Preuve de (4)

De la même façon,

$\mathbb{E}\,g_n^{(1)}(x,y)=\frac{1}{h_H h_K}\iint K\!\left(\tfrac{x-u}{h_K}\right)H^{(1)}\!\left(\tfrac{y-v}{h_H}\right)f(u)\,f^u(v)\,du\,dv.$

En $v$ , avec $t=(y-v)/h_H$ et $H^{(1)}$ noyau d'ordre $k$ :

$\frac{1}{h_H}\int H^{(1)}\!\left(\tfrac{y-v}{h_H}\right)f^u(v)\,dv=\int H^{(1)}(t)\,f^u(y-h_H t)\,dt=f^u(y)+\mathcal{O}(h_H^{k}),$

uniformément (car $f^u=\partial_y F^u$ est $k$ fois dérivable, hyp. (a)).

En $u$ , avec $\psi(u)=f(u)\,f^u(y)\in\mathcal{C}^k$ et $K$ d'ordre $k$ :

$\mathbb{E}\,g_n^{(1)}(x,y)=\int K(s)\,\psi(x-h_K s)\,ds+\mathcal{O}(h_H^{k})=f(x)\,f^x(y)+\mathcal{O}(h_K^{k})+\mathcal{O}(h_H^{k}).$

D'où

$\boxed{\sup_{y\in S}\left|f^x(y)f(x)-\mathbb{E}\,g_n^{(1)}(x,y)\right|=\mathcal{O}\!\left(h_K^{k}+h_H^{k}\right).}$

Les hypothèses (c) (caractère lipschitzien et bornitude de $H^{(1)}$ ) et (d) ( $K$ borné, positif, intégrable) garantissent l'uniformité en $y\in S$ des développements ci-dessus.