📚 الرئيسية
دخول

مسابقة دكتوراه 2025 — École Nationale Supérieure de Statistique et d'Économie Appliquée (ENSSEA) — الموضوع 03

مسابقة تخصص · Probabilités & Statistiques · المدة: 2سا

⬇️ تحميل☆ حفظ

Concours d'Accès à la Formation Doctorale 2024/2025, ENSSEA, Spécialité Statistiques Appliquée et Data Science, Épreuve Introduction à l'Apprentissage Statistique (Durée 2 heures).

التمرين 1

Exercice 1 — K-means : robustesse et initialisation

#k-means#clustering#initialization#robustness

(06 points) On vous donne deux jeux de données exemples, chacun composé de 1000 points en deux dimensions. L'objectif est de trouver 4 clusters dans chacun d'eux.

  • Discutez de la robustesse de l'algorithme K-means par rapport à l'initialisation.
  • Proposez deux initialisations différentes pour chacun des jeux de données qui aboutiraient à des clusters qualitativement distincts. Esquissez (approximativement) les initialisations et les clusters résultants.
◀الحل

Solution

K-means est sensible à l'initialisation car il converge vers un minimum local. Deux initialisations différentes peuvent donner des partitions très différentes. Pour un jeu de données avec des clusters bien séparés, la plupart des initialisations convergent vers la même solution. Pour des clusters allongés ou de tailles inégales, K-means peut échouer. On peut utiliser K-means++ pour améliorer l'initialisation.

التمرين 2

Exercice 2 — SVM : noyau linéaire et classification

#svm#support-vectors#linear-kernel#polynomial-kernel

(06 points) Considérons les données suivantes : (xi,yi)(x_i, y_i), i∈{1,…,9}i \in \{1, \ldots, 9\}

x1=(69,5),y1=−1x_1 = \binom{6}{9{,}5}, y_1=-1; x2=(0,89,2),y2=−1x_2 = \binom{0{,}8}{9{,}2}, y_2=-1; x3=(1,86,5),y3=−1x_3 = \binom{1{,}8}{6{,}5}, y_3=-1

x4=(4,56,5),y4=−1x_4 = \binom{4{,}5}{6{,}5}, y_4=-1; x5=(75,5),y5=1x_5 = \binom{7}{5{,}5}, y_5=1; x6=(4,54),y6=1x_6 = \binom{4{,}5}{4}, y_6=1

x7=(93),y7=1x_7 = \binom{9}{3}, y_7=1; x8=(2,51,5),y8=1x_8 = \binom{2{,}5}{1{,}5}, y_8=1; x9=(5,50,5),y9=1x_9 = \binom{5{,}5}{0{,}5}, y_9=1

Q1. Tracez ces points sur un graphique. Q2. Supposons que nous souhaitons classer ces données à l'aide d'une machine à vecteurs de support (SVM) avec un noyau linéaire.

  • Définissez la fonction d'un noyau linéaire et d'un noyau polynomial.
  • Tracez le jeu de données, les marges géométriques maximales obtenues avec la SVM, l'hyperplan séparateur correspondant, et mettez en évidence les points de données qui servent de vecteurs de support. Q3. Donnez les valeurs des poids et du biais correspondant au discriminant linéaire qui maximise les marges géométriques tracées dans la question 2.
◀الحل

Q1.

On place les 9 points dans le plan. Les points y=−1y=-1 sont dans la partie supérieure et les y=1y=1 dans la partie inférieure.

Q2.

Noyau linéaire: K(x,x′)=xTx′K(x,x') = x^T x'. Noyau polynomial: K(x,x′)=(xTx′+c)dK(x,x') = (x^T x' + c)^d. L'hyperplan séparateur passe entre les deux groupes. Les vecteurs de support sont les points les plus proches de l'hyperplan.

Q3.

Les poids ww et le biais bb sont déterminés par les vecteurs de support. L'hyperplan est approximativement w1x1+w2x2+b=0w_1 x_1 + w_2 x_2 + b = 0 séparant les deux classes.

التمرين 3

Exercice 3 — Classification de produits eCommerce : prétraitement et boosting

#classification#data-preprocessing#smote#boosting#hyperparameter-tuning

(03 points) L'objectif de cette étude est de prédire la catégorie d'un produit sur une plateforme eCommerce en fonction de divers attributs liés à l'annonce. La société fournissant le jeu de données a anonymisé les caractéristiques.

En vous appuyant sur vos connaissances et les documents de la page 03, répondez aux questions suivantes :

Q1. Expliquez ce qu'est un jeu de données anonymisé. Quels sont ses avantages et ses défis, à la fois pour l'entreprise et pour le data scientist ? Q2. Analysez la distribution de la variable cible. Quel est le principal problème qui peut survenir avec ce type de distribution ? Quelles sont les solutions principales pour y remédier ? Q3. Sur la base des documents, quelles sont les différentes techniques de prétraitement proposées ? Q4. Expliquez comment fonctionne SMOTE et en quoi il diffère des autres techniques pour résoudre ce problème. Q5. Expliquez la métrique utilisée dans ce problème. Analysez les résultats du modèle en termes de cette métrique. Q6. Précisez le modèle utilisé et décrivez ses différences par rapport aux autres modèles de boosting. Q7. Précisez les différentes méthodes pour ajuster les hyperparamètres du modèle. Q8. Quelle méthode a été utilisée pour ajuster les hyperparamètres de ce modèle ? Expliquez chaque hyperparamètre proposé.

◀الحل

Q1.

Un jeu anonymisé masque les noms des features. Avantage: confidentialité. Défi: pas d'interprétation métier possible.

Q2.

Déséquilibre de classes. Solutions: sur-échantillonnage (SMOTE), sous-échantillonnage, pondération des classes.

Q3.

Normalisation, encodage, réduction de dimensionnalité, traitement des valeurs manquantes.

Q4.

SMOTE crée des exemples synthétiques en interpolant entre voisins proches de la classe minoritaire, contrairement au sur-échantillonnage naïf qui duplique.

Q5-Q8.

Métriques: F1-score macro. Modèle: XGBoost/LightGBM. Tuning: grid search, random search, ou Bayesian optimization.