Fiche d’exercices 8

Fiche d’exercices de la séance 8 d’Introduction au Machine Learning.
Auteurs

Dr. El Hadji Bassirou TOURÉ · DMI/FST/UCAD

Fiche d’exercices — Séance 8 : les méthodes d’ensemble
Introduction au ML – Dr. El Hadji Bassirou TOURÉ – DMI \(\cdot\) FST \(\cdot\) UCAD \(\bullet\) Travail à la main, sans machine

Cette fiche reprend, exercice par exercice, les calculs de la Séance 8 : la sagesse de la foule (Condorcet), le bootstrap et l’évaluation out-of-bag, la variance d’une moyenne corrélée, la décorrélation de la forêt, le gradient boosting sur les résidus, puis le choix raisonné d’un modèle. Répondre directement sur la fiche.

Aides numériques (valables pour toute la fiche). Majorité de \(M\) votants indépendants, chacun juste avec probabilité \(p\) : \(P = \sum_{k>M/2}\binom{M}{k}p^k(1-p)^{M-k}\), avec \(\binom{3}{2}=3\), \(\binom{5}{3}=10\), \(\binom{5}{4}=5\). Puissances utiles : \(0{,}7^2=0{,}49\) ; \(0{,}7^3=0{,}343\) ; \(0{,}7^4=0{,}2401\) ; \(0{,}7^5=0{,}16807\) ; \(0{,}4^2=0{,}16\) ; \(0{,}4^3=0{,}064\) ; \((7/8)^8=0{,}344\) ; \((3/4)^4=0{,}316\) ; \(1/e=0{,}368\). Variance d’une moyenne de \(B\) modèles de variance \(\sigma^2\) et de corrélation \(\rho\) : \(\ \rho\,\sigma^2 + \dfrac{1-\rho}{B}\,\sigma^2\).

Exercice 1 – La sagesse de la foule

Des agents de santé indépendants posent chacun un diagnostic juste avec probabilité \(p\) ; la décision est prise à la majorité.

  1. Avec \(M=3\) agents et \(p=0{,}7\) : écrire les deux cas où la majorité a raison (\(3\) justes, ou exactement \(2\) justes), puis calculer \(P(\text{majorité correcte})\).

Espace de calcul :

\(P =\)

  1. Avec \(M=5\) et \(p=0{,}7\), calculer \(P\). Que constate-t-on en passant de \(3\) à \(5\) agents ?

Espace de calcul :

\(P =\)

  1. Avec \(M=3\) et \(p=0{,}4\), calculer \(P\) et comparer à \(p\).

Espace de calcul :

\(P =\)

  1. Cinq agents qui se concertent et rendent toujours le même avis (\(p=0{,}7\)) : que vaut leur majorité ? Quelle hypothèse de la formule est violée ?

Exercice 2 – Le bootstrap à la main

Huit patients numérotés \(1\) à \(8\). Un échantillon bootstrap tire \(8\) fois avec remise : \(\{1,\ 3,\ 3,\ 4,\ 6,\ 6,\ 6,\ 8\}\).

  1. Quels patients sont vus ? Lesquels sont out-of-bag (OOB) ? Quel patient pèse le plus lourd dans cet arbre ?

vus : OOB : le plus lourd :

  1. Pourquoi un patient OOB peut-il servir à évaluer honnêtement cet arbre ?

  1. La probabilité qu’un patient donné soit absent d’un tirage de taille \(n\) vaut \((1-1/n)^n\). La calculer pour \(n=4\) et \(n=8\) (aides), puis donner la limite quand \(n\) devient grand. Comparer avec la proportion observée en (a).

Espace de calcul :

\(n=4\) : \(n=8\) : limite : observé :

Exercice 3 – La variance d’une moyenne corrélée

Chaque arbre a une variance \(\sigma^2 = 0{,}04\). On fait la moyenne de \(B\) arbres deux à deux corrélés au coefficient \(\rho\).

  1. Compléter le tableau (variance de la moyenne).
corrélation \(\rho\) \(B=10\) \(B=100\) limite (\(B\to\infty\))
\(1{,}0\) (arbres identiques)
\(0{,}5\) (bagging)
\(0{,}1\) (forêt décorrélée)
\(0{,}0\) (indépendants)

Espace de calcul :

  1. Passer de \(10\) à \(100\) arbres avec \(\rho=0{,}5\), ou garder \(10\) arbres en ramenant \(\rho\) à \(0{,}1\) : laquelle des deux stratégies réduit le plus la variance ?

  1. En déduire en une phrase la raison d’être de la forêt aléatoire.

Exercice 4 – La forêt : décorréler par max_features

  1. La valeur par défaut de max_features en classification est \(\sqrt d\). Combien de variables candidates par coupure pour \(d=16\) ? pour \(d=9\) ?

  2. Deux forêts sur le même problème : forêt A, max_features=2, AUC CV \(0{,}78\) ; forêt B, max_features \(=\) toutes les variables, AUC CV \(0{,}73\). Les arbres de B sont individuellement meilleurs. Expliquer pourquoi l’ensemble B est pourtant moins bon.

  1. À quel algorithme déjà vu la forêt B est-elle en fait équivalente ?

  1. Une variable « numéro de dossier » (identifiant unique) sort première au classement d’importance par impureté. Faut-il la garder ? Pourquoi ce classement est-il trompeur ?

Exercice 5 – Le gradient boosting à la main

Jouet de régression : \(x=(1,2,3,4)\), \(y=(1,2,6,7)\). On part d’une constante \(F_0\), puis on ajoute des souches (arbres de profondeur \(1\)) ajustées sur les résidus.

  1. Calculer \(F_0 = \bar y\), les résidus \(r_1 = y - F_0\) et la MSE de départ.

Espace de calcul :

\(F_0=\) \(r_1=\) MSE\(_0=\)

  1. Trois coupures sont possibles : \(x=1{,}5\), \(x=2{,}5\), \(x=3{,}5\). Pour chacune, la souche prédit la moyenne des résidus de chaque côté. Compléter le tableau (SSE \(=\) somme des carrés des écarts aux moyennes) et désigner la meilleure.
coupure moyenne à gauche moyenne à droite SSE
\(1{,}5\)
\(2{,}5\)
\(3{,}5\)

Espace de calcul :

  1. Avec un taux d’apprentissage \(\nu=1\), calculer \(F_1 = F_0 + h_1\), les nouveaux résidus et la MSE. Refaire avec \(\nu=0{,}5\).
\(F_1\) \(r_2 = y - F_1\) MSE\(_1\)
\(\nu = 1\)
\(\nu = 0{,}5\)

Espace de calcul :

  1. Le pas \(\nu=0{,}5\) progresse moins vite. Pourquoi le préfère-t-on souvent ? Quel hyperparamètre faut-il alors augmenter ?

  1. La prédiction finale est-elle la moyenne ou la somme des arbres ? Comparer au bagging.

Exercice 6 – Bagging contre boosting

Compléter le tableau comparatif.

critère bagging / forêt boosting
arbres entraînés en parallèle ou en série ?
arbres profonds ou peu profonds ?
réduit surtout le biais ou la variance ?
agrégation des arbres
trop d’arbres fait-il sur-apprendre ?

Exercice 7 – Choisir un modèle : le principe de parcimonie

Deux problèmes, trois modèles évalués par validation croisée à \(5\) plis (AUC moyenne \(\pm\) écart-type).

logistique forêt gradient boosting
problème 1 (dépistage de l’anémie) \(0{,}74 \pm 0{,}02\) \(0{,}75\pm 0{,}02\) \(0{,}84\pm 0{,}02\)
problème 2 (réadmission à Thiès) \(0{,}81 \pm 0{,}02\) \(0{,}80\pm 0{,}03\) \(0{,}82\pm 0{,}02\)
  1. Pour chaque problème, quel modèle retenir ? Justifier en tenant compte des écarts-types.

  1. Que peut-on deviner de la nature du signal dans chacun des deux problèmes ?

Pour cette séance

Le cours

À lire en ligne

Retour au sommet