Fiche d’exercices 11

Fiche d’exercices de la séance 11 d’Introduction au Machine Learning.
Auteurs

Dr. El Hadji Bassirou TOURÉ · DMI/FST/UCAD

Fiche d’exercices — Séance 11 : le projet de bout en bout
Introduction au ML – Dr. El Hadji Bassirou TOURÉ – DMI \(\cdot\) FST \(\cdot\) UCAD \(\bullet\) Travail à la main, sans machine

Cette fiche reprend, étape par étape, la démarche de la Séance 11 : cadrer, battre une baseline, sceller le test et éviter les fuites, comparer les modèles loyalement, ouvrir le test et déjouer le piège de l’accuracy, choisir le seuil par le coût métier, puis interpréter et présenter. Répondre directement sur la fiche.

Aides numériques (valables pour toute la fiche). Accuracy \(=\dfrac{\text{VP}+\text{VN}}{n}\) ; precision \(=\dfrac{\text{VP}}{\text{VP}+\text{FP}}\) ; recall (rappel) \(=\dfrac{\text{VP}}{\text{VP}+\text{FN}}\) ; \(F_1 = \dfrac{2\,\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}}\). Coût total d’une décision : \(\ c_{\text{FN}}\times\text{FN} + c_{\text{FP}}\times\text{FP}\).

Exercice 1 – Cadrer le problème

Pour chacun des trois projets du district sanitaire de Kolda, préciser la tâche, la métrique principale, la baseline à battre et la contrainte métier qui compte.

projet tâche métrique baseline contrainte métier
Prévoir la durée d’hospitalisation (en jours).
Dépister la tuberculose (prévalence \(4\,\%\)).
Regrouper les patients en profils, sans étiquette.

Exercice 2 – La baseline, juge de paix

Le registre du dépistage de la tuberculose compte \(2\,500\) patients, dont \(100\) positifs.

  1. Calculer l’accuracy de la baseline « toujours négatif », puis son recall.

Espace de calcul :

accuracy \(=\) recall \(=\)

  1. Un stagiaire annonce fièrement « mon modèle a \(95\,\%\) d’accuracy ». Que répondre ?

  1. Quelle baseline utiliser pour l’AUC ? Et pour une régression (durée d’hospitalisation) ?

Exercice 3 – Sceller le test, préparer sans tricher

  1. Remettre dans l’ordre les étapes d’un projet propre : (1) comparer les modèles en validation croisée ; (2) sceller \(20\,\%\) des données comme test (split stratifié) ; (3) cadrer ; (4) évaluer une seule fois sur le test ; (5) régler le meilleur candidat (GridSearchCV) ; (6) explorer les données d’entraînement (EDA) ; (7) interpréter et présenter.

Ordre :

  1. Pour chaque pratique, dire s’il y a fuite et laquelle.
pratique fuite ? laquelle ?
Standardiser les \(2\,500\) patients, puis découper train/test.
Garder la variable « traitement antituberculeux prescrit ».
Imputer, standardiser et modéliser dans un seul Pipeline passé à la validation croisée.
Regarder le score de test après chaque essai de réglage, « juste pour voir ».

Exercice 4 – Comparer les modèles loyalement

Cinq modèles sont évalués sur l’entraînement par validation croisée stratifiée à \(5\) plis (AUC moyenne \(\pm\) écart-type) :

modèle AUC CV
régression logistique \(0{,}781 \pm 0{,}018\)
arbre de décision réglé \(0{,}742 \pm 0{,}021\)
forêt aléatoire \(0{,}776 \pm 0{,}015\)
gradient boosting \(0{,}788 \pm 0{,}020\)
réseau \(16\)–\(8\) \(0{,}779 \pm 0{,}026\)
  1. Quels modèles sont réellement distinguables des autres ? Lesquels forment un peloton de tête indistinct ?

  1. Quel candidat retenir pour la suite, et sur quel argument, si l’on tient compte de l’interprétabilité ?

  1. Pourquoi aurait-il été déloyal de comparer ces modèles sur un seul découpage, ou avec un réglage fin pour certains seulement ?

Exercice 5 – Ouvrir le test scellé : le piège de l’accuracy

Le modèle retenu est enfin évalué, une seule fois, sur le test scellé : \(500\) patients, dont \(60\) malades. AUC de test : \(0{,}79\).

seuil VN FP FN VP accuracy precision recall \(F_1\)
\(0{,}5\) \(438\) \(2\) \(58\) \(2\)
\(0{,}2\) \(380\) \(60\) \(18\) \(42\)
  1. Compléter le tableau.

Espace de calcul :

  1. Au seuil \(0{,}5\), le modèle affiche \(88\,\%\) d’accuracy. Que fait-il réellement ? Le comparer à la baseline « toujours sain ».

  1. L’AUC de \(0{,}79\) est-elle contredite par ce désastre au seuil \(0{,}5\) ? Expliquer.

Exercice 6 – Choisir le seuil par le coût métier

Pour le programme de lutte contre la tuberculose, un malade manqué (FN) coûte \(10\) fois plus qu’une fausse alerte (FP), qui n’entraîne qu’un examen de confirmation. On pose \(c_{\text{FP}} = 1\), \(c_{\text{FN}} = 10\).

  1. Calculer le coût total aux seuils \(0{,}5\) et \(0{,}2\) (tableau de l’Exercice 5). Quel seuil retenir ?

Espace de calcul :

coût au seuil \(0{,}5\) \(=\) coût au seuil \(0{,}2\) \(=\)

  1. À partir de quel rapport \(c_{\text{FN}}/c_{\text{FP}}\) les deux seuils coûteraient-ils autant ? Interpréter.

Espace de calcul :

rapport \(=\)

  1. Ce seuil a été comparé ici sur le test. Dans un vrai projet, où aurait-il dû être choisi ?

Exercice 7 – Interpréter et présenter

L’importance des variables du modèle retenu est la suivante :

variable importance
toux de plus de deux semaines \(0{,}41\)
perte de poids \(0{,}22\)
numéro de dossier \(0{,}18\)
contact avec un cas connu \(0{,}12\)
âge \(0{,}07\)
  1. Quelles importances sont cohérentes avec ce que l’EDA et le métier laissaient attendre ?

  1. Une variable est suspecte. Laquelle, pourquoi, et que faire ?

  1. Rédiger en trois phrases la conclusion à présenter au médecin-chef du district (performance, seuil choisi et son coût, facteurs de risque).

Pour cette séance

Le cours

À lire en ligne

Retour au sommet