Fiche d’exercices 5
Fiche d’exercices — Séance 5 : la régression linéaire
Introduction au ML – Dr. El Hadji Bassirou TOURÉ – DMI \(\cdot\) FST \(\cdot\) UCAD \(\bullet\) Travail à la main, sans machine
Cette fiche reprend, exercice par exercice, les calculs de la Séance 5 : lire un coefficient et prédire terme à terme, comparer deux droites par la MSE, la droite plate, l’équation normale à une variable, une itération de descente de gradient, les métriques MAE/RMSE/R², puis l’effet de la régularisation. Répondre directement sur la fiche.
Rappels utiles (valables pour toute la fiche).
- Modèle linéaire : \(\hat y = b + w_1 x_1 + \dots + w_d x_d\). Résidu d’un point : \(y - \hat y\).
- Erreur quadratique moyenne : \(\mathrm{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat y_i)^2\). \(\mathrm{RMSE} = \sqrt{\mathrm{MSE}}\). \(\mathrm{MAE} = \frac{1}{n}\sum_i |y_i - \hat y_i|\).
- Équation normale à une variable : \(\;a = \dfrac{\sum_i (x_i-\bar x)(y_i-\bar y)}{\sum_i (x_i-\bar x)^2}\), \(b = \bar y - a\,\bar x\).
- Descente de gradient (modèle \(\hat y = a x\), un paramètre) : gradient \(\;g = -\dfrac{2}{n}\sum_i x_i\,(y_i - a x_i)\), mise à jour \(a \leftarrow a - \eta\, g\).
- Coefficient de détermination : \(R^2 = 1 - \dfrac{\sum_i (y_i - \hat y_i)^2}{\sum_i (y_i - \bar y)^2}\).
Exercice 1 – Lire un coefficient et prédire
Un modèle prédit la durée d’hospitalisation (en jours) à partir de l’âge et de la glycémie d’un patient : \[\hat y = 1{,}2 \;+\; 0{,}05\,(\text{âge}) \;+\; 0{,}60\,(\text{glycémie}).\]
(a) Un patient de Ziguinchor a \(\text{âge} = 40\) ans et \(\text{glycémie} = 9{,}0\). Calculer sa durée prédite \(\hat y\), terme par terme.
Espace de calcul :
(b) Sa durée réelle a été \(y = 6{,}0\) jours. Calculer le résidu \(y - \hat y\). Le modèle a-t-il surestimé ou sous-estimé ?
(c) Interpréter le coefficient \(0{,}60\) de la glycémie en une phrase : que se passe-t-il sur la prédiction si la glycémie augmente d’une unité (l’âge restant fixe) ?
Exercice 2 – Comparer deux droites par leur MSE
On dispose de quatre patients du dispensaire de Thiès, avec une caractéristique \(x\) (standardisée) et la durée \(y\) :
| \(x_i\) | \(1\) | \(2\) | \(3\) | \(4\) |
|---|---|---|---|---|
| \(y_i\) | \(2{,}0\) | \(2{,}5\) | \(4{,}0\) | \(5{,}5\) |
On hésite entre deux droites : droite A : \(\hat y = 1 + x\) droite B : \(\hat y = 0{,}5 + 1{,}2\,x\).
(a) Compléter le tableau des prédictions et des erreurs pour chaque droite, puis calculer la MSE de chacune.
| \(x=1\) | \(x=2\) | \(x=3\) | \(x=4\) | MSE | |
|---|---|---|---|---|---|
| A : \(\hat y_i\) | |||||
| A : \(y_i - \hat y_i\) | |||||
| B : \(\hat y_i\) | |||||
| B : \(y_i - \hat y_i\) |
Espace de calcul :
(b) Laquelle des deux droites est la « meilleure » au sens de la MSE ? Justifier.
Exercice 3 – La droite plate (baseline)
La baseline d’une régression prédit, pour tout patient, la moyenne \(\bar y\) des durées observées. Sur quatre patients de Kaolack : \(\;y = (3{,}0,\ 5{,}0,\ 4{,}0,\ 8{,}0)\).
(a) Calculer la moyenne \(\bar y\).
(b) La droite plate prédit \(\hat y_i = \bar y\) pour chaque patient. Calculer sa MSE. (On remarquera que cette MSE est exactement la variance des \(y_i\).)
Espace de calcul :
(c) Quelle est la RMSE de cette baseline ? Dans quelle unité s’exprime-t-elle ?
Exercice 4 – L’équation normale à une variable
On cherche la meilleure droite \(\hat y = a x + b\) pour cinq patients de Saint-Louis :
| \(x_i\) | \(1\) | \(2\) | \(3\) | \(4\) | \(5\) |
|---|---|---|---|---|---|
| \(y_i\) | \(2{,}0\) | \(4{,}0\) | \(5{,}0\) | \(4{,}0\) | \(6{,}0\) |
(a) Calculer les moyennes \(\bar x\) et \(\bar y\).
(b) Compléter le tableau, puis calculer la pente \(a = \dfrac{\sum (x_i-\bar x)(y_i-\bar y)}{\sum (x_i-\bar x)^2}\).
| \(i=1\) | \(i=2\) | \(i=3\) | \(i=4\) | \(i=5\) | somme | |
|---|---|---|---|---|---|---|
| \(x_i - \bar x\) | ||||||
| \(y_i - \bar y\) | ||||||
| \((x_i-\bar x)(y_i-\bar y)\) | ||||||
| \((x_i-\bar x)^2\) |
Espace de calcul :
(c) En déduire l’ordonnée à l’origine \(b = \bar y - a\,\bar x\), puis écrire l’équation de la droite.
Exercice 5 – Une itération de descente de gradient
On ajuste un modèle sans biais à un seul paramètre, \(\hat y = a\,x\), sur trois points : \(\;x = (1, 2, 3)\), \(\;y = (2, 4, 6)\). Le critère est \(J(a) = \frac{1}{n}\sum_i (y_i - a x_i)^2\), et son gradient \(\;g = -\frac{2}{n}\sum_i x_i\,(y_i - a x_i)\).
(a) On part de \(a_0 = 0\). Calculer les prédictions \(\hat y_i = a_0 x_i\), puis le gradient \(g\) en ce point.
Espace de calcul :
(b) Avec un pas \(\eta = 0{,}1\), calculer la nouvelle valeur \(a_1 = a_0 - \eta\, g\).
(c) Vers quelle valeur de \(a\) cette descente va-t-elle converger ? (Indice : quelle pente passe exactement par les trois points ?)
Exercice 6 – MAE, RMSE et R²
Un modèle de régression a produit, sur quatre patients de Tivaouane, les durées réelles \(y\) et prédites \(\hat y\) :
| \(y_i\) | \(10\) | \(12\) | \(8\) | \(15\) |
|---|---|---|---|---|
| \(\hat y_i\) | \(11\) | \(11\) | \(9\) | \(13\) |
| \(y_i - \hat y_i\) |
(a) Compléter la ligne des erreurs, puis calculer la MAE et la RMSE.
Espace de calcul :
(b) La RMSE est-elle plus grande ou plus petite que la MAE ? Expliquer pourquoi en une phrase.
(c) Sachant que \(\bar y = 11{,}25\) et que \(\sum_i (y_i - \bar y)^2 = 26{,}75\), calculer le \(R^2\) du modèle. Le modèle fait-il mieux que la baseline-moyenne ?
Espace de calcul :
Exercice 7 – Ridge et Lasso
Sur un jeu de variables standardisées, on entraîne une régression Ridge avec différentes valeurs de \(\alpha\). On observe la pente associée à une variable :
| \(\alpha\) | \(0\) | \(1\) | \(10\) | \(100\) |
|---|---|---|---|---|
| pente obtenue | \(2{,}00\) | \(1{,}67\) | \(0{,}67\) | \(0{,}095\) |
(a) Décrire en une phrase l’effet de \(\alpha\) sur la pente, à la lecture du tableau.
(b) Vers quel modèle tend Ridge quand \(\alpha \to \infty\) ? Que vaut alors la prédiction pour tout patient ?
(c) Ridge réduit les coefficients sans les annuler ; Lasso, lui, peut mettre certains coefficients exactement à zéro. En une phrase, dire lequel des deux fait de la sélection de variables, et pourquoi c’est utile quand beaucoup de variables sont inutiles.
(d) Pourquoi faut-il standardiser les variables avant d’appliquer Ridge ou Lasso ? (Indice : la pénalité compare les coefficients entre eux.)
Pour cette séance
Le cours
À lire en ligne