Sujet: Montrer que la régression ridge et la régression lasso réalisent de “meilleures” prédictions que le modèle linéaire.

Vous réaliserez une étude empirique ainsi qu'une étude théorique (uniquement avec la régression ridge pour la partie théorique).

Simuler des données sous hypothèse du modèle linéaire en faisant varier la difficulté du problème ainsi que la structure de corrélation de vos données.

Vous pourrez utiliser comme documentation les quelques pages rédigées par Julien Chiquet:

http://stat.genopole.cnrs.fr/_media/members/jchiquet/teachings/ridge.pdf

Calculer le biais et la variance théorique des estimateurs de la régression ridge sous hypothèse de design orthogonal et comparer avec la régression linéaire classique.

Vous rédigerez un rapport (introduction, conclusion, figures choisies) d'une dizaine de pages relatant vos observations, critiques et calculs.