Discussion on "Minimal penalties and the slope heuristic: a survey" by Sylvain Arlot
Résumé
Discussion of Arlot's survey
Birgé and Massart proposed in 2001 the slope heuristics as a way to choose optimally from data an unknownmultiplicative constant in front of a penalty. It is built upon the notion of minimal penalty, and it has been generalizedsince to some “minimal-penalty algorithms”. This article reviews the theoretical results obtained for such algorithms,with a self-contained proof in the simplest framework, precise proof ideas for further generalizations, and a few newresults. Explicit connections are made with residual-variance estimators —with an original contribution on this topic,showing that for this task the slope heuristics performs almost as well as a residual-based estimator with the bestmodel choice— and some classical algorithms such as L-curve or elbow heuristics, Mallows’Cp, and Akaike’s FPE.Practical issues are also addressed, including two new practical definitions of minimal-penalty algorithms that arecompared on synthetic data to previously-proposed definitions. Finally, several conjectures and open problems aresuggested as future research directions
Birgé et Massart ont proposé en 2001 l’heuristique de pente, pour déterminer à l’aide des données une constante multiplicative optimale devant une pénalité en sélection de modèles. Cette heuristique s’appuie sur la notion de pénalité minimale, et elle a depuis été généralisée en “algorithmes à base de pénalités minimales”. Cet article passe en revue les résultats théoriques obtenus sur ces algorithmes, avec une preuve complète dans le cadre le plus simple, des idées de preuves précises pour généraliser ce résultat au-delà des cadres déjà étudiés, et quelques résultats nouveaux. Des liens sont faits avec les méthodes d’estimation de la variance résiduelle (avec une contribution originale sur ce thème, qui démontre que l’heuristique de pente produit un estimateur de la variance quasiment aussi bon qu’un estimateur fondé sur les résidus d’un modèle oracle) ainsi qu’avec plusieurs algorithmes classiques tels que les heuristiques de coude (ou de courbe en L),Cp de Mallows et FPE d’Akaike. Les questions de mise en œuvre pratiques ont également étudiées, avec notamment la proposition de deux nouvelles définitions pratiques pour des algorithmes à base de pénalités minimales et leur comparaison aux définitions précédentes sur des données simulées. Enfin, des conjectures et problèmes ouverts sont proposés comme pistes de recherche pour l’avenir.