Modèle additif

En statistiques, le modèle additif (MA, ou AM pour Additive Model) est une méthode de régression non paramétrique. Il a été suggéré par Jerome H. Friedman et Werner Stuetzle et est utilisé par l'algorithme ACE. Le modèle additif utilise un lissage unidimensionnel pour construire une classe restreinte de modèles de régression non paramétriques. De ce fait, il est moins affecté par le fléau de la dimension que, par exemple, un lissage p-dimensionnel. De plus, le modèle additif est plus flexible qu'un modèle linéaire standard, tout en étant plus interprétable qu'une surface de régression générale. Les difficultés liées aux modèles additifs, comme de nombreuses autres méthodes d'apprentissage automatique, incluent la sélection de modèles, le surapprentissage et la multicolinéarité.

Description

Sachant un ensemble de données $\{y_{i},\,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}$ de $n$ unités statistiques, où $\{x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}$ représentent des prédicteurs et $y_{i}$ est le résultat, le modèle additif prend la forme

$\mathrm {E} [y_{i}|x_{i1},\ldots ,x_{ip}]=\beta _{0}+\sum _{j=1}^{p}f_{j}(x_{ij})$

ou

$Y=\beta _{0}+\sum _{j=1}^{p}f_{j}(X_{j})+\varepsilon$

Où $\mathrm {E} [\epsilon ]=0$, $\mathrm {Var} (\epsilon )=\sigma ^{2}$ et $\mathrm {E} [f_{j}(X_{j})]=0$. Les fonctions $f_{j}(x_{ij})$ sont des fonctions lisses inconnues ajustées à partir des données. L'ajustement du modèle additif (c'est-à-dire les fonctions $f_{j}(x_{ij})$) peut être fait en utilisant l'algorithme de réaménagement proposé par Andreas Buja, Trevor Hastie et Robert Tibshirani.

Voir également

• Modèle additif généralisé
• Poursuite de projection

Bibliographie

• Breiman, L. et Friedman, JH (1985). "Estimating Optimal Transformations for Multiple Regression and Correlation", Journal of the American Statistical Association 80:580 – 598. DOI 10.1080/01621459.1985.10478157