|
Distance de Kullback-Leibler entre deux distributions
|
Accueil Précédent Suivant |
|
|
| Pour effectuer l'estimation des erreurs de généralisation des modèles par validation croisée, il
|
| est nécessaire de disposer d'un ensemble d'exemples non utilisés pour l'apprentissage. Pour
|
| que cette estimation soit la meilleure possible, il est nécessaire que cet ensemble de validation
|
| soit statistiquement représentatif de l'ensemble d'apprentissage, et réciproquement.
|
| Cette représentativité sera d'autant plus grande que la distance qui les sépare est plus petite.
|
| La distance de kullback-Leibler est une méthode d'évaluation de cette distance. Elle est
|
| définie par :
|
|
|
|
|
|
| Cette expression étant dissymétrique par rapport aux indices, on calcule :
|
|
|
|
|
|
| Lorsque les deux distributions sont des gaussiennes, on peut montrer que :
|
|
|
|
|
|
| Neuro One emploie cette expression pour évaluer la distance entre les ensembles d 'apprentissage et de validation croisée.
|