Language
Country/Area
No result found
Redécouvrir le mystère de l’espace de Hilbert à noyau : pourquoi est-il plus attrayant que l’espace de produit scalaire traditionnel ?
Les méthodes du noyau sont de plus en plus utilisées dans les domaines des statistiques et de l’apprentissage automatique. Cette méthode est principalement basée sur l’hypothèse d’un espace de produit interne et améliore les performances de prédiction en modélisant la structure de similarité des échantillons d’entrée. Lorsque nous parlons de méthodes traditionnelles telles que les machines à vecteurs de support (SVM), les définitions originales de ces méthodes et leurs procédures de régularisation n'étaient pas issues d'une perspective bayésienne. Cependant, d’un point de vue bayésien, la compréhension du contexte de ces méthodes apporte des informations importantes.
L’introduction des méthodes du noyau améliore non seulement les performances de diverses machines d’apprentissage, mais offre également une nouvelle perspective pour la base théorique de l’apprentissage automatique.
Les propriétés du noyau sont diverses et pas nécessairement semi-définies, ce qui signifie que la structure qui le sous-tend peut aller au-delà de l'espace de produit interne traditionnel et se tourner vers l'espace de Hilbert à noyau répété plus général (RKHS). Dans la théorie des probabilités bayésiennes, les méthodes du noyau deviennent un élément clé des processus gaussiens, où la fonction du noyau est appelée fonction de covariance. Dans le passé, les méthodes du noyau ont été traditionnellement utilisées pour les problèmes d’apprentissage supervisé, qui impliquent généralement un espace d’entrée de type vectoriel et un espace de sortie de type scalaire. Ces dernières années, ces méthodes ont été étendues pour gérer des problèmes à sorties multiples, tels que l’apprentissage multi-tâches.
Analyse des problèmes d'apprentissage supervisé
La tâche principale de l’apprentissage supervisé est d’estimer la sortie d’un nouveau point d’entrée en fonction des données d’entrée et de sortie de l’ensemble d’apprentissage. Par exemple, étant donné un nouveau point d'entrée x', nous devons apprendre un estimateur de valeur scalaire _f(x'), et cette estimation est basée sur un ensemble d’entraînement S. Cet ensemble d'apprentissage est composé de n paires entrée-sortie, représentées par S = (X, Y) = (x1, y1), …, (xn, yn). Une méthode d’estimation courante consiste à utiliser une fonction bivariée symétrique et positive k(⋅, ⋅), souvent appelée fonction noyau.
Le défi de l’apprentissage supervisé est de savoir comment apprendre efficacement à partir de paires entrée-sortie connues et appliquer cet apprentissage à des points de données invisibles.
Perspective de régularisation
Dans le cadre régularisé, l’hypothèse principale est que l’ensemble des fonctions F est contenu dans un espace de Hilbert à noyau répétitif Hk. Les propriétés de l'espace de Hilbert à noyau répétitif le rendent encore plus attrayant. Tout d'abord, la propriété « répétitive » ici garantit que nous pouvons exprimer n'importe quelle fonction par une combinaison linéaire de fonctions à noyau. Deuxièmement, ces fonctions se situent dans la clôture des combinaisons linéaires en des points donnés, ce qui signifie que nous pouvons construire des modèles linéaires et linéaires généralisés. Troisièmement, la norme carrée de cet espace peut être utilisée pour mesurer la complexité d’une fonction.
L'espace de Hilbert à noyau répété offre non seulement une flexibilité dans la représentation des fonctions, mais fournit également un cadre réalisable pour l'équilibre entre la complexité du modèle.
Exportation de l'estimateur
La forme explicite de l'estimateur est obtenue en résolvant une procédure de minimisation de la fonction de régularisation. Cette fonction de régularisation se compose de deux parties principales : d'une part, elle prend en compte l'erreur quadratique moyenne de prédiction ; d'autre part, c'est une norme qui contrôle la complexité du modèle via le paramètre de régularisation. Le paramètre de régularisation λ détermine dans quelle mesure pénaliser la complexité et l'instabilité dans l'espace de Hilbert à noyau répétitif.
De cette façon, nous pouvons non seulement obtenir des estimations valides, mais également réduire considérablement le risque de surajustement.
Sur la base de la combinaison de ces théories, la méthode d'estimation de l'espace de Hilbert à noyau répété est adoptée, ce qui permet de passer de la vision traditionnelle à la perspective bayésienne. Ainsi, qu’il s’agisse de régularisation ou d’inférence bayésienne, nous pouvons éventuellement obtenir des estimateurs approximativement équivalents. Cette relation réciproque montre sans aucun doute le potentiel des méthodes à noyau dans le développement d’une famille diversifiée de modèles d’apprentissage automatique.
À l’avenir, à mesure que les données et la puissance de calcul augmenteront, ces méthodes deviendront-elles des jalons importants dans l’évolution de l’apprentissage automatique ?
