Language
Country/Area
No result found
ourquoi l’apprentissage de tâches « différentes » peut-il aider le modèle à améliorer sa précision
Dans le domaine de l’apprentissage automatique, l’apprentissage multitâche (MTL) est devenu une direction de recherche et développement très attendue. L’idée principale de cette approche est de résoudre plusieurs tâches d’apprentissage simultanément et d’exploiter les points communs et les différences entre les tâches. Comparé à la formation du modèle seul, MTL peut améliorer considérablement l’efficacité de l’apprentissage et la précision des prédictions. Les premières versions de l’apprentissage multitâche étaient appelées « indices » et ont été proposées pour la première fois par Rich Caruana en 1997, dans son article décrivant comment MTL améliore la généralisation en apprenant en parallèle et en partageant des représentations.
« L’apprentissage multitâche est une méthode permettant d’améliorer le raisonnement en exploitant les informations du domaine provenant des signaux d’entraînement des tâches connexes comme biais d’inférence. »
Dans le contexte de la classification, l’apprentissage multi-tâches vise à améliorer les performances de plusieurs tâches de classification par l’apprentissage conjoint. Par exemple, pour un filtre anti-spam destiné à différents utilisateurs, chaque utilisateur peut avoir une distribution différente des fonctionnalités d'identification du spam. Pour les anglophones, tous les e-mails russes peuvent être considérés comme du spam, mais cela ne s'applique pas aux russophones. Il existe néanmoins des caractéristiques communes évidentes dans cette tâche de classification, telles que les symboles textuels liés au transfert d'argent. En résolvant conjointement les problèmes de classification du spam de chaque utilisateur via MTL, les solutions peuvent s'influencer mutuellement, améliorant ainsi les performances.
Cependant, l’un des principaux défis de l’apprentissage multitâche réside dans la manière d’intégrer les signaux d’apprentissage de plusieurs tâches dans un seul modèle. Cette partie dépend en grande partie de la cohérence ou de la contradiction entre les différentes tâches. Dans le contexte du MTL, les informations peuvent être partagées de manière sélective en fonction de la pertinence de la tâche.
« Les informations sont extraites grâce à la combinaison et au chevauchement des tâches, et les données peuvent être partagées de manière sélective en fonction de la structure des dépendances des tâches. »
Plus précisément, les tâches peuvent être regroupées selon une mesure générale ou exister dans une hiérarchie. Par exemple, le vecteur de paramètres de chaque tâche peut être modélisé comme une combinaison linéaire d’une certaine base. Le chevauchement des tâches connexes montre les points communs entre les tâches, sur la base desquels la combinaison de tâches peut être effectuée dans un sous-espace généré par un certain élément de base. Dans une telle structure, différentes tâches peuvent être disjointes ou se chevaucher.
Explorez le potentiel de tâches non liées
En plus des tâches connexes, MTL peut également exploiter le potentiel de tâches non liées. En utilisant des tâches auxiliaires indépendantes, quelle que soit leur nature, nous pouvons toujours bénéficier des avantages de l’apprentissage conjoint dans nos applications. Le raisonnement derrière cela est que la connaissance préalable des corrélations entre les tâches peut conduire à une représentation plus éparse et informative pour chaque combinaison de tâches.
« Dans les expériences avec des données synthétiques et réelles, les modèles qui incluent des tâches non liées surpassent considérablement les méthodes d'apprentissage multitâches standard. »
Le concept de transfert de connaissances
Le concept de transfert de connaissances est étroitement lié à l’apprentissage multitâche. L’apprentissage multitâche traditionnel implique le développement de représentations partagées entre les tâches en parallèle, tandis que le transfert de connaissances implique une représentation partagée séquentielle. Dans les applications pratiques, les projets d’apprentissage automatique à grande échelle tels que le réseau neuronal convolutionnel profond GoogLeNet peuvent développer des représentations robustes, qui seront d’une grande aide pour d’autres algorithmes d’apprentissage pour les tâches connexes.
Par exemple, des modèles pré-entraînés peuvent être utilisés comme extracteurs de fonctionnalités pour effectuer un prétraitement pour d’autres algorithmes d’apprentissage. Des modèles pré-entraînés peuvent également être utilisés pour initialiser des modèles avec des structures similaires, puis affinés pour apprendre différentes tâches de classification.
Optimisation et défis multitâches
Dans certains cas, l’entraînement simultané de tâches apparemment liées peut nuire aux performances par rapport aux modèles à tâche unique. Pour résoudre ces conflits, diverses méthodes d’optimisation MTL doivent être utilisées pour minimiser l’impact de ce problème. D'une manière générale, pour chaque tâche, les gradients calculés sont finalement fusionnés dans une direction de mise à jour conjointe via divers algorithmes d'agrégation ou méthodes heuristiques.
Avec les progrès de la technologie et les recherches approfondies sur l'apprentissage multitâche, nous ne pouvons nous empêcher de nous demander : comment l'apprentissage multitâche améliorera-t-il encore la précision et la portée d'application de nos modèles d'apprentissage automatique à l'avenir ?
