Au début des années 1960, Bernard Widrow, professeur à l'Université de Stanford, et son doctorant Ted Hoff ont mené une recherche révolutionnaire dans les domaines du traitement du signal et des réseaux neuronaux. Leurs travaux ont donné naissance à une nouvelle méthode de filtrage adaptatif, l’algorithme des moindres carrés moyens (LMS), qui a eu un impact profond sur de nombreuses technologies et applications ultérieures. Cette technologie améliore non seulement l'efficacité de la technologie de traitement du signal, mais ouvre également la voie au développement de communications électroniques modernes et de systèmes de contrôle automatique.
Les recherches de Widrow et Hoff étaient initialement basées sur leur exploration des réseaux neuronaux à couche unique, en particulier un système appelé ADALINE (Adaptive Linear Neuron). La « règle delta (Delta) » qu'ils ont proposée consiste à utiliser la méthode de descente de gradient pour entraîner ce modèle afin qu'il puisse reconnaître des modèles. L'idée centrale de cette nouvelle technique est qu'elle peut adapter le réseau à de nouvelles entrées en ajustant constamment le poids des neurones pour minimiser l'erreur entre les valeurs prédites et réelles.
Leur application réussie d'ADALINE les a amenés à appliquer ce principe pour filtrer la réponse, qui a finalement évolué vers l'algorithme LMS.
L'algorithme LMS est une technologie de filtrage adaptatif qui s'ajuste principalement pour minimiser la valeur quadratique moyenne du signal d'erreur. En calculant l'erreur entre la sortie réelle du filtre et la sortie souhaitée, puis en ajustant les paramètres du filtre en fonction de cette erreur, cette méthode peut amener le filtre à se rapprocher progressivement de la solution optimale. La clé de ce processus est le mécanisme de rétroaction, car l'ajustement du filtre dépend du signal d'erreur à l'heure actuelle.
Cette technique de filtre adaptatif basée sur la descente de gradient est non seulement facile à utiliser, mais fonctionne également bien dans la gestion des changements dynamiques du système.
À bien des égards, l’algorithme LMS peut être considéré comme une implémentation du filtre Wiener, mais la minimisation des dépendances aux erreurs ne nécessite pas le calcul d’une corrélation croisée ou d’une autocorrélation. Le filtre Wiener permet d'obtenir un filtrage optimal en minimisant l'erreur quadratique moyenne, empruntée à l'algorithme LMS. Le plus important est que l'avantage du LMS est qu'il peut ajuster lui-même les paramètres du filtre pour s'adapter aux changements environnementaux sans connaître la distribution du signal.
L'émergence de l'algorithme LMS a non seulement changé l'orientation du développement de la technologie de filtrage, mais a également favorisé la réalisation d'un grand nombre d'applications, notamment dans les domaines des communications, du traitement audio et du traitement d'images. Grâce aux caractéristiques d’ajustement instantané et d’auto-apprentissage, LMS confère au système une plus grande flexibilité et adaptabilité. Qu'il s'agisse de filtrage du bruit ambiant ou d'amélioration du signal, ses scénarios d'application sont indispensables.
Avec les progrès rapides de l’intelligence artificielle et de l’apprentissage automatique, de nombreuses technologies continuent d’innover et de s’améliorer autour des algorithmes LMS. Dans un contexte technologique en constante évolution, comment les futurs filtres adaptatifs optimiseront-ils et intégreront-ils davantage les nouvelles technologies algorithmiques ? Il s’agit d’une question importante qui mérite d’être étudiée par les futurs chercheurs.