All'inizio degli anni '60, il professore Bernard Widrow dell'Università di Stanford e il suo dottorando Ted Hoff condussero una ricerca rivoluzionaria nei campi dell'elaborazione del segnale e delle reti neurali. Il loro lavoro ha aperto la strada a un nuovo metodo di filtraggio adattivo, l'algoritmo LMS (Least Mean Square), che ha avuto un profondo impatto su molte tecnologie e applicazioni successive. Questa tecnologia non solo migliora l'efficienza della tecnologia di elaborazione del segnale, ma apre anche la strada allo sviluppo di moderne comunicazioni elettroniche e sistemi di controllo automatico.
La ricerca di Widrow e Hoff si è inizialmente basata sull'esplorazione di reti neurali a strato singolo, in particolare di un sistema chiamato ADALINE (Adaptive Linear Neuron). La "regola delta (Delta)" che hanno proposto consiste nell'utilizzare il metodo della discesa del gradiente per addestrare questo modello in modo che possa riconoscere i modelli. L’idea centrale di questa nuova tecnica è che possono adattare la rete a nuovi input regolando costantemente i pesi dei neuroni per ridurre al minimo l’errore tra i valori previsti e quelli effettivi.
L'applicazione riuscita di ADALINE li ha portati ad applicare questo principio alla risposta del filtro, che alla fine si è evoluto nell'algoritmo LMS.
L'algoritmo LMS è una tecnologia di filtraggio adattivo che si adatta principalmente per ridurre al minimo il valore quadratico medio del segnale di errore. Calcolando l'errore tra l'uscita effettiva del filtro e l'uscita desiderata, e quindi regolando i parametri del filtro in base a questo errore, questo metodo può far sì che il filtro si avvicini gradualmente alla soluzione ottimale. La chiave di questo processo è il meccanismo di feedback, poiché la regolazione del filtro dipende dal segnale di errore in quel momento.
Questa tecnica di filtro adattivo basata sulla discesa del gradiente non solo è facile da usare, ma funziona anche bene nella gestione dei cambiamenti dinamici del sistema.
In molti modi, l’algoritmo LMS può essere visto come un’implementazione del filtro di Wiener, ma minimizzare le dipendenze dagli errori non richiede il calcolo della correlazione incrociata o dell’autocorrelazione. Il filtro di Wiener raggiunge un filtraggio ottimale riducendo al minimo l'errore quadratico medio, preso in prestito dall'algoritmo LMS. La cosa più importante è che il vantaggio di LMS è che può regolare da solo i parametri del filtro per adattarsi ai cambiamenti ambientali senza conoscere la distribuzione del segnale.
L'emergere dell'algoritmo LMS non solo ha cambiato la direzione dello sviluppo della tecnologia di filtraggio, ma ha anche favorito la realizzazione di un gran numero di applicazioni, soprattutto nei campi delle comunicazioni, dell'elaborazione audio e dell'elaborazione delle immagini. Attraverso le caratteristiche di regolazione istantanea e di autoapprendimento, LMS conferisce al sistema maggiore flessibilità e adattabilità. Che si tratti di filtraggio del rumore ambientale o di miglioramento del segnale, i suoi scenari applicativi sono indispensabili.
Con il rapido progresso dell’intelligenza artificiale e dell’apprendimento automatico, molte tecnologie stanno ancora innovando e migliorando gli algoritmi LMS. Nella frontiera tecnologica in continua evoluzione, in che modo i futuri filtri adattivi ottimizzeranno e integreranno ulteriormente le nuove tecnologie algoritmiche? Questa è una questione importante degna di considerazione da parte dei futuri ricercatori.