Vào đầu những năm 1960, giáo sư Đại học Stanford Bernard Widrow và nghiên cứu sinh tiến sĩ Ted Hoff đã tiến hành một nghiên cứu mang tính cách mạng trong lĩnh vực xử lý tín hiệu và mạng lưới thần kinh. Công việc của họ đã đi tiên phong trong một phương pháp lọc thích ứng mới, thuật toán bình phương trung bình nhỏ nhất (LMS), có tác động sâu sắc đến nhiều công nghệ và ứng dụng tiếp theo. Công nghệ này không chỉ nâng cao hiệu quả của công nghệ xử lý tín hiệu mà còn mở đường cho sự phát triển của các hệ thống thông tin liên lạc điện tử và điều khiển tự động hiện đại.
Nghiên cứu của Widrow và Hoff ban đầu dựa trên việc khám phá mạng lưới thần kinh một lớp—cụ thể là một hệ thống có tên ADALINE (Nơ-ron tuyến tính thích ứng). "Quy tắc delta (Delta)" mà họ đề xuất là sử dụng phương pháp giảm độ dốc để huấn luyện mô hình này để nó có thể nhận ra các mẫu. Ý tưởng cốt lõi của kỹ thuật mới này là họ có thể điều chỉnh mạng cho phù hợp với các đầu vào mới bằng cách liên tục điều chỉnh trọng số của các nơ-ron để giảm thiểu sai số giữa giá trị dự đoán và giá trị thực tế.
Việc áp dụng thành công ADALINE đã khiến họ áp dụng nguyên tắc này để lọc phản hồi, cuối cùng phát triển thành thuật toán LMS.
Thuật toán LMS là một công nghệ lọc thích ứng chủ yếu điều chỉnh để giảm thiểu giá trị bình phương trung bình của tín hiệu lỗi. Bằng cách tính toán sai số giữa đầu ra thực tế của bộ lọc và đầu ra mong muốn, sau đó điều chỉnh các tham số của bộ lọc dựa trên sai số này, phương pháp này có thể làm cho bộ lọc dần dần tiếp cận giải pháp tối ưu. Chìa khóa của quá trình này là cơ chế phản hồi, vì việc điều chỉnh bộ lọc phụ thuộc vào tín hiệu lỗi tại thời điểm hiện tại.
Kỹ thuật lọc thích ứng dựa trên độ dốc giảm dần này không chỉ dễ sử dụng mà còn hoạt động tốt trong việc xử lý các thay đổi của hệ thống động.
Theo nhiều cách, thuật toán LMS có thể được xem như là một triển khai của bộ lọc Wiener, nhưng việc giảm thiểu sự phụ thuộc lỗi không yêu cầu tính toán tương quan chéo hoặc tự tương quan. Bộ lọc Wiener đạt được khả năng lọc tối ưu bằng cách giảm thiểu sai số bình phương trung bình, được mượn từ thuật toán LMS. Điều quan trọng nhất là ưu điểm của LMS là nó có thể tự điều chỉnh các thông số bộ lọc để thích ứng với sự thay đổi của môi trường mà không cần biết phân bố tín hiệu.
Sự xuất hiện của thuật toán LMS không chỉ thay đổi hướng phát triển của công nghệ lọc mà còn thúc đẩy hiện thực hóa một số lượng lớn ứng dụng, đặc biệt là trong lĩnh vực truyền thông, xử lý âm thanh và xử lý hình ảnh. Thông qua các đặc điểm điều chỉnh tức thời và tự học, LMS mang lại cho hệ thống tính linh hoạt và khả năng thích ứng cao hơn. Cho dù đó là lọc tiếng ồn môi trường hay tăng cường tín hiệu, các kịch bản ứng dụng của nó là không thể thiếu.
Với sự tiến bộ nhanh chóng của trí tuệ nhân tạo và học máy, nhiều công nghệ vẫn đang đổi mới và cải tiến xung quanh các thuật toán LMS. Trong biên giới công nghệ luôn thay đổi, các bộ lọc thích ứng trong tương lai sẽ tối ưu hóa và tích hợp hơn nữa các công nghệ thuật toán mới như thế nào? Đây là một vấn đề quan trọng đáng được các nhà nghiên cứu trong tương lai quan tâm.