Language
Country/Area
No result found
Từ tuyến tính đến phi tuyến tính: Hàm kích hoạt thay đổi khả năng học tập của mạng lưới thần kinh như thế nào?
Trong mạng nơ ron nhân tạo, hàm kích hoạt của nút là thành phần chính trong việc tính toán đầu ra của nút, điều này phụ thuộc vào các đầu vào khác nhau và trọng số của chúng. Các bản ghi hàm kích hoạt này xác định liệu các vấn đề phức tạp có thể được giải quyết với ít nút hơn hay không.
Các hàm kích hoạt hiện đại bao gồm các hàm logic (sigmoid), ReLU (Đơn vị tuyến tính chỉnh lưu) và các phiên bản trơn tru của ReLU, GELU (Đơn vị tuyến tính lỗi Gaussian), v.v.
Với sự tiến bộ của công nghệ, các chức năng kích hoạt cụ thể đã được áp dụng ở nhiều mô hình khác nhau. Ví dụ: mô hình nhận dạng giọng nói do Hinton và cộng sự phát triển vào năm 2012 đã sử dụng các hàm logic, trong khi mô hình AlexNet 2012 và ResNet 2015 dựa vào kiến trúc ReLU cho các tác vụ thị giác máy tính. Ngoài ra, mô hình BERT 2018 đã sử dụng GELU và hiệu suất của các chức năng kích hoạt khác nhau này trong các nhiệm vụ khác nhau đã gây ra cuộc thảo luận rộng rãi.
So sánh các chức năng kích hoạt
Ngoài hiệu suất thực tế, các hàm kích hoạt khác nhau còn có các đặc điểm khác nhau về mặt toán học, chẳng hạn như tính phi tuyến một phần và khả vi liên tục. Hàm kích hoạt phi tuyến cho phép mạng nơ-ron hai lớp được biểu diễn dưới dạng hàm xấp xỉ hàm phổ quát, trong khi hàm kích hoạt tuyến tính không thể đáp ứng đặc tính này. Khi hàm kích hoạt tuyến tính được sử dụng cho nhiều lớp, toàn bộ mạng tương đương với mô hình một lớp.
Khi phạm vi của các hàm kích hoạt là hữu hạn, các phương pháp huấn luyện dựa trên độ dốc thường ổn định hơn vì việc hiển thị các mẫu chỉ ảnh hưởng đáng kể đến các trọng số giới hạn.
Tuy nhiên, khi phạm vi của hàm kích hoạt là vô hạn, việc huấn luyện thường hiệu quả hơn vì việc hiển thị các mẫu ảnh hưởng đến hầu hết tất cả các trọng số. Trong trường hợp này, tốc độ học tập nhỏ hơn thường được yêu cầu.
Chi tiết toán học
Các chức năng kích hoạt phổ biến nhất hiện nay có thể được chia thành ba loại: chức năng sườn núi, chức năng hướng tâm và chức năng gấp.
Các hàm kích hoạt chưa bão hòa (chẳng hạn như ReLU) có thể thuận lợi hơn các hàm kích hoạt bão hòa vì hàm kích hoạt bão hòa ít gặp phải vấn đề độ dốc biến mất.
Hàm kích hoạt đường vân là hàm đa biến tác động lên tổ hợp tuyến tính của các biến đầu vào. Các ví dụ phổ biến bao gồm kích hoạt tuyến tính, kích hoạt ReLU và kích hoạt logic. Những chức năng này không chỉ lấy cảm hứng về mặt sinh học mà còn mô phỏng tốc độ kích hoạt điện thế hoạt động của tế bào.
Nếu độ dốc của đường thẳng là dương thì nó có thể phản ánh tần số phát xạ khi dòng điện đầu vào tăng lên.
Hàm cơ sở xuyên tâm (RBF) là một loại hàm kích hoạt khác chủ yếu được sử dụng trong mạng RBF. Chúng có thể có nhiều dạng khác nhau, trong đó phổ biến nhất là các hàm Gaussian và các hàm sai phân nhiều bình phương.
Các ví dụ và loại khác
Ngoài các hàm trên, các hàm tuần hoàn như hàm sin cũng có thể được sử dụng làm hàm kích hoạt vì bất kỳ hàm tuần hoàn nào cũng có thể được phân tách thành tổ hợp tuyến tính của các sóng hình sin bằng phép biến đổi Fourier. Ngoài ra, các hàm kích hoạt gấp được sử dụng rộng rãi trong lớp tổng hợp của mạng nơ ron tích chập, cũng như trong lớp đầu ra của mạng phân loại nhiều lớp, chẳng hạn như hàm kích hoạt softmax.
Trong mạng nơ ron lượng tử, tính phi tuyến của hàm kích hoạt có thể được thực hiện mà không cần đo đầu ra của từng perceptron của mỗi lớp.
Các đặc điểm của máy tính lượng tử giúp thiết kế các mạch lượng tử có thể được sử dụng để gần đúng bất kỳ hàm kích hoạt cổ điển tùy ý nào.
Việc lựa chọn chức năng kích hoạt là rất quan trọng đối với hiệu suất của mạng lưới thần kinh và các nghiên cứu trong tương lai có thể khám phá thêm các chức năng kích hoạt chưa được khám phá, điều này ảnh hưởng như thế nào đến hiệu quả của toàn bộ mạng lưới thần kinh?
