Language
Country/Area
No result found
Khám phá lại bí ẩn của không gian Hilbert hạt nhân: Tại sao nó hấp dẫn hơn không gian tích vô hướng truyền thống?
Phương pháp hạt nhân ngày càng được sử dụng nhiều trong lĩnh vực thống kê và học máy. Phương pháp này chủ yếu dựa trên giả định về không gian tích vô hướng và cải thiện hiệu suất dự đoán bằng cách mô hình hóa cấu trúc tương tự của các mẫu đầu vào. Khi chúng ta nói về các phương pháp truyền thống như máy vectơ hỗ trợ (SVM), định nghĩa ban đầu của các phương pháp này và quy trình chính quy hóa của chúng không xuất phát từ quan điểm Bayesian. Tuy nhiên, theo quan điểm Bayes, việc hiểu được bối cảnh của các phương pháp này sẽ mang lại những hiểu biết quan trọng.
Việc giới thiệu các phương pháp hạt nhân không chỉ cải thiện hiệu suất của nhiều máy học khác nhau mà còn cung cấp một góc nhìn mới cho cơ sở lý thuyết của máy học.
Các tính chất của hạt nhân rất đa dạng và không nhất thiết phải là bán xác định, điều này có nghĩa là cấu trúc đằng sau nó có thể vượt ra ngoài không gian tích vô hướng truyền thống và chuyển sang không gian Hilbert hạt nhân lặp lại (RKHS) tổng quát hơn. Trong lý thuyết xác suất Bayes, phương pháp hạt nhân trở thành thành phần quan trọng của quy trình Gauss, trong đó hàm hạt nhân được gọi là hàm hiệp phương sai. Trước đây, các phương pháp hạt nhân thường được sử dụng cho các vấn đề học có giám sát, thường liên quan đến không gian đầu vào dạng vectơ và không gian đầu ra dạng vô hướng. Trong những năm gần đây, các phương pháp này đã được mở rộng để xử lý các vấn đề đầu ra đa dạng, chẳng hạn như học tập đa tác vụ.
Phân tích các vấn đề học có giám sát
Nhiệm vụ chính của học có giám sát là ước tính đầu ra của một điểm đầu vào mới dựa trên dữ liệu đầu vào và đầu ra của tập huấn luyện. Ví dụ, với một điểm đầu vào mới x', chúng ta cần học một ước lượng giá trị vô hướng _f(x') và ước lượng này là Nó dựa trên trên một tập huấn luyện S. Bộ đào tạo này bao gồm n cặp đầu vào-đầu ra, được biểu thị bằng S = (X, Y) = (x1, y1), …, (xn, yn). Một phương pháp ước tính phổ biến là sử dụng hàm hai biến đối xứng và dương k(⋅, ⋅), thường được gọi là hàm hạt nhân.
Thách thức của việc học có giám sát là làm thế nào để học hiệu quả từ các cặp đầu vào-đầu ra đã biết và áp dụng phương pháp học này vào các điểm dữ liệu chưa biết.
Góc nhìn chính quy hóa
Trong khuôn khổ chính quy, giả định chính là tập hợp các hàm F được chứa trong không gian Hilbert hạt nhân lặp Hk. Các tính chất của không gian Hilbert hạt nhân lặp lại làm cho nó thậm chí còn hấp dẫn hơn. Đầu tiên, tính chất "lặp lại" ở đây đảm bảo rằng chúng ta có thể biểu diễn bất kỳ hàm nào thông qua tổ hợp tuyến tính của các hàm hạt nhân. Thứ hai, các hàm này nằm trong phạm vi đóng của các tổ hợp tuyến tính tại các điểm cho trước, nghĩa là chúng ta có thể xây dựng các mô hình tuyến tính và mô hình tuyến tính tổng quát. Thứ ba, chuẩn bình phương của không gian này có thể được sử dụng để đo độ phức tạp của một hàm.
Không gian Hilbert hạt nhân lặp lại không chỉ cung cấp tính linh hoạt trong biểu diễn hàm mà còn cung cấp một khuôn khổ khả thi để cân bằng giữa độ phức tạp của mô hình.
Xuất ước tính
Dạng rõ ràng của bộ ước lượng thu được bằng cách giải một thủ tục tối thiểu hóa của hàm chính quy hóa. Hàm chính quy này bao gồm hai phần chính: một mặt, nó tính đến lỗi dự đoán trung bình bình phương; mặt khác, nó là chuẩn mực kiểm soát độ phức tạp của mô hình thông qua tham số chính quy. Tham số chính quy λ xác định mức độ phạt cho tính phức tạp và tính bất ổn trong không gian Hilbert của hạt nhân lặp lại.
Theo cách này, chúng ta không chỉ có thể có được những ước tính hợp lệ mà còn giảm thiểu đáng kể nguy cơ lắp quá mức.
Dựa trên sự kết hợp của các lý thuyết này, phương pháp ước lượng không gian Hilbert hạt nhân lặp được áp dụng, giúp chuyển đổi từ quan điểm truyền thống sang quan điểm Bayesian. Do đó, cho dù là chính quy hóa hay suy luận Bayes, cuối cùng chúng ta cũng có thể thu được các ước lượng tương đương. Mối quan hệ qua lại này chắc chắn cho thấy tiềm năng của các phương pháp hạt nhân trong việc phát triển nhiều mô hình học máy đa dạng.
Trong tương lai, khi dữ liệu và sức mạnh tính toán ngày càng tăng, liệu những phương pháp này có trở thành cột mốc quan trọng trong quá trình phát triển của máy học không?
