Language
Country/Area
No result found
Menemukan kembali misteri ruang Hilbert kernel: Mengapa ruang ini lebih menarik daripada ruang produk dalam tradisional?
Metode kernel semakin banyak digunakan dalam bidang statistik dan pembelajaran mesin. Metode ini terutama didasarkan pada asumsi ruang produk dalam dan meningkatkan kinerja prediksi dengan memodelkan struktur kesamaan sampel input. Ketika kita berbicara tentang metode tradisional seperti support vector machines (SVM), definisi asli dari metode ini dan prosedur regularisasinya tidak berasal dari perspektif Bayesian. Namun, dari sudut pandang Bayesian, memahami latar belakang metode ini menghasilkan wawasan penting.
Pengenalan metode kernel tidak hanya meningkatkan kinerja berbagai mesin pembelajaran, tetapi juga memberikan perspektif baru untuk dasar teoritis pembelajaran mesin.
Sifat kernel beragam dan tidak selalu semi-pasti, yang berarti bahwa struktur di baliknya dapat melampaui ruang produk dalam tradisional dan beralih ke ruang Hilbert kernel berulang (RKHS) yang lebih umum. Dalam teori probabilitas Bayesian, metode kernel menjadi komponen kunci dari proses Gaussian, di mana fungsi kernel disebut fungsi kovarians. Di masa lalu, metode kernel secara tradisional digunakan untuk masalah pembelajaran terbimbing, yang biasanya melibatkan ruang masukan seperti vektor dan ruang keluaran seperti skalar. Dalam beberapa tahun terakhir, metode ini telah diperluas untuk menangani masalah multi-keluaran, seperti pembelajaran multi-tugas.
Analisis masalah pembelajaran terbimbing
Tugas utama pembelajaran terbimbing adalah memperkirakan keluaran dari titik masukan baru berdasarkan data masukan dan keluaran dari set pelatihan. Misalnya, diberikan titik masukan baru x', kita perlu mempelajari penaksir nilai skalar _f(x'), dan perkiraan ini didasarkan pada set pelatihan S. Set pelatihan ini terdiri dari n pasangan input-output, yang direpresentasikan oleh S = (X, Y) = (x1, y1), …, (xn, yn). Metode estimasi yang umum adalah menggunakan fungsi bivariat simetris dan positif k(⋅, ⋅), yang sering disebut fungsi kernel.
Tantangan pembelajaran terbimbing adalah bagaimana cara belajar secara efektif dari pasangan input-output yang diketahui dan menerapkan pembelajaran ini ke titik data yang tidak terlihat.
Perspektif regularisasi
Dalam kerangka kerja regularisasi, asumsi utamanya adalah bahwa set fungsi F terkandung dalam ruang Hilbert kernel berulang Hk. Properti ruang Hilbert kernel berulang membuatnya semakin menarik. Pertama, properti "berulang" di sini memastikan bahwa kita dapat mengekspresikan fungsi apa pun melalui kombinasi linier fungsi kernel. Kedua, fungsi-fungsi ini berada dalam penutupan kombinasi linier pada titik-titik tertentu, yang berarti bahwa kita dapat membangun model linier dan linier umum. Ketiga, norma kuadrat ruang ini dapat digunakan untuk mengukur kompleksitas suatu fungsi.
Ruang Hilbert kernel berulang tidak hanya memberikan fleksibilitas dalam representasi fungsi, tetapi juga menyediakan kerangka kerja yang layak untuk keseimbangan antara kompleksitas model.
Ekspor Estimator
Bentuk eksplisit estimator diperoleh dengan menyelesaikan prosedur minimisasi fungsi regularisasi. Fungsi regularisasi ini terdiri dari dua bagian utama: di satu sisi, ia memperhitungkan kesalahan prediksi kuadrat rata-rata; di sisi lain, ia adalah norma yang mengendalikan kompleksitas model melalui parameter regularisasi. Parameter regularisasi λ menentukan seberapa besar penalti terhadap kompleksitas dan ketidakstabilan dalam ruang Hilbert kernel berulang.
Dengan cara ini, kita tidak hanya dapat memperoleh estimasi yang valid tetapi juga mengurangi risiko overfitting hingga tingkat yang lebih tinggi.
Berdasarkan kombinasi teori-teori ini, metode estimasi ruang Hilbert kernel berulang diadopsi, yang memungkinkan untuk mengubah dari pandangan tradisional ke perspektif Bayesian. Oleh karena itu, baik itu regularisasi atau inferensi Bayesian, kita akhirnya dapat memperoleh estimator yang kira-kira setara. Hubungan timbal balik ini tidak diragukan lagi menunjukkan potensi metode kernel dalam pengembangan beragam model pembelajaran mesin.
Di masa mendatang, seiring dengan pertumbuhan data dan daya komputasi, apakah metode-metode ini akan menjadi tonggak penting dalam evolusi pembelajaran mesin?
