Language
Country/Area
No result found
核ヒルベルト空間の謎の再発見：なぜ従来の内積空間よりも魅力的なのか？
統計と機械学習の分野では、カーネル手法がますます使用されています。この方法は主に内積空間の仮定に基づいており、入力サンプルの類似構造をモデル化することで予測パフォーマンスを向上させます。サポート ベクター マシン (SVM) などの従来の手法について話す場合、これらの手法の元の定義とその正則化プロセスはベイジアンの観点からのものではありません。ただし、ベイジアンの観点から見ると、これらの手法のコンテキストを理解することで重要な意味が得られます。
カーネル法の導入は、さまざまな学習機械のパフォーマンスを向上させるだけでなく、機械学習の理論的基礎に新しい視点を提供します。
カーネルの特性は多様であり、必ずしも正の半定値であるとは限りません。これは、カーネルの背後に隠された構造が従来の内積空間を超え、より一般的な繰り返しカーネル ヒルベルト空間 (RKHS) に向かう可能性があることを意味します。ベイズ確率理論では、カーネル法はガウス プロセスの重要なコンポーネントとなり、カーネル関数は共分散関数と呼ばれます。これまで、カーネル法は伝統的に教師あり学習問題に使用されてきました。教師あり学習問題には、通常、ベクトル型の入力空間とスカラー型の出力空間が含まれます。近年、これらの方法は、マルチタスク学習などの複数の出力問題を処理できるように拡張されています。
教師あり学習の問題の分析
教師あり学習の主なタスクは、トレーニング セットの入力データと出力データに基づいて新しい入力ポイントの出力を推定することです。たとえば、新しい入力ポイント x' が与えられた場合、スカラー推定量 _f(x') を学習する必要があります。この推定はトレーニングに基づいています。 S を設定します。このトレーニング セットは、n 個の入出力ペアで構成され、S = (X, Y) = (x1, y1), …, (xn, yn) として表されます。一般的な推定方法は、対称で正の 2 変数関数 k(⋅, ⋅) を使用することです (カーネル関数とも呼ばれます)。
教師あり学習の課題は、既知の入出力ペアから効果的に学習し、この学習を目に見えないデータ ポイントに適用する方法です。
正則化の観点
正則化のフレームワークでは、主な前提として、関数のセット F が反復カーネル ヒルベルト空間 Hk に含まれるということです。反復カーネル ヒルベルト空間の特性により、カーネル関数がさらに魅力的になります。まず、ここでの「反復性」特性により、カーネル関数の線形結合を通じてあらゆる関数を表現できることが保証されます。第二に、これらの関数は指定された点の線形結合閉包内にあります。これは、線形および一般化された線形モデルを構築できることを意味します。第三に、空間の二乗ノルムを使用して関数の複雑さを測定できます。
繰り返しカーネル ヒルベルト空間は、関数表現の柔軟性を提供するだけでなく、モデルの複雑さのバランスをとるための実現可能なフレームワークも提供します。
見積もりのエクスポート
推定量の明示的な形式は、正則化関数の最小化プロセスを解くことによって取得されます。この正則化関数は 2 つの主要な部分で構成されます。一方では、予測誤差の平均二乗を考慮し、他方では、正則化パラメータを通じてモデルの複雑さを制御する基準です。正則化パラメータ λ は、反復カーネル ヒルベルト空間における複雑さと不安定性に対するペナルティの程度を決定します。
このようにして、有効な推定値を取得できるだけでなく、過剰適合のリスクを大幅に軽減することもできます。
これらの理論の組み合わせに基づいて、反復カーネル ヒルベルト空間の推定手法を使用することで、従来の観点からベイジアンの観点への変換が可能になります。したがって、正則化とベイズ推論はどちらも、最終的にはほぼ同等の推定量を得ることができます。この相互関係は、間違いなく、機械学習モデルの多様なファミリーの開発におけるカーネル手法の可能性を示しています。
将来、データとコンピューティング能力が増大するにつれて、これらの手法は機械学習の進化における重要なマイルストーンとなるでしょうか?
