Language
Country/Area
No result found
커널 힐베르트 공간의 신비 재발견: 전통적인 내적 공간보다 왜 더 매력적인가?
커널 방법은 통계와 머신 러닝 분야에서 점점 더 많이 사용되고 있습니다. 이 방법은 주로 내적 공간의 가정에 기초하고 있으며 입력 샘플의 유사 구조를 모델링하여 예측 성능을 향상시킵니다. SVM(지원 벡터 머신)과 같은 전통적인 방법에 대해 이야기할 때, 이러한 방법의 원래 정의와 정규화 절차는 베이지안 관점에서 나온 것이 아니었습니다. 그러나 베이지안 관점에서 이러한 방법의 배경을 이해하면 중요한 통찰력을 얻을 수 있습니다.
커널 방식의 도입은 다양한 학습 머신의 성능을 향상시킬 뿐만 아니라, 머신 러닝의 이론적 기반에 대한 새로운 관점을 제공합니다.
커널의 속성은 다양하며 반드시 반정부정적인 것은 아닙니다. 즉, 커널의 기반 구조는 전통적인 내적 공간을 넘어서 더 일반적인 반복 커널 힐베르트 공간(RKHS)으로 전환될 수 있습니다. 베이지안 확률 이론에서 커널 방법은 가우스 과정의 핵심 구성 요소가 되며, 커널 함수는 공분산 함수라고 합니다. 과거에는 일반적으로 벡터와 같은 입력 공간과 스칼라와 같은 출력 공간을 포함하는 지도 학습 문제에 커널 방법이 전통적으로 사용되었습니다. 최근 몇 년 동안 이러한 방법은 다중 작업 학습과 같은 다중 출력 문제를 처리하도록 확장되었습니다.
지도 학습 문제 분석
지도 학습의 주요 과제는 학습 세트의 입력 및 출력 데이터를 기반으로 새로운 입력 지점의 출력을 추정하는 것입니다. 예를 들어, 새로운 입력 지점 x'가 주어지면 스칼라 값 추정치 _f(x')를 학습해야 하며 이 추정치는 다음을 기반으로 합니다. 훈련 세트 S에 대해서요. 이 훈련 세트는 n개의 입력-출력 쌍으로 구성되며, S = (X, Y) = (x1, y1), …, (xn, yn)으로 표현됩니다. 일반적인 추정 방법은 대칭적이고 양의 이변량 함수 k(⋅, ⋅)를 사용하는 것입니다. 이를 커널 함수라고도 합니다.
지도 학습의 과제는 알려진 입력-출력 쌍으로부터 효과적으로 학습하고, 이 학습을 보이지 않는 데이터 포인트에 적용하는 방법입니다.
정규화 관점
정규화된 프레임워크에서 주요 가정은 함수 집합 F가 반복되는 커널 힐베르트 공간 Hk에 포함되어 있다는 것입니다. 반복되는 커널 힐베르트 공간의 속성은 그것을 더욱 매력적으로 만든다. 첫째, 여기서 "반복" 속성은 우리가 커널 함수의 선형 조합을 통해 어떤 함수라도 표현할 수 있음을 보장한다. 둘째, 이러한 함수는 주어진 지점에서 선형 결합의 폐쇄 범위 내에 있으므로 선형 및 일반화 선형 모델을 구성할 수 있습니다. 셋째, 이 공간의 제곱 노름은 함수의 복잡도를 측정하는 데 사용될 수 있습니다.
반복 커널 힐베르트 공간은 함수 표현의 유연성을 제공할 뿐만 아니라, 모델 복잡도 간의 균형을 위한 실행 가능한 프레임워크도 제공합니다.
추정가 내보내기
추정량의 명시적 형태는 정규화 함수의 최소화 절차를 풀어서 얻습니다. 이 정규화 함수는 두 가지 주요 부분으로 구성됩니다. 한편으로는 평균 제곱 예측 오차를 고려합니다. 다른 한편으로는 정규화 매개변수를 통해 모델 복잡도를 제어하는 규범입니다. 정규화 매개변수 λ는 반복 커널 힐베르트 공간에서 복잡성과 불안정성에 얼마나 많은 패널티를 적용할지 결정합니다.
이런 식으로 하면 유효한 추정치를 얻을 수 있을 뿐만 아니라 과잉적합의 위험도 크게 줄일 수 있습니다.
이러한 이론을 조합하여 반복 커널 힐버트 공간의 추정 방법을 채택하였는데, 이를 통해 전통적인 관점에서 베이지안 관점으로 전환이 가능해졌습니다. 따라서 정규화든 베이지안 추론이든 결국에는 대략 동등한 추정치를 얻을 수 있습니다. 이러한 상호 관계는 다양한 기계 학습 모델 개발에 있어서 커널 방식의 잠재력을 의심할 여지 없이 보여줍니다.
미래에 데이터와 컴퓨팅 능력이 커짐에 따라 이러한 방법이 머신 러닝의 발전에 있어 중요한 이정표가 될까요?
