전통적인 최적화 방법은 최상의 솔루션을 찾기 위해 종종 파생 정보가 필요하지만, 무작위 검색 알고리즘은 이러한 정보 없이도 작동할 수 있습니다. 이는 불연속적이거나 미분 불가능한 함수에 대한 무작위 검색을 강력한 도구로 만듭니다. 간단히 말해서, 무작위 탐색은 많은 복잡한 탐색 공간에서 최적의 해법을 찾을 수 있는 수치 최적화 방법 계열입니다.
무작위 탐색 방법은 직접 탐색, 파생 없는 탐색, 블랙박스 방법이라고도 합니다.
기본적으로 무작위 검색은 매개변수 검색 공간 전체에 특정 순서나 패턴으로 분포된 일련의 무작위 추측으로 시작됩니다. 1953년에 앤더슨은 이 방법을 검토하고 일련의 무작위 추측을 사용하여 최소값이나 최대값을 찾는 방법을 설명했습니다. 이러한 검색 방법은 모든 매개변수의 그리드(요인) 검색, 각 매개변수의 순차적 검색, 또는 두 가지를 결합한 검색이 될 수 있습니다.
기술의 발전으로, 랜덤 탐색은 점차 많은 분야에 적용되고 있습니다. 가장 큰 돌파구는 인공 신경망의 하이퍼파라미터 최적화입니다. 연구에 따르면 검색 공간의 5%만 좋은 구성을 포함하고 있더라도 60개의 구성을 시도한 후에 적어도 하나의 좋은 구성을 찾을 확률은 여전히 95%가 넘습니다. 이로 인해 무작위 검색이 가능해지고 심지어 필요하게 됩니다.
무작위 검색의 성공은 현재 후보 솔루션 주변의 초구에서 무작위로 샘플링하는 능력에 달려 있습니다.
무작위 검색 알고리즘의 기본적인 과정은 다음과 같이 설명할 수 있습니다. 먼저, 검색 공간에서 임의의 위치 x를 초기화합니다. 그런 다음 특정 종료 기준에 도달할 때까지(최대 반복 횟수에 도달하거나 만족스러운 목적 함수 값을 얻는 등) 다음 단계를 반복적으로 수행합니다. <올>
이 방법의 장점은 간단하며 파생 함수를 계산할 필요가 없으므로 많은 비표준 최적화 문제에 적용할 수 있다는 것입니다.
무작위 검색 변형순수한 무작위 검색은 주로 행운에 의존하지만, 일부 인위적으로 구성된 무작위 검색은 전략적으로 수행됩니다. 검색 효율성을 높이기 위해 다양한 종류의 무작위 검색 방법도 등장했습니다. <저>
이러한 변형의 목적은 검색 효율성을 개선하고 계산 비용을 최소화하는 것입니다.
무작위 검색이 유일한 최적화 방법은 아닙니다. 최적화 분야에는 확률적 최적화(정규 분포에서 샘플링하는 최적화 방법 그룹) 및 균일 분포에서 샘플링을 기반으로 하는 최적화 방법인 Luus-Jaakola와 같은 여러 관련 기술이 있습니다. 검색 공간 좌표축을 따라 단계를 거치는 패턴 검색입니다. 이러한 방법은 다양한 상황에서 독특한 해결책을 제공합니다.
무작위 검색은 유연성과 다양성이 뛰어나 복잡한 최적화 문제를 해결하는 데 매우 중요합니다.
무작위 검색은 분석 방법을 보완하는 간단하고 효과적인 솔루션을 제공합니다. 이로 인해 미래의 최적화 분야에서 이러한 알고리즘이 주류 솔루션이 될지, 아니면 기존 방법을 대체할 것인지 궁금해집니다.