Language
Country/Area
No result found
隐藏在随机搜寻背后的秘密：为何这种方法如此强大？
在数值优化领域，随机搜寻（Random Search, RS）是一种受到广泛关注的方法。这种方法的特殊之处在于，它不需要问题优化的梯度，意味着即使在不连续或不可微分的函数上，RS 仍然能有效运作。这类优化方法被称为直接搜寻法、无导数法或黑箱法。随机搜寻的力量，源于其运用于一系列无需复杂计算的场景中，让优化过程变得更加灵活和稳健。
随机搜寻方法的强大在于其勇于探索未知的能力，并在各种环境中展现出惊人的效果。
然而，随机搜寻究竟是如何运作的呢？早在1953年，Anderson 就在其回顾文章中评估了寻找问题最大或最小值的方法，并阐述了一系列基于特定顺序或模式的猜测。在这个过程中，这些猜测在搜索空间中逐步进行，并不断地提炼出更好的猜测。该搜索可以透过网格搜寻（全因子设计）、顺序搜寻或这两者的组合展开。这些方法最初主要用于化学反应的实验条件筛选，也因此受到了科学家的广泛采用。
在当代的应用中，随机搜寻方法被广泛应用于人工神经网络的超参数优化。研究发现，当搜索空间只有5%的体积具有优质的特性时，这意味着找到良好配置的机率仍然在5%左右。然而，当进行60次配置尝试后，找到至少一个良好的配置的机率就会超过95%。这样的组合大幅提升了搜寻的成功率，显示出RS的有效性和潜力。
进行60次配置的尝试后，找到至少一个良好配置的机率高达95%以上，使得这种方法非常值得探索。
基本算法
随机搜寻算法的基本流程简单明了。假设存在一个需要最小化的适应度或成本函数 f: ℝn → ℝ，而 x ∈ ℝn 表示在搜索空间中的一个位置或候选解。基本的随机搜寻算法可以这样描述：
- 在搜索空间内随机初始化 x 的位置。
- 在满足终止条件之前（例如执行的迭代次数或适应度达到标准），重复以下操作：
- 从当前位置 x 的给定半径的超球面中抽样一个新位置 y。
- 若 f(y) < f(x)，则通过设置 x = y 来移动到新位置。
这样循环进行下去，直到满足终止条件。
变体
真正的随机搜寻往往依赖运气，变化范围从非常昂贵到十分幸运，但结构化随机搜寻则具有战略性。随着文献发展，许多随机搜寻的变体应运而生，运用结构化抽样来进行搜索：
- Friedman-Savage程序：通过一组具空间模式的猜测，顺序搜索每个参数。
- 固定步长随机搜寻（FSSRS）：在一个固定半径的超球面内进行抽样。
- 最佳步长随机搜寻（OSSRS）：理论上研究如何优化超球半径以加速对最优解的收敛。
- 自适应步长随机搜寻（ASSRS）：通过生成两个候选解来自动调整半径。
- 优化相对步长随机搜寻（ORSSRS）：使用简单的指数减小来近似最优步长。
这些变种使得随机搜寻的应用变得更加多样化和精细化，能够更好地应对不同的优化挑战。
随机搜寻的各种变体显示了其在不同情境下的灵活性和强大能力。
无论如何，随机搜寻的确是在一系列优化问题中彰显出其独特优势的重要方法。它不仅在理论上具有吸引力，同时在实际应用中也展示了不凡的效果。随机搜寻可能会成为未来优化方法的一个关键组成部分，尤其是在对计算资源要求过高或问题复杂性过大的情况下。那么，面对如此多样化的优化策略，我们是否能找到最合适的搜寻方法以应对未来的挑战呢？
