No processo de resolução de problemas de otimização restrita, o método Lagrangiano aprimorado se tornou um tópico de pesquisa atraente. Esses métodos são favorecidos por sua capacidade de transformar problemas restritos em uma série de problemas irrestritos e desempenham um papel importante no campo da teoria e aplicação de otimização. O método Lagrangiano aprimorado foi proposto pela primeira vez por Hesterness e Powell em 1969, e suas pesquisas levaram à ampla atenção e exploração aprofundada desse método.
A principal característica do método Lagrangiano aprimorado é que ele combina os conceitos de termos de penalidade e multiplicadores Lagrangianos, tornando-o mais estável e eficiente ao lidar com problemas de restrição.
O método Lagrangiano aumentado não é apenas uma extensão do método de penalidade, mas também inclui um termo adicional para modelar o multiplicador Lagrangiano. Isso torna o método eficaz na resolução de muitos problemas complexos de engenharia, especialmente em aplicações como otimização estrutural e aprendizado de máquina. À medida que a pesquisa se aprofundou, o método Lagrangiano aprimorado evoluiu gradualmente e introduziu uma variedade de extensões e melhorias, incluindo a aplicação de funções de regularização não quadráticas.
Essas abordagens foram mais exploradas durante as décadas de 1970 e 1980. R. Tyrrell Rockafellar fez contribuições extremamente importantes neste campo. Ao estudar a dualidade de Fenchel e sua aplicação em otimização estrutural, ele promoveu ainda mais o desenvolvimento de métodos Lagrangianos aprimorados. Em particular, ele explorou os operadores monótonos máximos relevantes e seu lugar em problemas modernos de otimização, combinando esses conceitos com aplicações práticas para dar ao método Lagrangiano aumentado uma base teórica mais sólida.
De fato, a vantagem do método Lagrangiano aprimorado é que ele não exige que o fator de penalidade seja levado ao infinito para resolver o problema de restrição original, evitando assim a instabilidade numérica e melhorando a qualidade e a precisão da solução.
Além disso, com a melhoria do poder de computação, a técnica Lagrangiana aprimorada foi gradualmente introduzida em uma gama mais ampla de aplicações, especialmente no contexto do rápido desenvolvimento da tecnologia de matriz esparsa. Por exemplo, sistemas de otimização como LANCELOT, ALGENCAN e AMPL permitem o uso de técnicas de matriz esparsa em problemas aparentemente densos, mas "parcialmente separáveis", melhorando assim a eficácia dos métodos lagrangianos aumentados.
Recentemente, esse método também tem sido usado em técnicas modernas de processamento de imagens, como redução de ruído de variação total e detecção comprimida. Em particular, o surgimento do método de multiplicadores de direção alternada (ADMM) injetou nova vitalidade no método Lagrangiano aprimorado, permitindo que essa tecnologia computacional lidasse de forma mais eficaz com problemas de otimização de alta dimensão.
A combinação do método Lagrangiano aprimorado com o método multiplicador de direção alternada é um desenvolvimento inovador no campo de otimização atual, porque pode resolver efetivamente o problema de atualização parcial de multiplicadores em aplicações práticas.
Nos anos seguintes, o método Lagrangiano aprimorado não só teve um bom desempenho em análise numérica, mas sua base teórica e desempenho em várias aplicações práticas fizeram com que ele gradualmente se tornasse outro método para resolver problemas de otimização estocástica de alta dimensão. Estratégia importante. Especialmente no cenário de otimização aleatória de alta dimensão, esse método pode superar efetivamente o problema mal formulado e fornecer a melhor solução para escassez e baixa classificação.
Além disso, muitos pacotes de software modernos, como YALL1, SpaRSA e SALSA, aplicaram o ADMM à busca básica avançada e suas variantes e mostraram desempenho superior. Hoje, tanto como software de código aberto quanto como implementações comerciais, o método Lagrangiano aumentado continua sendo uma ferramenta importante no campo da otimização e continua a ser estudado e desenvolvido.
No geral, a contribuição de Hesterness e Powell para o método Lagrangiano aprimorado sem dúvida estabeleceu a base para o estudo da otimização restrita, mas o que precisamos pensar é para onde a pesquisa futura sobre otimização matemática irá. Desenvolvimento?