No mundo atual da matemática e da matemática computacional, os métodos numéricos probabilísticos, como um campo de pesquisa interdisciplinar, têm gradualmente atraído a atenção das pessoas. Este campo combina matemática aplicada, estatística e aprendizado de máquina e gira em torno da incerteza computacional. Nos métodos numéricos probabilísticos, tarefas comuns de análise numérica, como integração numérica, álgebra linear, otimização, simulação e solução de equações diferenciais, são tratadas como problemas estatísticos, probabilísticos ou de inferência bayesiana.
Métodos numéricos são algoritmos usados para aproximar a solução de problemas matemáticos, incluindo resolução de sistemas de equações lineares, cálculo de integrais, resolução de equações diferenciais e minimização de funções de múltiplas variáveis.
Os algoritmos numéricos tradicionais baseiam-se em métodos determinísticos, enquanto os algoritmos numéricos probabilísticos consideram este processo como um problema de estimativa ou aprendizagem e implementam-no no âmbito da inferência probabilística. Isso significa que uma distribuição anterior pode ser usada para descrever o problema computacional e, comparando os números calculados (como produtos matriz-vetor, gradientes na otimização, valores de função integral, etc.) fazer suposições sobre o relacionamento e retornar a distribuição posterior como saída.
Na verdade, muitos algoritmos numéricos clássicos podem ser reinterpretados sob a estrutura probabilística, como o método do gradiente conjugado, o método Nordsieck, a regra de integração gaussiana e o método quase-Newton. A vantagem dessas técnicas é que elas não apenas fornecem estimativas de erros estruturadas, mas também usam inferência bayesiana hierárquica para definir e controlar hiperparâmetros internos.
Os métodos numéricos probabilísticos permitem combinar dados de múltiplas fontes de informação, removendo efetivamente loops aninhados dos cálculos.
Em termos de integração numérica, os métodos numéricos probabilísticos desenvolveram muitas técnicas, a mais famosa das quais é o método de integração bayesiana. Neste processo, o valor integrado de uma função é estimado avaliando-a numa determinada série de pontos. Neste caso, a escolha de uma distribuição anterior e o condicionamento dos dados observados leva a uma distribuição posterior, o que é especialmente útil para funções que são computacionalmente caras.
Em termos de otimização matemática, os métodos numéricos probabilísticos também foram estudados em profundidade. A otimização bayesiana é um método geral baseado na inferência bayesiana. Esses algoritmos ajudam a encontrar o mínimo ou o máximo, mantendo crenças probabilísticas sobre a função objetivo para orientar a seleção de observações subsequentes.
Na otimização estocástica no contexto de aprendizagem profunda, as técnicas numéricas probabilísticas estudaram muitas questões importantes, como ajuste da taxa de aprendizagem, seleção de minilotes, etc., e alcançaram a tomada de decisão automática modelando explicitamente essas incertezas.
Em aplicações de álgebra linear, algoritmos numéricos probabilísticos concentram-se na resolução de sistemas de equações lineares da forma A x = b. Tais métodos são geralmente de natureza iterativa, coletando informações por meio de multiplicações repetidas de matrizes-vetores.
Para equações diferenciais ordinárias, uma variedade de métodos numéricos probabilísticos foram desenvolvidos, que podem ser divididos em métodos baseados em randomização e regressão de processo gaussiano, que podem lidar efetivamente com problemas de valor inicial e valor limite.
Da mesma forma, à medida que a tecnologia evolui, os métodos numéricos probabilísticos para equações diferenciais parciais também melhoraram, e esses métodos aproveitam efetivamente as propriedades da regressão do processo gaussiano.
O desenvolvimento de métodos numéricos probabilísticos não aconteceu da noite para o dia, mas esteve intimamente relacionado com outras áreas da matemática, como complexidade da informação, teoria dos jogos e teoria da decisão estatística. Do final do século 19 ao início do século 20, a intersecção entre probabilidade e análise numérica começou a receber atenção. As contribuições de muitos matemáticos, de Henri Poincaré a Albert Suldin e Mike Larkin, abriram caminho para o desenvolvimento deste campo.
Quando nos deparamos com dados complexos, você já pensou em aplicar métodos numéricos probabilísticos para melhorar a eficiência dos seus cálculos?