Trong thế giới toán học và toán tính toán ngày nay, các phương pháp số xác suất với tư cách là một lĩnh vực nghiên cứu liên ngành đã dần thu hút sự chú ý của mọi người. Lĩnh vực này kết hợp toán học ứng dụng, thống kê và học máy và xoay quanh tính không chắc chắn trong tính toán. Trong các phương pháp số xác suất, các nhiệm vụ phân tích số phổ biến như tích phân số, đại số tuyến tính, tối ưu hóa, mô phỏng và giải phương trình vi phân được coi là các bài toán thống kê, xác suất hoặc suy luận Bayes.
Phương pháp số là các thuật toán dùng để giải gần đúng lời giải của các bài toán, bao gồm giải hệ phương trình tuyến tính, tính tích phân, giải phương trình vi phân và cực tiểu hóa hàm nhiều biến.
Các thuật toán số truyền thống dựa trên các phương pháp xác định, trong khi các thuật toán số xác suất coi quá trình này là một bài toán ước lượng hoặc học tập và triển khai nó trong khuôn khổ suy luận xác suất. Điều này có nghĩa là phân phối trước có thể được sử dụng để mô tả vấn đề tính toán và bằng cách so sánh các số được tính toán (chẳng hạn như tích vectơ ma trận, độ dốc trong tối ưu hóa, giá trị hàm tích phân, v.v.) Đưa ra các giả định về mối quan hệ và trả về phân phối sau như đầu ra.
Trên thực tế, nhiều thuật toán số cổ điển có thể được diễn giải lại theo khung xác suất, chẳng hạn như phương pháp gradient liên hợp, phương pháp Nordsieck, quy tắc tích hợp Gaussian và phương pháp quasi-Newton. Ưu điểm của các kỹ thuật này là chúng không chỉ cung cấp các ước tính lỗi có cấu trúc mà còn sử dụng suy luận Bayes phân cấp để thiết lập và kiểm soát các siêu tham số bên trong.
Phương pháp số xác suất cho phép kết hợp dữ liệu từ nhiều nguồn thông tin, loại bỏ hiệu quả các vòng lặp lồng nhau khỏi các phép tính.
Về mặt tích phân số, các phương pháp số xác suất đã phát triển nhiều kỹ thuật, trong đó nổi tiếng nhất là phương pháp tích phân Bayesian. Trong quá trình này, giá trị tích hợp của một hàm được ước tính bằng cách đánh giá nó tại một chuỗi điểm nhất định. Trong trường hợp này, việc chọn phân phối trước và điều hòa trên dữ liệu được quan sát sẽ dẫn đến phân phối sau, điều này đặc biệt hữu ích cho các hàm có chi phí tính toán cao.
Về mặt tối ưu hóa toán học, phương pháp số xác suất cũng đã được nghiên cứu chuyên sâu. Tối ưu hóa Bayes là phương pháp tổng quát dựa trên suy luận Bayesian. Các thuật toán này giúp tìm mức tối thiểu hoặc tối đa bằng cách duy trì niềm tin xác suất về hàm mục tiêu để hướng dẫn lựa chọn quan sát tiếp theo.
Trong tối ưu hóa ngẫu nhiên trong bối cảnh học sâu, các kỹ thuật số xác suất đã nghiên cứu nhiều vấn đề quan trọng như điều chỉnh tốc độ học, lựa chọn lô nhỏ, v.v. và đưa ra quyết định tự động bằng cách mô hình hóa rõ ràng những điều không chắc chắn này.
Trong các ứng dụng của đại số tuyến tính, các thuật toán số xác suất tập trung vào việc giải các hệ phương trình tuyến tính có dạng A x = b. Các phương pháp này thường có tính chất lặp, thu thập thông tin thông qua phép nhân vectơ-ma trận lặp đi lặp lại.
Đối với các phương trình vi phân thông thường, nhiều phương pháp số xác suất đã được phát triển, có thể chia thành các phương pháp dựa trên ngẫu nhiên hóa và hồi quy quá trình Gaussian, có thể xử lý hiệu quả các vấn đề về giá trị ban đầu và giá trị biên.
Tương tự, khi công nghệ phát triển, các phương pháp số xác suất cho phương trình vi phân từng phần cũng được cải thiện và các phương pháp này tận dụng hiệu quả các đặc tính của hồi quy quá trình Gaussian.
Sự phát triển của các phương pháp số xác suất không diễn ra trong một sớm một chiều mà có liên quan chặt chẽ đến các lĩnh vực khác của toán học như độ phức tạp của thông tin, lý thuyết trò chơi và lý thuyết quyết định thống kê. Từ cuối thế kỷ 19 đến đầu thế kỷ 20, sự giao thoa giữa xác suất và phân tích số bắt đầu nhận được sự chú ý. Sự đóng góp của nhiều nhà toán học, từ Henri Poincaré đến Albert Suldin đến Mike Larkin, đã mở đường cho sự phát triển của lĩnh vực này.
Khi chúng ta đối mặt với những dữ liệu phức tạp, bạn đã bao giờ nghĩ đến việc áp dụng các phương pháp số xác suất để nâng cao hiệu quả tính toán của mình chưa?