Some adaptive proximal method for a special class of variational inequalities and related problems
aa r X i v : . [ m a t h . O C ] A ug Об адаптивном проксимальном методе длянекоторого класса вариационных неравенств исмежных задач
Ф. С. Стонякин25 августа 2020 г.
Аннотация
Для задач безусловной оптимизации хорошо известна концепция неточногооракула, предложенная О. Деволдером, Ф. Глинером и Ю.Е. Нестеровым. В на-стоящей работе введен аналог понятия неточного оракула (модели функции) дляабстрактных задач равновесия, вариационных неравенств и седловых задач. Этопозволило предложить аналог известного проксимального метода А.С. Немиров-ского для вариационных неравенств с адаптивной настройкой на уровень гладко-сти для достаточно широкого класса задач. При этом предусмотрена возможностьнеточного решения вспомогательных задач проектирования на итерациях метода.Показано, что возникающие погрешности не накапливаются в ходе работы метода.Получены оценки скорости сходимости предложенного метода. Обоснована опти-мальность метода с точки зрения теории нижних оракульных оценок. Показано,что предложенный метод применим к смешанным вариационным неравенствам икомпозитным седловым задачам. Приведен пример, демонстрирующий возмож-ность существенного повышения качества работы метода по сравнению с теорети-ческими оценками за счет адаптивности критерия остановки.
1. Введение
Вариационные неравенства (ВН) и седловые задачи часто возникают в самыхразных проблемах оптимизации и имеют многочисленные приложения в мате-матической экономике, математическом моделировании транспортных потоков,теории игр и других разделах математики (см., например, [1]). Исследования вобласти алгоритмических методов решения вариационных неравенств и седло-вых задач активно продолжаются (см., например, [2]–[12]). Наиболее известныманалогом градиентного метода для ВН является экстраградиентный метод Г.М.1орпелевич [13], в качестве одного из современных вариантов которого можно вы-делить проксимальный зеркальный метод А.С. Немировского [8]. В работе пред-ложен аналог этого метода на базе ряда возникших в последние годы новых идейв области алгоритмической оптимизации, о которых мы скажем несколько слов[14, 15, 16, 17].Некоторое время назад Ю.Е. Нестеровым в [14] предложены так называемые универсальные градиентные методы для задач выпуклой минимизации. Под уни-версальностью метода понимается возможность адаптивной настройкой методана уровень гладкости задачи, что может позволить ускорять работу метода ([14],см. также раздел 5 из [15]).Недавно нами совместно с А.В. Гасниковым, П.Е. Двуреченским и А.А. Тито-вым был предложен универсальный проксимальный аналог метода А.С. Немиров-ского для решения вариационных неравенств (см. замечание 5.1 из [15] и статью[16]). При этом предложенная методика позволяет учесть возможность неточногозадания оракула для оператора поля. Для оператора g : Q → R n , заданного навыпуклом компакте Q ⊂ R n под сильным вариационным неравенством понимаемнеравенство вида h g ( x ∗ ) , x ∗ − x i , (1.1)где g удовлетворяет условию Гельдера: || g ( x ) − g ( y ) || ∗ L ν || x − y || ν ∀ x, y ∈ Q (1.2)для произвольного ν ∈ [0; 1] , причем L < + ∞ (другие константы L ν ( ν = 0 )могут быть бесконечными).Отметим, что в (1.1) требуется найти x ∗ ∈ Q (это x ∗ и называется решениемВН) для которого max x ∈ Q h g ( x ∗ ) , x ∗ − x i . (1.3)Для монотонного оператора поля g можно рассматривать слабые вариационныенеравенства h g ( x ) , x ∗ − x i . (1.4)Обычно в (1.4) требуется найти x ∗ ∈ Q , для которого (1.4) верно при всех x ∈ Q .Предложенная в [15, 16] методика позволяет получить приближённое решениезадач (1.1) – (1.4) с точностью ε с оценкой сложности (достаточного количестваитераций для достижения приемлемого качества решения) O (cid:18) ε (cid:19) ν ! , (1.5)2оторая оптимальна при ν = 0 и ν = 1 [7, 23, 24, 25]. При этом адаптивность мето-да [15, 16] на практике может приводить к ускорению работы метода по сравнениюс оценками (1.5) (подробнее об этом написано в замечании 2.3 ниже).Наконец, недавно А. В. Гасниковым в разделе 3 пособия [15] (см. также[17]) предложена абстрактная концепция ( δ, L )-модели функции, которая явля-ется прямым обобщением известного понятия ( δ, L ) -оракула О. Деволдера – Ф.Глинера – Ю.Е. Нестерова для задач безусловной оптимизации (см. работу [19],которая активно цитируется оптимизационным сообществом).
Определение 1.1.
Пара ( f δ ( y ) , g δ ( y )) ∈ R × E ∗ есть ( δ, L ) -оракул для функции f : Q → R в точке y , если для любого x ∈ Q справедливо неравенство ≤ f ( x ) − f δ ( y ) − h g δ ( y ) , x − y i ≤ L k x − y k + δ, (1.6)Отметим, что здесь E — пространство, содержащее аргументы функции f , а E ∗ — пространство, сопряжённое (двойственное) к E . Концепция ( δ, L ) -моделифункции [19] в точке отличается от предложенного О. Деволдером, Ю. Е. Несте-ровым и Ф. Глинером понятия неточного оракула тем, что линейная функция h g δ ( y ) , x − y i в (1.6) заменяется на некоторую абстрактную выпуклую функцию. Определение 1.2.
Будем говорить, что имеется ( δ, L ) -модель функции f ( x ) в точке y , и обозначать эту модель ( f δ ( y ) , ψ δ ( x, y )) , если для любого x ∈ Q справедливо неравенство ≤ f ( x ) − f δ ( y ) − ψ δ ( x, y ) ≤ L k x − y k + δ, (1.7) ψ δ ( x, x ) = 0 ∀ x ∈ Q (1.8) и ψ δ ( x, y ) — выпуклая функция по x для ∀ y ∈ Q . Отметим, что концепция ( δ, L )-модели функции из определения 1.2 позволя-ет обосновать сходимость обычного и быстрого градиентного методов выпуклойминимизации для достаточно широкого класса задач [15, 17, 18].Настоящая заметка посвящена новому развитию упомянутых выше идей. Мырассматриваем абстрактную постановку задачи о нахождении точек равновесия иобосновываем возможность использования аналога адаптивного (универсального)метода для вариационных неравенств из [15, 16] для такой постановки. На базеэтой идеологии вводится аналог концепции ( δ, L ) -модели функции для седловыхзадач. Такой подход позволит распространить методику [15, 16] на более широкий3ласс задач, в частности смешанные вариационные неравенства [4, 5] и компо-зитные седловые задачи (здесь стоит отметить популярную в оптимизационномсообществе работу [6]). Далее будем рассматривать задачу нахождения решения x ∗ ∈ Q абстрактной задачи равновесия (неравенство Фань Цзы) ψ ( x, x ∗ ) > ∀ x ∈ Q (1.9)для некоторого выпуклого компакта Q ⊂ R n , а также функционала ψ : Q × Q → R . Если предположить абстрактную монотонность функционала ψ : ψ ( x, y ) + ψ ( y, x ) ∀ x, y ∈ Q, (1.10)то всякое решение (1.9) будет также и решением двойственной задачи равновесия ψ ( x ∗ , x ) ∀ x ∈ Q. (1.11)В общем случае сделаем предположение о существовании решения x ∗ задачи (1.9).Приведем пару примеров задания ψ , для которых данное условие заведомо вы-полнено. Пример 1.1.
Если для некоторого оператора g : R → R n положить ψ ( x, y ) = h g ( y ) , x − y i ∀ x, y ∈ Q, (1.12)то (1.9) и (1.11) будут равносильны соответственно стандартным сильному и сла-бому вариационному неравенству с оператором g . Пример 1.2.
Для некоторого оператора g : Q → R n и выпуклого функционала h : Q → R n простой структуры (см. например, [15]) выбор функционала ψ ( x, y ) = h g ( y ) , x − y i + h ( x ) − h ( y ) (1.13)приводит к смешанному вариационному неравенству [4, 5] h g ( y ) , y − x i + h ( y ) − h ( x ) , (1.14)которое в случае монотонности оператора g влечет h g ( x ) , y − x i + h ( y ) − h ( x ) . (1.15)Отметим, что известно немало проксимальных методов для задач нахожденияточек равновесия (см. в частности [20, 21] и имеющуюся там библиографию). В4астности в [21] предложен проксимальный метод для задач равновесия в гиль-бертовых пространствах. Однако, как правило, в этих работах лишь исследуют-ся условия сходимости предлагаемых методов без какого-либо обоснования оп-тимальности скорости сходимости, а также критериев остановки рассматривае-мых методов, гарантирующих достижение приемлемого качества решения. Мыже в данной заметке предлагаем для таких задач предлагаем аналог метода А.С.Немировского [8]. При этом предлагаемый нами адаптивный критерий остановкиза конечное число шагов обеспечивает достижение приемлемого качества прибли-женного решения по аналогии со случаем вариационных неравенств, рассмотрен-ным в [8]. Замечание 1.1.
Хорошо известно, что множества решений (1.9) и (1.11) сов-падают в предположениях ψ ( x, x ) = 0 для всякой точки x ∈ Q , абстрактноймонотонности (1.10), выпуклости ψ по первой переменной, а также полунепре-рывности ψ снизу по первой переменной и слабой полунепрерывности сверху повторой переменной.Выделим основные результаты данной работы:- Как обобщение известного для задач оптимизации понятия ( δ, L ) -оракула О.Деволдера – Ф.Глинера – Ю.Е. Нестерова предложено понятие ( δ, L ) -модели дляабстрактной задачи нахождения точек равновесия.- Для задач равновесия предложен аналог известного для вариационных нера-венств и седловых задач проксимального метода А.С. Немировского (алгоритм 1).При этом рассмотрено специальное условие гладкости (2.16), а также предложенадаптивный критерий остановки метода. Адаптивность позволяет применять ме-тод для задач с неизвестной константой L , а также может приводить к ускорениюдостижения желаемой точности решения.- Получена оценка скорости сходимости алгоритма 1, указывающая на его оп-тимальность с точки зрения теории нижних оракульных оценок (теорема 2.1 изамечание 2.1). При этом учитываются погрешности задания функционала ψ , атакже решения вспомогательных задач на итерациях метода (см. (2.20)). Доказа-но, что погрешности обоих типов не накапливаются в ходе работы метода.- Введено понятие ( δ, L ) -модели для седловых задач (определение 3.1). Полу-чена оценка скорости сходимости алгоритма 1 для седловых задач, допускающих ( δ, L ) -модель (теорема 3.1). При этом также показана возможность учёта погреш-ности задания модели седловой задачи, а также погрешности решения вспомога-тельных задач на итерациях метода.- Обоснована возможность применения предложенного метода к смешаннымвариационным неравенствам (пример 1.2) и композитным седловым задачам (при-мер 3.1). 5 . Адаптивный проксимальный метод для аб-страктных задач равновесия Мы предлагаем адаптивный проксимальный метод для задач (1.9) и (1.11) приследующих предположениях для функционала ψ :(i) функционал ψ ( x, y ) выпуклый по первой переменной;(ii) ψ ( x, x ) = 0 ∀ x ∈ Q ;(iii) ( абстрактная монотонность ) неравенство (1.10)(iv) ( обобщенная гладкость ) ψ ( x, y ) ψ ( x, z ) + ψ ( z, y ) + LV ( x, z ) + LV ( z, y ) + δ (2.16)для некоторой фиксированной константы L > , где δ > — некотораяпостоянная величина (оценка погрешности задания ψ , степень отклоненияот гладкости), а V ( x, y ) есть расхождение Брэгмана, порожденное -сильновыпуклой прокс-функцией d : Q → R (относительно нормы || · || ).Напомним, что расхождение Брэгмана широко используется в оптимизации ивводится на базе конечной 1-сильно выпуклой функции d (порождает расстояния),которая дифференцируема во всех точках x ∈ Q : V ( x, y ) = d ( x ) − d ( y ) − h∇ d ( y ) , x − y i ∀ x, y ∈ Q, (2.17)где h· , ·i — скалярное произведение в R n . В случае стандартной евклидовой нормы k · k и расстояния в R n можно считать, что: V ( x, y ) = d ( x − y ) = 12 k x − y k ∀ x, y ∈ Q. Однако часто возникает необходимость использовать и неевклидовы нормы. Вэтом случае примеры и свойства дивергенции Брэгмана уже не столь не триви-альны (см., например, раздел 2 пособия [15]).Отметим, что в случае обычного ВН (1.12) и евклидовой нормы условие (2.16)сводится к неравенству h g ( z ) − g ( y ) , z − x i L || z − x || + L || z − y || + δ. (2.18)При δ = 0 неравенство (2.18) легко проверяется, например, для оператора g ( x ) = ∇ f ( x ) , где f : Q → R есть некоторый выпуклый субдифференцируе-мый функционал и ∇ f ( x ) — произвольный субградиент f в точке x . Заметим,6то при δ = 0 похожее на (2.16) условие ψ ( x, y ) ψ ( x, z ) + ψ ( z, y ) + a k y − z k + b k z − x k ∀ x, y, z ∈ Q (2.19)( a и b — положительные константы) предложено в [22] и использовалось во многихпоследующих работах (см., например [21] и имеющуюся там библиографию). Нашподход позволяет работать с неевклидовой прокс-структурой, а также учитыватьнеточность δ , что важно для идеологии универсальных методов [14, 15, 16].На (2.18) основан предложенный ранее проксимальный метод для вариаци-онных неравенств (см. замечание 5.1 из [15], а также статью [16]). Естественновозникает идея обобщить этот метод на абстрактные задачи (1.9) и (1.11) в пред-положениях их разрешимости, а также (i)–(iv). При этом будем учитывать по-грешность δ в (2.16), а также погрешность ˜ δ решения вспомогательных задач наитерациях согласно одному из достаточно известных в алгоритмической оптими-зации подходов (см. например, раздел 3 из [15], а также [17, 18]): x := arg min ˜ δy ∈ Q ϕ ( y ) , если h∇ ϕ ( x ) , x − y i ˜ δ. (2.20)Опишем ( N + 1) -ую итерацию рассматриваемого метода ( N = 0 , , , . . . ), вы-брав начальное приближение x = arg min x ∈ Q d ( x ) , зафиксировав точность ε > , а также некоторую константу L L .Для краткости будем всюду далее обозначать S N := N − X k =0 L k +1 . (2.23)Справедлива следующая Теорема 2.1.
После остановки рассматриваемого метода для всякого x ∈ Q будет заведомо выполнено неравенство: − S N N − X k =0 ψ ( x, y k +1 ) L k +1 V ( x, x ) S N + 2˜ δ + δ ε + 2˜ δ + δ, (2.24) a также ψ ( ˜ y, x ) V ( x, x ) S N + 2˜ δ + δ ε + 2˜ δ + δ (2.25) при ˜ y := 1 S N N − X k =0 y k +1 L k +1 . (2.26)7 лгоритм 1: Адаптивный метод для абстрактных задач равновесия.1. N := N + 1 ; L N +1 := L N .2. Вычисляем: y N +1 := arg min ˜ δx ∈ Q (cid:8) ψ ( x, x N ) + L N +1 V ( x, x N ) (cid:9) , x N +1 := arg min ˜ δx ∈ Q (cid:8) ψ ( x, y N +1 ) + L N +1 V ( x, x N ) (cid:9) до тех пор, пока не будет выполнено: ψ ( x N +1 , x N ) ψ ( y N +1 , x N ) + ψ ( x N +1 , y N +1 )++ L N +1 V ( y N +1 , x N ) + L N +1 V ( y N +1 , y N +1 ) + δ. (2.21)3. Если (2.21) не выполнено, то L N +1 := 2 L N +1 и повторяем п. 2.4. Иначе переход к п. 1.5. Критерий остановки метода: N − X k =0 L k +1 > max x ∈ Q V ( x, x ) ε . (2.22) Доказательство.
После завершения ( N + 1) -ой итерации метода ( N = 0 , , . . . )ввиду (2.20) имеем: ψ ( y N +1 , x N ) ψ ( x N +1 , x N ) + L N +1 V ( x N +1 , x N ) −− L N +1 V ( x N +1 , y N +1 ) − L N +1 V ( y N +1 , x N ) + ˜ δ,ψ ( x N +1 , y N +1 ) ψ ( x, y N +1 ) + L N +1 V ( x, x N ) −− L N +1 V ( x, x N +1 ) − L N +1 V ( x N +1 , x N ) + ˜ δ. Далее, в силу (2.21): ψ ( x N +1 , x N ) ψ ( y N +1 , x N ) + ψ ( x N +1 , y N +1 )++ L N +1 V ( y N +1 , x N ) + L N +1 V ( y N +1 , y N +1 ) + δ. Отметим, что предположение (2.16) гарантирует выполнение условия (2.21) при L N +1 > L после нескольких увеличений L N +1 в 2 раза. Просуммировав последниетри неравенства, получаем: ψ ( x, y N +1 ) + L N +1 V ( x, x N ) − L N +1 V ( x, x N +1 ) δ + δ, ψ ( x, y N +1 ) L N +1 + V ( x, x N ) − V ( x, x N +1 ) L N +1 (2˜ δ + δ ) , или после суммирования: − N − X k =0 ψ ( x, y k +1 ) L k +1 N − X k =0 (cid:0) V ( x, x k ) − V ( x, x k +1 ) (cid:1) + (2˜ δ + δ ) S N , откуда и следует доказываемое неравенство (2.24). Замечание 2.1.
Ввиду (2.16) и выбора L L гарантированно будет верно L k +1 L ∀ k = 0 , N − . Поэтому S N > N L и (2.24)–(2.25) означают, что для всякого x ∈ Q будут верны неравенства: ψ ( ˜ y, x ) − S N N − X k =0 ψ ( x, y k +1 ) L k +1 LV ( x, x ) N + 2˜ δ + δ ε + 2˜ δ + δ (2.27)после выполнения не более, чем O (cid:18) ε (cid:19) (2.28)итераций предлагаемого метода. При этом нетрудно проверить, количество реше-ний вспомогательных задач в п.2 алгоритма 1 на N итерациях метода не превы-шает N + log LL , т.е. стоимость итерации в среднем будет сопоставимой со стоимостью итерацииклассического экстраградиентного метода, предполагающей решение двух вспо-могательных задач на каждой итерации. Отметим, что оценка (2.28) с точностьюдо числового множителя оптимальна для вариационных неравенств и седловыхзадач [7, 23, 24, 25]. Предложенный алгоритм 1 применим и для более широкогокласса задач равновесия для функционала ψ , удовлетворяющего предположени-ям (i) – (iv) выше и с точки зрения количества итераций будет оптимальным сточностью до числового множителя. Замечание 2.2.
Для обычных слабых вариационных неравенств (1.4) неравен-ство (2.27) можно заменить на max x ∈ Q h g ( x ) , ˜ y − x i ε + 2 e δ + δ. (2.29)9тметим, что именно (2.29) обычно используют как критерий качества решениявариационного неравенства (см., например [8]). Замечание 2.3.
В случае гёльдерова оператора поля g (удовлетворяющего (1.2))известно неравенство (см. замечание 5.1 из [15], а также работу [16]) h g ( z ) − g ( y ) , z − x i L || z − x || + L || z − y || + ε (2.30)для некоторой константы L , зависящей от ε . На базе интерполяции (2.30) ал-горитм 1 сводится к универсальному методу для вариационных неравенств [16].Этот метод предполагает адаптивную настройку на уровень гладкости оператора g . Заметим, что полученная нами теорема 2.1 позволяет обобщить этот подход насмешанные вариационные неравенства (пример 1.2) с гёльдеровым оператором g .Оказывается, что настройка метода на уровень гладкости оператора можетпозволить ускорить работу метода. В частности, для негладкой задачи ( ν = 0 )метод на практике может работать со скоростью O (cid:0) ε (cid:1) , оптимальной для задачс липшицевым оператором ( ν = 1 ). Приведём один такой пример, связанныйс известной задачей Ферма-Торричелли-Штейнера , но при наличии несколькихнегладких функциональных ограничений. В общем случае задачи с функциональ-ными ограничениями с использованием принципа множителей Лагранжа сводятсяк седловым задачам и соответствующих им вариационным неравенствам.
Задача.
Для заданного набора точек A k = ( a k , a k , . . . , a nk , ) n-мерного ев-клидова пространства R n найти точку X = ( x , x , . . . , x n ) такую, что значениецелевой функции f ( x ) := n X k =1 p ( x − a k ) + ( x − a k ) + . . . + ( x n − a nk ) будет минимальным для всех точек, удовлетворяющих системе негладких функ-циональных ограничений: ϕ ( x ) = α | x | + α | x | + . . . + α n | x n | − ≤ ,ϕ ( x ) = α | x | + α | x | + . . . + α n | x n | − ≤ ,. . .ϕ m ( x ) = α m | x | + α m | x | + . . . + α mn | x n | − ≤ . При этом коэффициенты α , α , . . . , α mn образуют матрицу α α . . . α n α α . . . α n . . . . . . . . . . . . . . . . . . .α m α m . . . α mn (1 , ,а оставшиеся элементы равны 1. Положим L ( x, λ ) = f ( x ) + m X p =1 λ p ϕ p ( x ) , −→ λ = ( λ , λ , . . . , λ m ) и рассмотрим вариационное неравенство: h g ( x ∗ , −→ λ ∗ ) , ( x ∗ , −→ λ ∗ ) − ( x, −→ λ ) i ∀ ( x, −→ λ ) ∈ B ⊂ R n + m , где B = ( ( x, −→ λ ) | n X k =1 x k + m X p =1 λ p ) ,g ( x, λ ) = ∇ f ( x ) + m P p =1 λ p ∇ ϕ p ( x ) ,ϕ ( x ) , ϕ ( x ) , . . . , ϕ m ( x ) . Нетрудно понять, что целевой функционал и ограничения недифференцируе-мы в бесконечном множестве точек, но имеют ограниченные субдифференциалыв смысле выпуклого анализа. Поэтому оператор g удовлетворяет (1.2) при ν = 0 .Рассмотрим случай n = 10 переменных и m = 100 ограничений, начальноеприближение x = (0 . , . , . . . , . k (0 . , . , . . . , . k ∈ R n + m , норму и расстояние примем стандартным евклидовым. При этом координаты то-чек A k = ( a k , a k , . . . , a nk ) для k = 1 , , . . . , выберем как столбцы следующеймaтрицы A = − − − − − − − − − − − − − − − − − −
10 1 97 − − − − − −
61 9 − − − − − − . В таблице 1 мы приводим зависимость скорости работы (время и количествонеобходимых итераций) от желаемой точности ε .Как видим, метод работает со скоростью O (cid:0) ε (cid:1) , которая лучше оптимальнойтеоретической оценки O (cid:0) ε (cid:1) для задач уровня гладкости ν = 0 .11аблица 1: Скорость работы универсального метода.
12 14 16 18 110 112 114 116 K
3. О концепции ( δ , L)-модели функции для седло-вых задач Вариационные неравенства возникают, в частности, при решении седловых задач,в которых для выпуклого по u и вогнутого по v функционала f ( u, v ) : R n + n → R ( u ∈ Q ⊂ R n и v ∈ Q ⊂ R n ) требуется найти ( u ∗ , v ∗ ) такую, что: f ( u ∗ , v ) f ( u ∗ , v ∗ ) f ( u, v ∗ ) (3.31)для произвольных u ∈ Q и v ∈ Q . Мы считаем Q и Q выпуклыми компактамив пространствах R n и R n и поэтому Q = Q × Q ⊂ R n + n также есть выпуклыйкомпакт. Для всякого x = ( u, v ) ∈ Q будем полагать, что || x || = q || u || + || v || , где || · || и || · || — нормы в пространствах R n и R n ). Условимся обозначать x = ( u x , v x ) , y = ( u y , v y ) ∈ Q .Хорошо известно, что для достаточно гладкой функции f по u и v задача(3.31) сводится к вариационному неравенству с оператором g ( x ) = (cid:18) f ′ u ( u x , v x ) − f ′ v ( u x , v x ) (cid:19) . (3.32)Предложим некоторую адаптацию концепции ( δ, L ) -модели, применимую дляседловых задач. Определение 3.1.
Будем говорить, что функция ψ ( x, y ) ( ψ : R n + n × R n × n → R ) есть ( δ, L ) -модель для седловой задачи (3.31) , если для функционала ψ привсяких x, y, z ∈ Q выполнены предположения:(i) функционал ψ ( x, y ) — выпуклый по первой переменной;(ii) ψ ( x, x ) = 0 ∀ x ∈ Q ;(iii) (абстрактная монотонность) неравенство (1.10) ; iv) (обобщенная гладкость) ψ ( x, y ) ψ ( x, z ) + ψ ( z, y ) + LV ( x, z ) + LV ( z, y ) + δ (3.33) для некоторой фиксированной постоянной L > , где δ > — некотораяпостоянная величина (оценка погрешности задания ψ , степень отклоне-ния от гладкости);(v) справедливо неравенство: f ( u y , v x ) − f ( u x , v y ) − ψ ( x, y ) ∀ x, y ∈ Q. (3.34) Пример 3.1.
Предложенная концепция модели функции для седловых задачвполне применима, например, для рассмотренных в статье [6] композитных сед-ловых задач вида: f ( u, v ) = ˜ f ( u, v ) + h ( u ) − ϕ ( v ) (3.35)для некоторой выпуклой по u и вогнутой по v субдифференцируемой функции ˜ f , а также выпуклых функций простой структуры h и ϕ (для этих функций опе-рация проектирования на множество не очень затратна). В таком случае можноположить ψ ( x, y ) = h ˜ g ( y ) , x − y i + h ( u x ) + ϕ ( v x ) − h ( u y ) − ϕ ( v y ) , (3.36)где ˜ g ( y ) = (cid:18) ˜ f ′ u ( u y , v y ) − ˜ f ′ v ( u y , v y ) (cid:19) . Действительно, из субградиентных неравенств получаем: ˜ f ( u y , v y ) − ˜ f ( u x , v y ) h− ˜ f ′ u ( u y , v y ) , u x − u y i , ˜ f ( u y , v x ) − ˜ f ( u y , v y ) h− ˜ f ′ v ( u y , v y ) , v x − v y i . Поэтому имеем ˜ f ( u y , v x ) − ˜ f ( u x , v y ) −h ˜ g ( y ) , x − y i , откуда f ( u y , v x ) − f ( u x , v y ) = ˜ f ( u y , v x ) + h ( u y ) − ϕ ( v x ) − ˜ f ( u x , v y ) − h ( v x ) + ϕ ( v y ) == ˜ f ( u y , v x ) − ˜ f ( u x , v y ) + h ( u y ) + ϕ ( v y ) − h ( v x ) − ϕ ( v x ) −h ˜ g ( y ) , x − y i + h ( u y ) + ϕ ( v y ) − h ( v x ) − ϕ ( v x ) = − ψ ( x, y ) . Из теоремы 2.1 вытекает 13 еорема 3.1.
Если для седловой задачи (3.31) существует ( δ, L ) -модель ψ ( x, y ) ,то после остановки алгоритма 1 получаем точку ˜ y = ( u ˜ y , v ˜ y ) := (˜ u, ˜ v ) := 1 S N N X k =0 y k +1 L k +1 , (3.37) для которой верна оценка величины-качества решения седловой задачи: max v ∈ Q f (˜ u, v ) − min u ∈ Q f ( u, ˜ v ) ε + 2˜ δ + δ. (3.38)
4. Заключение
Таким образом, введённая в работе концепция ( δ, L )-модели функции для задачравновесного программирования, позволила распространить ранее предложенныйв [16] (см. также замечание 5.1 из [15]) универсальный метод для вариационныхнеравенств на более широкий класс задач. В частности, методика настоящей ра-боты применима к смешанным вариационным неравенствам [4, 5], а также ком-позитным седловым задачам [6]. При этом была учтена возможность неточногозадания функционала ψ , а также неточность решения вспомогательных задачпроектирования на итерациях метода. Показано, что при этом сохраняются опти-мальные с точки зрения нижних оракульных оценок скорости сходимости метода,а погрешности обоих типов не накапливаются в ходе итераций метода. Приводитсяпример, иллюстрирующий возможность ускорения работы предложенного мето-да по сравнению с теоретическими оценками за счёт адаптивного выбора шага иадаптивного критерия остановки (см. замечание 2.3 выше).Отметим некоторые открытые вопросы. Хорошо известно, что в общем случаек седловым задачам с помощью метода множителей Лагранжа сводятся задачивыпуклой условной оптимизации. Допустим, что целевой функционал или функ-ционал ограничения в задаче условной оптимизации не имеет липшицева гради-ента, но при этом для него существует ( δ, L )-модель в смысле определения 1.2.В таком случае ожидается, что соответствующая лагранжиева седловая задачабудет иметь ( δ, L )-модель в смысле определения 3.1. Отметим, что примеры такихфункционалов для безусловных задач приведены в [17, 18]. Представляет интересисследовать применимость результатов настоящей работы к задачам условной оп-тимизации с такими функционалами. Также представляется актуальным вопросо возможности использования похожей методики для каких-либо классов задачневыпуклой оптимизации, а также для вариационных неравенств с немонотонны-ми операторами.Статья опубликована в [26]. Данная версия текста содержит исправления до-пущенных ранее опечаток. 14 писок литературы [1] F. Facchinei, J. S. Pang, Finite-Dimensional Variational Inequality and ComplementarityProblems, vols. 1 and 2, //Springer-Verlag, New York, 2003.[2] А. С. Антипин. Методы решения вариационных неравенств со связанными ограничениями,// Ж. вычисл. матем. и матем. физ., 40:9 (2000), С. 1291 – 1307.[3] А. С. Антипин, В. Ячимович, М. Ячимович. Динамика и вариационные неравенства, // Ж.вычисл. матем. и матем. физ., 57:5 (2017), С. 783–800.[4] И. В. Коннов, Раис Ахмад Салахутдин, Двухуровневый итеративный метод для нестацио-нарных смешанных вариационных неравенств, // Изв. вузов. Матем., 2017, № 10, C. 50–61.[5] T. Q. Bao, P. Q. Khanh. Some Algorithms for Solving Mixed Variational Inequalities. // ActaMathematica Vietnamica, 2006, 31(1), pp. 77–98.[6] A. Chambolle, T. Pock. A First-Order Primal-Dual Algorithm for Convex Problems withApplications to Imaging. // J Math Imaging Vis (2011) 40: 120. https://doi.org/10.1007/s10851-010-0251-1.[7] C. Guzman, A. Nemirovski, On lower complexity bounds for large-scale smooth convexoptimization, //Journal of Complexity, 2015, 31, pp. 1–14.[8] A. Nemirovski, Prox-method with rate of convergence O(1/T) for variational inequalities withLipschitz continuous monotone operators and smooth convex-concave saddle point problems,//SIAM Journal on Optimization, 2004, 15, pp. 229–251.[9] Н. В. Меленьчук. Методы и алгоритмы для решения задач математического моделированияна основе вариационных неравенств, // Дисс. . . . канд. физ.-мат. наук: 05.13.18 — Омск:2011. — 123 c.[10] Nesterov Yu. Dual extrapolation and its application for solving variational inequalities andrelated problems, // Math. Program. 2007. Ser. B. P. 319–344.[11] Nesterov Yu., Scrimali L. Solving strongly monotone variational and quasi-variationalinequalities, // Discrete and Continuous Dynamical Systems – A. 2011. V. 31. № 4. P. 1383–1396.[12] Ю. Е. Нестеров. Алгоритмическая выпуклая оптимизация, Дисс... докт. физ.-мат. наук.М.: Моск. физ.-техн. ин-т (гос. ун-т), 2013.[13] Г.М. Корпелевич. Экстраградиентный метод для отыскания седловых точек и других за-дач, // Экономика и матем. методы. 1976. Т. 12. № 4. С. 747–756.[14] Yu. Nesterov, Universal gradient methods for convex optimization problems, //Math. Program.,2015, Ser. A, 152, pp. 381–404.[15] А. В. Гасников. Современные численные методы оптимизации. Метод универсаль-ного градиентного спуска, М. Изд-во МФТИ: 2018, 160 c., доступно по ссылке:https://arxiv.org/abs/1711.00394.
16] Ф.С. Стонякин, А. В. Гасников, П.Е. Двуреченcкий, А. А. Титов. Адаптивный проксималь-ный метод для вариационных неравенств, // Журнал вычислит. мат. и мат. физики, 2019,т. 59, доступно по ссылке: https://arxiv.org/pdf/1804.02579.pdf[17] Тюрин А.И., Гасников А.В. Быстрый градиентный спуск для задач выпуклой минимизациис оракулом, выдающим ( δ, L