Wolfgang Warth

Effiziente Schrittweitenfunktionen bei unrestringierten Optimierungsaufgaben

ZusammenfassungVon einem allgemeinen Standpunkt aus werden verschiedene Schrittweitenfunktionen diskutiert und ihr Einfluß auf die Konvergenz von Verfahren der unrestringierten Optimierung betrachtet. Es werden effiziente Schrittweitenfunktionen definiert und gezeigt, daß die bekannten Schrittweitenalgorithmen effizient sind. Schließlich werden notwendige und hinreichende Konvergenzkriterien für Abstiegsverfahren angegeben und auf Verfahren der konjugierten Gradienten angewendet.AbstractIn the present paper we discuss several steplength procedures from a general point of view. We consider their influence on the convergence of algorithms for the numerical treatment of optimization problems without constraints. We define efficient step-size functions and show that well known steplength procedures are efficient. Necessary and sufficient conditions for convergence of descent methods with efficient step-size functions and applications to conjugate gradient methods are given.

Notwendige Optimalitätsbedingungen und ihre Anwendung

1m Wintersemester 1974/75 hielt der letztgenannte Autor an der Universitat Gottingen eine Vorlesung uber Optimierung. Diese horte der erstgenannte Autor als Student, der zweitgenannte betreute als Assistent die Ubungen. 1m AnschluB an die nachfolgenden Diskussio nen untereinander entstand der Plan, die vorliegende Arbeit zu schreiben. An Vorkenntnissen sollten dabei nur die einfachsten Grundbegriffe der linearen Funktionalanalysis vorausgesetzt werden. Herrn Professor Dr. K. Ritter mochten wir fur die Ermutigung danken, uberhaupt mit der Arbeit zu beginnen. Fraulein R. -M. Wedekind gilt unser besonderer Dank fur das Schreiben des Manuskripts. Gottingen, November 1977 Andreas Kirsch Wolfgang Warth Jochen Werner Inhaltsverzeichnis Einleitung 8 I Funktionalanalytische Hilfsmittel Konvexe Mengen in linearen Raumen 8 1 2 Konvexe Mengen in linearen normierten Raumen 23 28 II Notwendige Optimalitatsbedingungen Problemstellung, Definitionen, Hilfssatze 28 1 Ein Alternativsatz und Maximumprinzipien 48 2 Konvexe Optimierungsaufgaben 61 3 4 Das Maximumprinzip fur differenzierbare Funk tionen 68 5 Das Maximumprinzip bei Optimierungsaufgaben mit affin linearen Ungleichungsrestriktionen 76 84 III Anwendungen 1 Notwendige Optimalitatsbedingungen bei opti malen Steuerungsproblemen 84 2 Notwendi e Optimalitatsbedingungen bei dis kreten optimal en Steuerungsproblemen 111 3 Notwendige Optimalitatsbedingungen in der Approximationstheorie 118 4 Einige spezielle Beispiele 127 Literaturverzeichnis 149 Symbolverzeichnis 155 Sachverzeichnis 156 Einleitung Eines der wichtigsten Teilgebiete der Optimierung ist die Theorie notwendiger Bedingungen. Untersucht wird hierbei die Frage, wel chen Bedingungen eine Lasung einer gegebenen Optimierungsaufgabe notwendig zu genugen hat. Bei konkreten Fragestellungen hofft man, mit Hilfe dieser notwendigen Optimalitatsbedingungen Aussagen zu gewinnen, die zu einer Berechnung maglicher Lasungen ausgenutzt werden kannen.

Approximation with constraints in normed linear spaces

The purpose of this paper is to develop a unified approach to the characterization of solutions of constrained and unconstrained approximation problems. Several papers have been written on the characterization of solutions of special approximation problems with particular types of constraints or without constraints. For uniform approximation a general theory has been obtained by using generalized weight functions. Recently a new approach via optimization theory has been presented in [I]. The idea is to show, first, that the local Kolmogoroff condition is satisfied. Assuming a convexity condition, it can be shown that the local Kolmogoroff condition implies the Kolmogoroff criterion. Hence best approximations are characterized by the local Kolmogoroff condition. An essential restriction in [I] is the assumption of linear equality constraints For uniform approximation problems with nonlinear equality constraints, the local Kolmogoroff condition has been deduced in [2] under the assumption cd a regularity condition that does not seem to be practical. By deleting inequality constraints a more satisfactory regularity condition has been studied in [3]. Our aim is to treat approximation problems with nonlinear equality and inequality constraints in a normed linear space and to present a new and satisfactory regularity condition. As in [I], we consider the problem as a particular type of optimization problem. Applying new kinds of differentiability, a new approach to optimization problems has been developed in [4]. A generalization of the well-known Lagrange multiplier theorem has been obtained that can be applied to convex optimization problems as well as to differentiable optimization problems. Here we shall apply this theorem to approximation problems with constraints. In particular we obtain new characterization theorems for constrained &-approximation problems of continuous functions.

Notwendige Optimalitätsbedingungen bei diskreten optimalen Steuerungsproblemen

Wir wollen in diesem Paragraphen diskrete optimale Steuerungsprobleme betrachten und analog zu §1 ein diskretes PONTRYAGIN’sches Maximumprinzip herleiten. Wir werden hier, genau wie im vorigen Paragraphen, nicht das allgemeinst mogliche Problem betrachten. Auch das Ergebnis, das wir erhalten werden, ist nicht ganz das bestmogliche, da wir an den Steuerbereich Konvexitatsvoraussetzungen machen. In allen praktisch interessanten Fallen stimmen aber die hier gewonnenen Ergebnisse mit denen von CANON-COLLUM-POLAK [6,7] und HALKIN [16] uberein. Interessant ist, das bei diskreten optimalen Steuerungsproblemen i.a. kein globales PONTRYAGIN’ sches Maximumprinzip zu erwarten ist (siehe [7]), sondern das lokale Maximumprinzip nur unter Konvexitatsbedingungen zu einem globalen Maximumprinzip erweitert werden kann.

Approximation with interpolatory constraints

Abstract Best approximation with interpolatory constraints is considered. A sufficient condition for an approximating function to be a unique best approximation is presented. A necessary condition is deduced if uniqueness holds.

Bemerkungen zur superlinearen konvergenz von abstiegsverfahren

We discuss superlinearly convergent algorithms for unconstrained optimization problems. Two feneral algorithms are presented and we outline a theory of convergence for those algorithms.

Notwendige Optimalitätsbedingungen bei optimalen Steuerungsproblemen

Zunachst wollen wir versuchen, mehr verbal als mathematisch-exakt zu erklaren, was ein optimales Steuerungsproblem ist.

Das Maximumprinzip bei Optimierungsaufgaben mit affin linearen Ungleichungsrestriktionen

Wir wollen in diesem Paragraphen Optimierungsaufgaben betrachten, die als Nebenbedingungen lediglich affin-lineare Ungleichungsrestriktionen haben. Ferner betrachten wir nur den Fall reellwerti-ger Zielfunktionen. Wir werden zeigen, das man beim Maximumprinzip den zur Zielfunktion gehorenden Multiplikator als von 0 verschieden annehmen kann, wenn eine gewisse Zusatzbedingung erfullt ist, die bei entsprechenden endlichdimensionalen Problemen stets gegeben ist. Der hier eingeschlagene Zugang unterscheidet sich grundsatzlich von dem Vorgehen etwa in §2, da der strikte topologische Trennungssatz Satz I 2.5 an entscheidender Stelle benutzt wird.

Ein Alternativsatz und Maximumprinzipien

Wir beweisen in diesem Paragraphen zunachst ein Lemma, welches eine Verallgemeinerung eines Satzes von BAZAPAA [1] darstellt und wenden dieses dann zum Beweis eines Alternativsatzes an, der etwa aussagt: Hat ein System von konvexen Ungleichungen und affin linearen Gleichungen in einer konvexen Menge keine Losung, so hat ein Ungleichungssystem im Dualraum eine nichttriviale Losung. Unter einer gewissen “constraint qualification” kann gezeigt werden, das nicht beide Systeme gleichzeitig nichttriviale Losungen haben konnen. Dieser Alternativsatz wird dann zum Beweis von Maximumprinzipien angewandt. Das erste ist rein algebraischer Art und gibt notwendige Optimalitatsbedingungen fur Optimierungsprobleme mit Ungleichungs- und affin linearen Gleichungsbedingungen an, beim zweiten Maximumprinzip werden auch nichtlineare Gleichungsrestriktionen erfasst. Danach geben wir fur beide Probleme eine allgemeine “constraint qualification” an und gehen dann auf Varianten des Maximumprinzips ein.

Problemstellung, Definitionen, Hilfssätze

Unser Ziel ist es, notwendige Bedingungen dafur anzugeben, das eine Abbildung f: E → ZO zwischen linearen Raumen E und ZO in einem Punkt xO ∊ M mit M ∈ E ihr Minimum auf M annimmt. Da wir nicht nur den Fall Z = ℝ zulassen wollen, haben wir zunachst zu defi-o nieren, was wir unter einem Minimum der Abbildung f auf M verstehen wollen.