Franz Hartleb

Performance Evaluation of Parallel Programs — Modeling and Monitoring with the Tool PEPP

There are many possibilities how to parallelize an algorithm and how to map a program onto a parallel or distributed system. Performance models help to predict which implementation and which mapping are the best for a given algorithm and for a given computer configuration. Stochastic graph modeling is an appropriate method, since the execution order of tasks, their runtime distribution, and branching probabilities are represented. In this paper the modeling capabilities and the analysis techniques implemented in our tool PEPP are presented. In order to obtain relevant modeling results, measured and not only estimated model parameters are needed. They can be obtained through monitoring existing programs. A method to carry out monitoring efficiently is model-driven monitoring: model tasks are mapped onto their corresponding program activities which allows systematic and automatic program instrumentation. Model parameters can easily be calculated since the set of events is the same in modeling and monitoring. A model without timing information can be enhanced to a performance model with realistic parameters.

Kausalität in Computersystemen

Um die Leistungsfahigkeit paralleler und verteilter Systeme wirklich nutzen zu konnen, mus man die komplizierten Interaktionen zwischen kooperierenden Prozessen verstehen. Dies erfordert unter anderem die Analyse von Kausalbeziehungen, welche ihrerseits den Rahmen fur die moglichen zeitlichen Reihenfolgen aller Ereignisse in einem parallelen und verteilten System bilden.

Leistungsbewertung mit Modellen

Die Bedeutung von Modellen fur die analytische Leistungsbewertung wurde bereits in der Einleitung kurz motiviert. Das zentrale Anliegen ist es dabei, Leistungsaussagen uber (noch) nicht existierende Systeme zu ermoglichen. Das vorliegende Kapitel legt den Schwerpunkt auf ablauforientierte Modellierungsverfahren, die uberwiegend von einem Leistungsbewertungsteam der Universitat Erlangen entwickelt wurden. Die Erlanger Informatik hat sich schon sehr fruh intensiv mit Multiprozessoren befast, und so erklart sich auch bei der Modellierung das vorrangige Interesse an parallelen Programmen und ihrem Ablaufgeschehen. Im Rahmen von Forschungsaktivitaten zum Thema Leistungsbewertung fiel daher die Wahl auf ablauforientierte Verfahren, die die Ablaufdynamik paralleler Programme derart reprasentieren, das sie sowohl Leistungsvorhersagen fur den kompletten Programmlauf auf einer gegebenen Rechnerkonfiguration als auch die Integration von Messung und Modellierung unterstutzen. Der Integrationsgedanke, in diesem Kapitel lediglich angerissen, wird in Kapitel 6 genauer ausgefuhrt.

Die Integration von Monitoring und Modellierung

Die Ablaufe in parallelen und verteilten Systemen sind im allgemeinen so kompliziert, das es sich dringend empfiehlt, die geeigneten potentiellen Ereignisse vor der Messung formal zu spezifizieren. Dieses Kapitel ist einer neuen, von Quick [Qui93] entwickelten Methode zur systematischen und damit auch effizienten Durchfuhrung des Bewertungsprozesses mit Monitoring gewidmet. Diese Methode beruht auf der systematischen Selektion potentieller Ereignisse. Zur formalen Definition potentieller Ereignisse werden ablauforientierte Modelle verwendet, zur Implementierung von Werkzeugen speziell die in Kapitel 5 behandelten stochastischen Graphmodelle.

Monitoring verteilter und paralleler Rechensysteme

Der Bedarf, von monolithischen Monitorsystemen wegzugehen, ergab sich aus der Entwicklung der zu beobachtenden Rechner: Einerseits entstanden diverse Parallelrechner mit zwar geringer raumlicher Ausdehnung, aber zum Teil stattlicher Anzahl von identischen Prozessoren. Andererseits wurden viele Anwendungen uber Netzwerke von eigenstandigen Computern realisiert. Daraus resultiert die Forderung, Prozessoren in einem weiteren raumlichen Bereich beobachten zu konnen. Wenn sie erfullt werden kann, erstreckt sich der Einsatzbereich eines Monitors auch auf verteilte Systeme, die aus lokalen Netzen (local area networks, LAN) beliebiger Art bestehen mit einer geographischen Ausdehnung von etwa einem Kilometer.

Modellierung und Meßunterstützung mit dem Werkzeug PEPP

v.l.n.r. Dipl.-Inf. Markus Siegle, M. Sc., Dr.-Ing. Franz Hartleb, Dr.Ing. Andreas Quick, Dr.-Ing. Rainer Klar, Dipl.-Inf. Peter Dauphin Alle Autoren sind bzw. waren Mitarbeiter am Lehrstuhl für Rechnerarchitektur und Verkehrstheorie der Universität Erlangen-Nürnberg. Sie beschäftigen sich vorwiegend mit der Leistungsbewertung paralleler und verteilter Systeme und setzen dafür Meßund Modellierungsmethoden ein. Neben der Bewertung existierender Systeme stehen Methoden und Werkzeuge zur Unterstützung des Entwurfs effizienter paralleler Programme im Vordergrund. Dr. Hartleb und Dr. Quick sind seit 1994 in der Industrie tätig.

Graph Models for Performance Evaluation of Parallel Programs

For parallelizing an algorithm and for mapping a given program onto a parallel or distributed system there are generally many possibilities. Performance models can help to predict which implementation and which mapping is the best for a given algorithm and for a given computer configuration. Stochastic graph modeling is an appropriate method, since the execution order of tasks, their runtime distribution, and branching probabilities are represented.