Matthias Grochtmann

Classification trees for partition testing

The most important prerequisite for a thorough software test is the determination of relevant test cases. The classification‐tree method suggested in this paper supports the systematic determination and description of test cases. It is based on the idea of partition testing. By means of the classification‐tree method, the input domain of a test object is regarded under various aspects assessed as relevant by the tester. For each aspect, disjoint and complete classifications are formed. Classes resulting from these classifications may be further classified—even recursively. Test cases are formed by combining classes of different classifications. The stepwise partition of the input domain by means of classifications is represented graphically in the form of a tree. This tree is subsequently used to form a combination table in which the test cases are marked. Extensions of the graphical notation and tool support allow the use of the method even for extensive test problems.

Verifying Timing Constraints of Real-Time Systems by Means of Evolutionary Testing

Many industrial products are based on the use of embedded computer systems. Usually, these systems have to fulfil real-time requirements, and correct system functionality depends on their logical correctness as well as on their temporal correctness. In order to verify the temporal behavior of real-time systems, previous scientific work has, to a large extent, concentrated on static analysis techniques. Although these techniques offer the possibilty of providing safe estimates of temporal behavior for certain cases, there are a number of cases in practice for which static analysis can not be easily applied. Furthermore, no commercial tools for timing analysis of real-world programs are available. Therefore, the developed systems have to be thoroughly tested in order to detect existing deficiencies in temporal behavior, as well as to strengthen the confidence in temporal correctness. An investigation of existing test methods shows that they mostly concentrate on testing for logical correctness. They are not specialised in the examination of temporal correctness which is also essential to real-time systems. For this reason, existing test procedures must be supplemented by new methods which concentrate on determining whether the system violates its specified timing constraints. Normally, a violation means that outputs are produced too early, or their computation takes too long. The task of the tester therefore is to find the input situations with the longest or shortest execution times, in order to check whether they produce a temporal error. If the search for such inputs is interpreted as a problem of optimization, evolutionary computation can be used to automatically find the inputs with the longest or shortest execution times. This automatic search for accurate test data by means of evolutionary computation is called evolutionary testing. Experiments using evolutionary testing on a number of programs with up to 1511 LOC and 5000 input parameters have successfully identified new longer and shorter execution times than had been found using other testing techniques. Evolutionary testing, therefore, seems to be a promising approach for the verification of timing constraints. A combination of evolutionary testing and systematic testing offers further opportunities to improve the test quality, and could lead to an effective test strategy for real-time systems.

Modellbasierte Entwicklung eingebetteter Fahrzeugsoftware bei DaimlerChrysler

Steigende Softwareumfänge und die damit einhergehende Komplexitätssteigerung erfordern neue Herangehensweisen an die Entwicklung eingebetteter Fahrzeugsoftware. Als Reaktion auf diese Herausforderungen vollzieht sich seit einigen Jahren ein Paradigmenwechsel von der klassischen Programmentwicklung hin zu modellbasierten Techniken. Der Beitrag gibt einen Überblick über den Einsatz modellbasierter Entwicklungstechniken bei DaimlerChrysler und zeigt aktuelle Forschungsschwerpunkte auf. AbstractThe growing amount of software and attendant rise in complexity demand new approaches to the development of embedded vehicle software. For some years now, a paradigm change from classical program development to model-based techniques has been taking place in reaction to these challenges. This paper provides an overview of the application of model-based development techniques at DaimlerChrysler and presents the main foci of current research.

Modelling Requirements to Support Testing of Product Lines

The trend towards constantly growing numbers of product variants and features in industry makes the improvement of analysis and specification techniques a key efficiency enabler. The development of a single generic functional specification applicable to a whole product family can help to save costs and time to market significantly. However, the introduction of a product-line approach into a system manufacturers electronics development process is a challenging task, prone to human error, with the risk of spreading a single fault across a whole platform of product variants. In this contribution, a combined approach on variant-management and model-based requirements analysis and validation is presented. The approach, process and tool presented are generally applicable to functional requirements analysis and specification, since informal specifications or only an abstract idea of the required function are demanded as an input. It has been experienced in several industrial projects that the presented approach may help to reduce redundancies and inconsistencies and as a consequence it may ease and improve subsequent analysis, design and testing activities. Furthermore, the application of the presented variant management approach may benefit from model-based specifications, due to their improved analysability and changeability. In this contribution we present our experiences and results using model-based and variant-management concepts for requirements specification to support system testing. Additionally, we present an extension to integrate testing into the variant-management concept. The presented approach and process are supported by the MERAN tool-suite, which has been developed as an add-in to IBM RationalDOORS.

Erprobte Modelle zur Quantifizierung der Software-Zuverlässigkeit

Zusammenfassungu2007u2007Ein Software-System wird intuitiv als zuverlässig bezeichnet, wenn es den berechtigten Benutzungserwartungen bezüglich der Erfüllung seiner Aufgaben über einen Zeitraum hinweg auf zufriedenstellende Weise entspricht. Eine Quantifizierung dieser Zuverlässigkeit wird durch mathematische Modelle, Software-Zuverlässigkeitsmodelle, angestrebt. Vor allem für sicherheitskritische Systeme sind solche Modelle, die eine solide theoretische Fundierung besitzen, eingesetzt worden. Dieser Artikel gibt eine Übersicht über die bestehenden „klassischen“ Ansätze zur quantitativen Software-Zuverlässigkeitsbestimmung und faßt Erfahrungen mit deren Einsatz in der Praxis zusammen. Als Ausblick werden neue Entwicklungen zu alternativen Sichtweisen der Zuverlässigkeit beleuchtet.Summaryu2007u2007Software systems are intuitively said to be reliable, if they fulfill the user’s legitimate expectations regarding the accomplishment of their tasks over a given period of time. The quantification of this reliability can be achieved by means of mathematical models and software reliability models. Such mathematically well founded models have been deployed especially for safety critical systems. This paper gives an overview of existing „classical“ approaches for software reliability determination and resumes experiences with their practical implementations. Beyond this, new research directions for alternative viewpoints of reliability are discussed.

Evolutionärer Test von Realzeitsystemen

Zusammenfassung. Die Entwicklung von Realzeitsystemen ist eine wesentliche Aufgabe im industriellen Umfeld. Der dynamische Test ist die wichtigste analytische Qualitätssicherungsmethode für Realzeitsysteme. Der dynamische Test ist das einzige Verfahren, mit dem das Laufzeitverhalten der Systeme in der tatsächlichen Einsatzumgebung überprüft werden kann. Bestehende Testmethoden konzentrieren sich weitgehend auf den Test des funktionalen Verhaltens von Systemen. Sie bieten keine besondere Unterstützung für den Test des zeitlichen Verhaltens. Für die Korrektheit von Realzeitsystemen sind jedoch beide Aspekte gleichermaßen wichtig. Folglich müssen die bestehenden Methoden um neue Ansätze ergänzt werden, die auf die Prüfung des zeitlichen Verhaltens spezialisiert sind. Ein Fehler im Zeitverhalten von Realzeit-Systemen liegt dann vor, wenn es zulässige Eingabesituationen gibt, für die das System nicht in der Lage ist, die spezifizierten zeitlichen Anforderungen zu erfüllen. In den meisten Fällen ist dies darauf zurückzuführen, daßdas System eine Ausgabe zu früh macht oder daßdie Berechnung einer Ausgabe zu lange dauert und diese daher zu spät erfolgt. Aufgabe des Testers ist es folglich, die Eingabesituationen mit den längsten und kürzesten Ausführungszeiten zu finden, um zu überprüfen, ob die für das System spezifizierten Zeitschranken verletzt werden. Wird die Suche nach entsprechenden Eingabesituationen als Optimierungsproblem interpretiert, dann können evolutionäre Algorithmen verwendet werden, um die Eingaben mit den längsten und kürzesten Ausführungszeiten automatisch zu suchen. Die zu optimierende Zielfunktion entspricht hierbei den gemessenen Ausführungszeiten, die generierten Individuen repräsentieren Testdaten. Die Verwendung evolutionärer Algorithmen für den Test nennen wir evolutionären Test. Zum Vergleich des evolutionären Tests mit anderen Testmethoden wurden in dieser Arbeit mehrere Experimente durchgeführt. In allen Experimenten erreicht der evolutionäre Test längere bzw. kürzere Ausführungszeiten als durch Zufallstests oder systematische Tests gefunden werden. Der evolutionäre Test erscheint daher als gut geeignet für die Prüfung der zeitlichen Korrektheit von Realzeitsystemen. Die Kombination des evolutionären Tests mit systematischen Tests kann die Testqualität weiter verbessern und wird in diesem Papier als Teststrategie für Realzeitsysteme empfohlen.Abstract. The development of real-time systems is an essential industrial activity. Dynamic testing is the most important analytical method to assure the quality of real-time systems. It is the only means by which the run-time behavior of a system can be examined in its actual application environment. Existing software test methods generally concentrate on testing the functional correctness. They offer no support for examining the temporal behavior, though for the correct functioning of real-time systems the aspect of temporal correctness and functional correctness are equally important. This means that new approaches that concentrate on testing a systems temporal behavior need to be added to existing test procedures The temporal behavior is incorrect if the system is not capable of meeting specified temporal requirements within permitted input situations. In general, a violation means that outputs are produced too early or their computation takes too long, which means they are then produced to late. The testers task is to find the input situations with the longest or shortest execution times in order to determine whether these violate the systems specified temporal frame. If the search for such input situations is interpreted as a problem of optimization, evolutionary algorithms can be used for the automatic search for the longest or shortest execution times. In this case the fitness function corresponds to the measured execution time. The individuals generated represent test data for the system under test. The use of evolutionary algorithms for testing is called evolutionary testing. A number of experiments have been carried out within the scope of this work in order to compare evolutionary testing with other test methods. All experiments show that evolutionary testing reaches longer and shorter execution times than have been found using random testing and systematic testing. Evolutionary testing therefore seems suitable for checking the temporal correctness of real-time software. A combination of evolutionary testing and systematic testing offers further opportunities to improve the test quality and is suggested in this paper as an effective test strategy for real-time systems.

Systematischer Software-Test mit der Klassifikationsbaum-Methode

Um Software moglichst fehlerfrei entwickeln zu konnen, bedarf es einer Vielzahl aufeinander abgestimmter, sich gut erganzender konstruktiver, analytischer und organisatorischer Masnahmen. Ein unverzichtbarer Bestandteil der Software-Prufung ist ein systematischer Test. Ziel des Software-Tests ist es, durch Ausfuhrung des Testobjekts mit ausgewahlten Eingaben, Fehler in diesem zu finden. Gleichzeitig soll ein bestandener Test Vertrauen in die korrekte Funktionsweise des Testobjekts begrunden. Beide Ziele lassen sich nur durch ein systematisches und grundliches Vorgehen beim Software-Test erreichen. Die wichtigste Aktivitat ist dabei die Ermittlung von Testfallen, mit denen der Test durchgefuhrt werden soll, da hier Art und Umfang der Prufung festgelegt werden und damit die Gute des Tests bestimmt wird. Ein Testfall legt eine bestimmte Eingabekonstellation fest, mit der das Testobjekt getestet werden soll. Er umfast eine Menge von Eingabewerten. Ein Testfall abstrahiert von einem wirklichen Testdatum und bestimmt dieses nur soweit, wie dies fur die jeweils intendierte Prufung notwendig ist.