Gerhard Sagerer

The Interaction of Word Recognition and Linguistic Processing in Speech Understanding

This contribution describes an approach to integrate a speech understanding and dialog system into a homogeneous architecture based on semantic networks. The definition of the network as well as its use in speech understanding is described briefly. A scoring function for word hypotheses meeting the requirements of a graph search algorithm is presented. The main steps of the linguistic analysis, i.e. syntax, semantics, and pragmatics, are described and their realization in the semantic network is shown. The processing steps alternating between data- and model-driven phases are outlined using an example sentence which demonstrates a tight interaction between word recognition and linguistic processing.

Werkzeuge zur Modellgesteuerten Bildanalyse und Wissensakquisition

Aufgrund der Hardware-Entwicklungen der letzten Jahre werden wissensbasierte Bildanalysesysteme zunehmend auch fur industrielle Anwendungen interessant. Im folgenden Artikel wird ein Systemrahmen fur derartige Anwendungen vorgestellt, der auch eine Wissensakquisitionskomponente auf CAD-Daten basierend umfast.

Model Based Analysis of Scintigraphic Image Sequences of the Human Heart

A system for the automatic analysis of scintigraphic image sequences of the human heart is described in this paper. The aim of the system is the automatic detection of motion abnormalities. The system has a modular structure consisting of four components, namely ‘Methods’, ‘Model’, ‘Instances’, and ‘Control’. The Module ‘Methods’ comprises several routines for image preprocessing and segmentation. The knowledge needed for analyzing an image sequence is contained in the module ‘Model’. The model is represented by means of a semantic network. Instances of model concepts are kept separately from the model. Each instance has the same structure as its corresponding concept. The ‘Control’ module has two principal concerns. First, it provides some means for communication between user and system. Secondly, it controls the analysis of an image sequence based on the model creating instances of model concepts.

Perception and computer vision

This chapter focuses on visual perception, which is the dominant sense in humans and has been used from the first days of building artificial machines. It highlights the state of the art in computer vision methods that have been found to operate well and that led to the development of capabilities. The chapter summarizes the work structured into four key topics: object recognition and categorization, tracking and visual servoing, understanding human behavior, and contextual scene understanding. Scene geometry is an important intermediate representation in the interpretation process of an image. Object recognition can be seen as the challenge to determine the where and what of objects in a scene. Surveillance systems often work in two phases: a learning phase and a run-time phase. The chapter concludes with a critical assessment of what computer vision has achieved and what challenges remain.

Knowledge-based and expert systems: representation and use of knowledge

The rapid development of data processing, data management, and artificial intelligence techniques made it possible to design systems based on a large amount of expert knowledge. The following sections will give an overview of this area. First the combination of data processing, building large information systems, and integrating knowledge-based systems will be illustrated. A definition of the terms ‘knowledge-based systems’ and ‘expert systems’ is suggested by choosing examples among the growing number of existing systems, and by specifying components or modules of such a system. One chapter will be dedicated to a system for the automatic analysis of heart scintigrams developed at the University of Erlangen. The last chapter reports on experiences, possibilities for use and further expansions.

Ein wissensbasiertes System zur automatischen Auswertung von Bildsequenzen des menschlichen Herzens

Der Artikel beschreibt ein System zur automatischen Auswertung nuklearmedizinisch gewonnener Bildfolgen des menschlichen Herzens. Aus der eingegebenen Bildsequenz wird wahrend des Analyseprozesses eine vollstandige diagnostische Beschreibung erzeugt. Das System arbeitet wissensbasiert. Das zur Analyse notwendige a priori Wissen wird in einem assoziativen Netzwerk gespeichert. Die Umsetzung von Bewegungsverlaufen zu diagnostischen Aussagen erfolgt mit Produktionsregeln auf der Basis der Fuzzy-Set Theorie.

A System for Diagnostic Evaluation of Scintigraphic Image Sequences

Due to its noninvasive nature, nuclear imaging has become very important for the diagnosis of human heart diseases. In our research, we are concerned with scintigrams, i. e. images showing the radiation emitted by the blood pool after equal distribution of a radionuclide which has been injected into a peripheral vein of the patient. The two-dimensional intensity distribution on an image corresponds to the three-dimensional radiation distribution of the blood pool. In this way, the interior space of the heart, i.e. the heart cavities are visualized. For assessing the motility of the heart, a sequence of images triggered by ECG is taken, representing one cycle of the heart. Besides diagnosis, periodical supervision after heart surgeries is a major application of the analysis of scintigraphic image sequences.

Ein Raummodell für die Bennung von Objekten in 3D-Szenen

Modelle fur Raumreprasentationen und raumliches Schliesen konzentrieren sich auf einen der folgenden Aspekte: die Entwicklung effizienter Datenstrukturen und Retrievalprozesse qualitatives Schliesen in zwei oder drei Dimensionen zur Unterstutzung qualitativer Simulationsprozesse Untersuchungen zur Benutzung sprachlicher Prapositionen in naturlicher Sprache die Visualisierung qualitativ beschriebener raumlicher Konstellationen und die Mensch-Maschine -Kommunikation uber naturliche oder virtuelle Szenen.

Wissensakquisition mit semantischen Netzen

Das Ziel bei der Entwicklung von bild- oder sprachverstehenden Systemen besteht darin, aus den Eingangssignalen automatisch eine Beschreibung relevanter Inhalte zu erzeugen. Die Festlegung dieser “Ausgabe” eines Systems ist dabei von der konkreten Aufgabe abhangig. Um derartige Interpretationen zu gewinnen wird bei komplexen Anwendungen “Wissen” uber den jeweiligen Problemkreis explizit fur das Analysesystem in einem Modell oder einer “Wissensbasis” gespeichert /NIE 8la/. Der Formalismus, der fur das Analysesystem das Modell aufnimmt, sollte unabhangig vom speziellen Problemkreis gewahlt werden, um fur weitere Anwendungen den Realisierungsaufwand zu reduzieren. Diesem Punkt wird in zahlreichen Wissensreprasentationssprachen weitgehend Rechnung getragen. Diese epistomologische Adaquatheit last sich allerdings nicht beweisen sondern praktisch nur anhand von Beispielen belegen. Neben der eigentlichen Reprasentationssprache sind die Inferenzmechanismen und die Kontrollstrategie fur die Effizienz eines Analysesystems von entscheidender Bedeutung. Auch diese sollten aus den oben genannten Grunden unabhangig von dem konkreten Anwendungsgebiet sein. Durch die bisherigen Arbeiten in den Bereichen Bild-und Sprachanalyse am Institut konnte gezeigt werden, das diese Forderungen von einem semantischen Netzwerk mit implizit definiertem Inferenzmechanismus und einer Kontrollstrategie auf der Grundlage des A*-Algorithmus erfullt werden konnen /SAG 85a, SCH 86a, NIE 86a, SAG 87b/. In dem Netzwerk werden drei Typen von Knoten und funf Typen von Kanten unterschieden. Neben den Konzepten, die die intensionale Beschreibung eines Begriffs aufnehmen, sind als weitere Knoten Instanzen und modifizierte Konzepte definiert. Wahrend Instanzen eine Zuordnung von Signalausschnitten zu einem Konzept manifestieren, sind modifizierte Konzepte gegenuber den Konzepten eingeschrankt aufgrund von zu einem Zeitpunkt bereits aufgebauten Instanzen. Zwischen einem Konzept und den zugehorigen Instanzen wird eine Kante Instanz gezogen. Die Kantentypen Spezialisierung, Konkretisierung und Bestandteil sowie ihre Inversen bauen Verbindungen zwischen Konzepten bzw. Instanzen auf. Konkretisierungen und Bestandteile konnen dabei innerhalb eines Konzepts in unterschiedlichen Modalitatsbeschreibungen zusammengefast werden. Vervollstandigt wird die intensionale Beschreibung eines Konzepts durch Attribute und Strukturrelationen Zur Analyse erforderliche zusatzliche Parameter werden als Analyseparameter bzw. Analysrelation bezeichnet. Jedem Konzept ist auserdem eine Bewertungsfunktion zugeodnet, die eine Instanz in Bezug auf die Aussage des Konzepts beurteilt. Bild 1 zeigt die vollstandige Syntax eines Konzepts in dem Netzwerk. Eine ausfuhrliche Darstellung Syntax, Semantik und Pragmatik des Netzwerks ist in /SAG 87a/ gegeben.

Kontrollalgorithmen für ein wissensbasiertes System zum automatischen Sprachverstehen

Mit zunehmender Komplexitat von Musteranalysesystemen gewinnen immer mehr Bewertungsverfahren fur Verarbeitungshypothesen und KontrollStrategien zur Steuerung eines Analyseprozesses an Bedeutung. Im Rahmen dieses Artikels wird die Frage von zulassigen Kontrollalgorithmen in Kombination mit mehreren Bewertungsfunktionen, z.B. Qualitat, Unsicherheit sowie Prioritat, diskutiert. Es wird dabei ein System betrachtet, das aus mehreren weitgehend unabhangigen Moduln besteht, die in ihren Verarbeitungsergebnissen teilweise konkurrieren. Die Objekte, welche die Kontrolle bewertet und erweitert bzw. den Systemmoduln zur Bewertung vorlegt, werden mehrstufige Interpretationen sein, durfen also Hypothesen unterschiedlicher Abstraktionsebenen beinhalten.