Hagen Langer

Bottom-up-Parsing

Wir werden zunachst die Grundkonzepte des Bottom-up-Parsings anhand eines Algorithmus fur einen einfachen deterministischen Shift-reduce-Recognizer erlautern. Auf der Grundlage dieses Algorithmus entwickeln wir anschliesend einen Shift-reduce-Parser mit Depth-first-Suche und Backtracking und einen breadth-first operierenden Shift-reduce-Parser.

Bottom-up-Chart-Parser

Wir werden in diesem Kapitel zwei Chart-Parsingalgorithmen entwickeln1. Beide Algorithmen arbeiten ausschlieslich bottom-up und setzen voraus, das die zu verarbeitende Syntax keine Tilgungsregeln und Zyklen enthalt. Der erste dieser beiden Algorithmen stellt keine weiteren Anforderungen an die Syntax. Der zweite dagegen last sich nur auf Syntaxen in Chomsky-Normalform anwenden, d.h., die Syntax darf nur Regeln der Form X → Y Z und X → b, mit X, Y, Z ∈ VN und b ∈ VT, enthalten. Diese Restriktion ermoglicht eine sehr effiziente Berechnung der Chart.

Top-down-Parsing

Wir entwickeln in diesem Kapitel zunachst ein Schema zur Top-down-Analyse von Satzen, das wir anschliesend schrittweise zu einem Erkennungs- und einem Parsingalgorithmus erweitern. Dabei wird gezeigt, wie bei einer Top-down-Analyse entweder die Depth-first-Suche mit Backtracking oder die Breadth-first-Suche verwendet werden kann.

Der Earley-Algorithmus

Wir beginnen dieses Kapitel mit einer kurzen Beschreibung der wichtigsten Unterschiede zwischen dem im letzten Kapitel behandelten Cocke-Kasami-YoungerAlgorithmus und dem Earley-Algorithmus1. Anschliesend fuhren wir die drei vom Earley-Algorithmus zur Berechnung der Chart verwendeten Prozeduren ein. Mithilfe dieser Prozeduren formulieren wir zunachst einen Erkennungsalgorithmus fur kontextfreie Syntaxen ohne Tilgungs- und Kettenregeln. Dieser Algorithmus bildet die Grundlage fur die Entwicklung verschiedener Varianten von Erkennungs- und Parsingalgorithmen fur beliebige kontextfreie Syntaxen.

Der Tomita-Algorithmus

Tomitas Algorithmus ist eine Weiterentwicklung des LR-Parsingalgorithmus. Es ist ein genereller Parsingalgorithmus, d.h. er kann fur beliebige kontextfreie Sprachen verwendet werden. Der wichtigste Unterschied zu dem einfachen LR-Algorithmus, den wir in Kapitel 10 beschrieben haben, liegt in der Verwendung eines graphstrukturierten Stacks, der eine effiziente Verarbeitung von Parsingtabellen mit Mehrfacheintragen erlaubt.

Left-corner-Parsing

In diesem Kapitel beschreiben wir die Left-corner-Parsingstrategie. Nach Einfuhrung der Begriffe „linke Ecke“ (einer Regel) und „Left-corner-Parse“ entwickeln wir einen nicht-deterministischen Left-corner-Erkennungsalgorithmus, den wir dann schrittweise zu einem Parsingalgorithmus (mit Look-ahead) erweitern. Das Kapitel endet mit der Beschreibung des in Prolog implementierten BUP-Systems von Matsumoto.

ID/LP-Syntaxen

In den letzten 10 Jahren hat sich ein deutlicher Wandel der Vorstellungen von der Struktur linguistischer Theorien und Formalismen vollzogen. Es galt eine Losung fur die fundamentalen methodologischen Probleme zu finden, zu der die Annahme einer hierarchischen Organisation der linguistischen Beschreibungsebenen, wie sie der amerikanische Strukturalismus popular gemacht hatte, gefuhrt hatte. Neuere (meist unifikationsbasierte) Formalismen sind modular organisiert; d.h. sie postulieren eine Anzahl ’unabhangiger’ Komponenten (Module), die relativ frei miteinander interagieren. Diesem Trend folgend, werden in verschiedenen Formalismen kontextfreie Phrasenstrukturregeln durch sogenannte Immediate-dominance- und Linear-precedence-Regeln (ID/LP-Regeln) ersetzt. Wir werden in diesem Kapitel zunachst das Konzept der ID/LP-Syntaxen erlautern1 und anschliesend zwei Varianten des Earley-Algorithmus vorstellen, die eine direkte Verarbeitung von ID/LP-Syntaxen ermoglichen.

Ein Chart-Parser für unifikationsbasierte Syntaxen

Grundsatzlich lassen sich alle der von uns vorgestellten Parsingalgorithmen so erweitern, das sie zum Parsen unifikationsbasierter Syntaxen verwendet werden konnen, die einen kontextfreien Kern enthalten. Wir werden anhand des Earley-Algorithmus die Schritte skizzieren, die ein solcher Adaptionsprozes erfordert. Wir beschranken uns auf die Implementierung eines earley-basierten Recognizers in Lisp.

Was ist Parsing

Der Ausdruck „Parsing“ leitet sich aus den „partes orationis“, d.h. den Wortarten, ab. Entsprechend den Vorstellung der Grammatiktradition des 19. Jahrhunderts besteht die grammatische Analyse im wesentlichen aus der Bestimmung der Wortarten.

Definite Clause Grammatiken

Definite Clause Grammatiken (DCGs) sind historisch und systematisch eng mit der Programmiersprache Prolog verbunden, die u.a. zu Zwecken der Verarbeitung naturlicher Sprache entwickelt wurde. DCGs sind im Sprachumfang der meisten Prolog-Implementierungen bereits enthalten, konnen aber auch leicht mit anderen Prolog-Sprachmitteln vom Benutzer definiert werden. Wegen dieser engen Verzahnung von DCGs und Prolog werden wir darauf verzichten, die Reprasentation und Verarbeitung von DCGs in Lisp zu diskutieren.