Sven Naumann

Quantitative Text Analysis Using L-, F- and T-Segments

It is shown that word length and other properties of linguistic units display a lawful behavior not only in form of distributions but also with respect to their syntagmatic arrangement in a text. Based on L-segments (units of constant or increasing lengths), F-segments, and T-segments (units of constant or increasing frequency or polytextuality respectively), the dynamic behavior of segment patterns is investigated. Theoretical models are derived on the basis of plausible assumptions on influences of the properties of individual units on the properties of their constituents in the text. The corresponding hypotheses are tested on data from 66 German texts of four authors and two different genres. Experiments with various characteristics show promising properties which could be useful for author and/or genre discrimination.

An empirical approach to syntax learning

Wir beschreiben die Grundzuge eines Systems, das, konfrontiert mit einer Menge von linguistischen Daten (Korpus), eine Syntax fur diese Daten generiert. Den Kern des Systems bildet ein inkrementeller Lernalgorithmus, der eine Folge von Grammatiken generiert, die den Verlauf des Lernprozesses reflektiert.

Evaluation of Text and Speech Systems

Dybkjaer, Laila, Hemsen, Holmer and Minker, Wolfgang (Eds.), Evaluation of Text and Speech Systems. Dordrecht: Springer Verlag, 2007. ISBN 9781402058158, 290 pp. The articles collected in this volum...

Deriving Grammars from Large Corpora

We propose a method for generating grammars for natural language that applies an inductive learning algorithm to large corpora. This learning procedure incrementally parses the corpora using a linguistically motivated basic grammar. For structures not describable by this grammar, rule hypotheses are generated, evaluated, and finally integrated into the grammar. Both statistical information and linguistic constraints are employed during the generation and evaluation process.

Gender Classification of German Nouns: Symbolic and Sub-Symbolic Approaches

Research in linguistics and computa0074ional linguistics has been dominated by symbolic approaches for more than 30 years. But in the last years the successful application of neural nets to a wide range of different tasks has led to a growing interest in sub-symbolic systems. The aim of this paper is to contrast both approaches by applying them to a well-defined linguistic problem.

Features and Tags

In many natural language processing systems (NLP—systems) the analysis of linguistic data starts with the identification of word classes (tagging). This paper describes the knowledge—based tagger FTAG which was developed as part of a system for the acquisition of syntactic knowledge from corpora.

Bottom-up-Parsing

Wir werden zunachst die Grundkonzepte des Bottom-up-Parsings anhand eines Algorithmus fur einen einfachen deterministischen Shift-reduce-Recognizer erlautern. Auf der Grundlage dieses Algorithmus entwickeln wir anschliesend einen Shift-reduce-Parser mit Depth-first-Suche und Backtracking und einen breadth-first operierenden Shift-reduce-Parser.

Bottom-up-Chart-Parser

Wir werden in diesem Kapitel zwei Chart-Parsingalgorithmen entwickeln1. Beide Algorithmen arbeiten ausschlieslich bottom-up und setzen voraus, das die zu verarbeitende Syntax keine Tilgungsregeln und Zyklen enthalt. Der erste dieser beiden Algorithmen stellt keine weiteren Anforderungen an die Syntax. Der zweite dagegen last sich nur auf Syntaxen in Chomsky-Normalform anwenden, d.h., die Syntax darf nur Regeln der Form X → Y Z und X → b, mit X, Y, Z ∈ VN und b ∈ VT, enthalten. Diese Restriktion ermoglicht eine sehr effiziente Berechnung der Chart.

Top-down-Parsing

Wir entwickeln in diesem Kapitel zunachst ein Schema zur Top-down-Analyse von Satzen, das wir anschliesend schrittweise zu einem Erkennungs- und einem Parsingalgorithmus erweitern. Dabei wird gezeigt, wie bei einer Top-down-Analyse entweder die Depth-first-Suche mit Backtracking oder die Breadth-first-Suche verwendet werden kann.

Der Earley-Algorithmus

Wir beginnen dieses Kapitel mit einer kurzen Beschreibung der wichtigsten Unterschiede zwischen dem im letzten Kapitel behandelten Cocke-Kasami-YoungerAlgorithmus und dem Earley-Algorithmus1. Anschliesend fuhren wir die drei vom Earley-Algorithmus zur Berechnung der Chart verwendeten Prozeduren ein. Mithilfe dieser Prozeduren formulieren wir zunachst einen Erkennungsalgorithmus fur kontextfreie Syntaxen ohne Tilgungs- und Kettenregeln. Dieser Algorithmus bildet die Grundlage fur die Entwicklung verschiedener Varianten von Erkennungs- und Parsingalgorithmen fur beliebige kontextfreie Syntaxen.