Klaus Kessler

Konzeptualisierung in inkrementell-integrativer Sprachverarbeitung

SummaryLanguage is a versatile instrument in co-operatively solving a construction task. In order to understand instructions given during such a task, objects have to be identified and the type of action to be performed has to be determined. The experiments presented show that the way in which objects and actions are conceptualized depends on the linguistic and the non-linguistic, visually available context. Both kinds of information are processed incrementally in an integrative way. The impact of relevant factors, such as the specificity of verbs and object namings, object properties such as color, size, location and the dynamically determined class to which the object belongs was studied. Conclusions for models of language understanding and language production are drawn and requirements for a grammatical formalism suitable for incremental and integrative processing are formulated.ZusammenfassungSprache ist ein wichtiges Instrument bei der kooperativen Lösung einer Konstruktionsaufgabe. Zum Verstehen von Handlungsanweisungen im Rahmen dieser Aufgabe müssen Objekte identifiziert und die Art der Handlung erkannt werden. Es werden empirische Untersuchungen vorgestellt, die zeigen, daß die Konzeptualisierung der Objekte und Handlungen vom sprachlichen und nichtsprachlichen, visuell verfügbaren Kontext abhängt. Beide Arten von Kontextinformation werden inkrementell und integrativ verarbeitet. Dazu wurde der Einfluß einzelner Faktoren wie die Spezifität von Verben und Objektbezeichnungen, Objekteigenschaften wie Farbe, Größe und Position sowie die dynamisch zugewiesene Objektklasse und die Wortstellung der benutzten Sprache untersucht. Es werden Folgerungen für die Modellierung von beiden Richtungen der Sprachverarbeitung, Rezeption und Produktion, gezogen und Anforderungen an einen Grammatikformalismus zur inkrementell-integrativen Satzverarbeitung dargestellt.

Resolving Ambiguous Descriptions through Visual Information

The project “Reference in Discourse” deals with the selection of a specific object from a visual scene in a natural language situation. The goal of this research is to explain this everyday discourse reference task in terms of a concept generation process based on subconceptual visual and verbal information. The system OINC (Object Identification in Natural Communicators) aims at solving this problem in a psychologically adequate way. The system’s difficulties occurring with incomplete and deviant descriptions correspond to the data from experiments with human subjects. The results of these experiments are reported.

Dynamische Konzeptverarbeitung mit imaginalen und assoziativen Strukturen

SummaryThis article presents the cooperation between an informatics and a psycholinguistic approach for modeling dynamic concept processing. As a new approach to object classification, imaginal prototypes are included in the categorical representation of the informatics framework. Objects are classified in a robust and flexible manner by gradually refined geometric shape descriptions. The psycholinguistic approach details a process model which uses the dynamics of recurrent connectionist networks to deduce and test hypotheses of temporal flow within conceptualization processes. Separation of the network into imaginal and associative subnetworks proves empirically adequate. Integration of the informatics and psycholinguistic frameworks offers a hybrid approach of dynamic concept processing.ZusammenfassungDiese Arbeit stellt die Kooperation eines informatischen und eines psycholinguistischen Ansatzes bei der Modellierung dynamischer Konzeptverarbeitung vor. Im informatischen Teil werden zum Zweck formbasierter Objektklassifikation imaginale Prototypen in die kategoriale Repräsentation einbezogen. Objekte werden durch sukzessive Verfeinerung geometrischer Formmodelle flexibel und robust klassifiziert. Im psycholinguistischen Ansatz wird ein Prozeßmodell entwickelt, das die Dynamik rekurrenter konnektionistischer Netze nutzt, um Hypothesen zu zeitlichen Verläufen von Konzeptualisierungsprozessen abzuleiten und sie experimentell zu prüfen. Dabei erweist sich eine Trennung in imaginale und assoziative Subnetze als empirisch adäquat. Die Verbindung zwischen den beiden Ansätzen zielt auf einen hybriden Ansatz der Modellierung dynamischer Konzeptverarbeitung ab.

Discourse Focus and Conceptual Relations in Resolving Referential Ambiguity

The study discusses the cognitive aspects of discourse focus, verbal descriptions, and conceptual relations in resolving referential ambiguity. In three experiments, subjects were presented with pictorial and verbal materials that constituted a referentially ambiguous situation. The focus built up during preceding tasks determined the selection of a referent in a critical reference task. Judgments of task difficulty, as well as the speed of referent identification, did depend on the type of verbal description used (definite vs. indefinite) and on the degree of denotative aptness. The findings suggest that focusing and the establishment of semantic relations are integral parts of cognitive activity in the resolution of ambiguous reference.

Conceptualization in incremental-integrative language processing

SummaryLanguage is a versatile instrument in co-operatively solving a construction task. In order to understand instructions given during such a task, objects have to be identified and the type of action to be performed has to be determined. The experiments presented show that the way in which objects and actions are conceptualized depends on the linguistic and the non-linguistic, visually available context. Both kinds of information are processed incrementally in an integrative way. The impact of relevant factors, such as the specificity of verbs and object namings, object properties such as color, size, location and the dynamically determined class to which the object belongs was studied. Conclusions for models of language understanding and language production are drawn and requirements for a grammatical formalism suitable for incremental and integrative processing are formulated.ZusammenfassungSprache ist ein wichtiges Instrument bei der kooperativen Lösung einer Konstruktionsaufgabe. Zum Verstehen von Handlungsanweisungen im Rahmen dieser Aufgabe müssen Objekte identifiziert und die Art der Handlung erkannt werden. Es werden empirische Untersuchungen vorgestellt, die zeigen, daß die Konzeptualisierung der Objekte und Handlungen vom sprachlichen und nichtsprachlichen, visuell verfügbaren Kontext abhängt. Beide Arten von Kontextinformation werden inkrementell und integrativ verarbeitet. Dazu wurde der Einfluß einzelner Faktoren wie die Spezifität von Verben und Objektbezeichnungen, Objekteigenschaften wie Farbe, Größe und Position sowie die dynamisch zugewiesene Objektklasse und die Wortstellung der benutzten Sprache untersucht. Es werden Folgerungen für die Modellierung von beiden Richtungen der Sprachverarbeitung, Rezeption und Produktion, gezogen und Anforderungen an einen Grammatikformalismus zur inkrementell-integrativen Satzverarbeitung dargestellt.

Dynamic concept processing with imaginal and associative structures

SummaryThis article presents the cooperation between an informatics and a psycholinguistic approach for modeling dynamic concept processing. As a new approach to object classification, imaginal prototypes are included in the categorical representation of the informatics framework. Objects are classified in a robust and flexible manner by gradually refined geometric shape descriptions. The psycholinguistic approach details a process model which uses the dynamics of recurrent connectionist networks to deduce and test hypotheses of temporal flow within conceptualization processes. Separation of the network into imaginal and associative subnetworks proves empirically adequate. Integration of the informatics and psycholinguistic frameworks offers a hybrid approach of dynamic concept processing.ZusammenfassungDiese Arbeit stellt die Kooperation eines informatischen und eines psycholinguistischen Ansatzes bei der Modellierung dynamischer Konzeptverarbeitung vor. Im informatischen Teil werden zum Zweck formbasierter Objektklassifikation imaginale Prototypen in die kategoriale Repräsentation einbezogen. Objekte werden durch sukzessive Verfeinerung geometrischer Formmodelle flexibel und robust klassifiziert. Im psycholinguistischen Ansatz wird ein Prozeßmodell entwickelt, das die Dynamik rekurrenter konnektionistischer Netze nutzt, um Hypothesen zu zeitlichen Verläufen von Konzeptualisierungsprozessen abzuleiten und sie experimentell zu prüfen. Dabei erweist sich eine Trennung in imaginale und assoziative Subnetze als empirisch adäquat. Die Verbindung zwischen den beiden Ansätzen zielt auf einen hybriden Ansatz der Modellierung dynamischer Konzeptverarbeitung ab.