Jan-Torsten Milde

Kommunizierende Agenten: Gestische und natürlichsprachliche Interaktion

SummaryAn important scientific method within cognitive science consists in the synthesis of cognitive abilities, of forms of behavior by developing specific artificial agents. Many current approaches make use of the notion of an agent in order to develop concepts of cognitive behavior on different levels of abstraction. Basic properties of agents are: reactivity, autonomy, goal directed activity, and communication. This contribution examines the communicative aspect, i.e. the interaction by gesture or language and their integration, e.g. in identifying referents. Since we conceive communicating agents as systems able to synthesize such interactions as well as their integration, this will be illustrated with respect to two artificial systems. The GRAVIS system detects objects as well as pointing gestures of an instructor, and the camera agent is able to focus on specific objects. The CoRA system processes situated natural language instructions, and the simulated robot agent is able to integrate the use of language, perception and action. Finally we propose an integration of both approaches.ZusammenfassungEin wichtiger Forschungsansatz innerhalb der Kognitionswissenschaft besteht in der Synthese kognitiver Fähigkeiten und Verhaltensweisen durch den Bau geeigneter, künstlicher Systeme. Viele der in jüngerer Zeit verfolgten Ansätze nutzen dabei den Begriff des Agenten, um kognitives Verhalten auf unterschiedlichen Abstraktionsebenen zu konzeptualisieren. Grundeigenschaften von Agenten sind u.a. Reaktivität, Autonomie, Zielgerichtetheit und Kommunikationsfähigkeit. In dem vorliegenden Beitrag interessieren wir uns für die Ebene kommunikativen Verhaltens, bei der Gestik und Sprache zur Vermittlung eines Sachverhaltes zusammenwirken, und verstehen unter einem kommunizierenden Agenten ein System, das für solches Verhalten einen nennenswerten Kompetenzausschnitt realisiert. Wir stellen hierzu beispielhaft zwei Systeme vor. Das System GRAVIS demonstriert die Referenzierung von Objekten im Blickfeld eines Kamerakopfes durch Handzeigegestik eines Instrukteurs. Das System CoRA demonstriert die Verarbeitung sprachlicher Handlungsanweisungen im Kontext der Kooperation mit einem simulierten Roboter. Abschließend wird die Integration der beiden Ansätze diskutiert.

Communicating agents: Gesture and natural language interaction

SummaryAn important scientific method within cognitive science consists in the synthesis of cognitive abilities, of forms of behavior by developing specific artificial agents. Many current approaches make use of the notion of an agent in order to develop concepts of cognitive behavior on different levels of abstraction. Basic properties of agents are: reactivity, autonomy, goal directed activity, and communication. This contribution examines the communicative aspect, i.e. the interaction by gesture or language and their integration, e.g. in identifying referents. Since we conceive communicating agents as systems able to synthesize such interactions as well as their integration, this will be illustrated with respect to two artificial systems. The GRAVIS system detects objects as well as pointing gestures of an instructor, and the camera agent is able to focus on specific objects. The CoRA system processes situated natural language instructions, and the simulated robot agent is able to integrate the use of language, perception and action. Finally we propose an integration of both approaches.ZusammenfassungEin wichtiger Forschungsansatz innerhalb der Kognitionswissenschaft besteht in der Synthese kognitiver Fähigkeiten und Verhaltensweisen durch den Bau geeigneter, künstlicher Systeme. Viele der in jüngerer Zeit verfolgten Ansätze nutzen dabei den Begriff des Agenten, um kognitives Verhalten auf unterschiedlichen Abstraktionsebenen zu konzeptualisieren. Grundeigenschaften von Agenten sind u.a. Reaktivität, Autonomie, Zielgerichtetheit und Kommunikationsfähigkeit. In dem vorliegenden Beitrag interessieren wir uns für die Ebene kommunikativen Verhaltens, bei der Gestik und Sprache zur Vermittlung eines Sachverhaltes zusammenwirken, und verstehen unter einem kommunizierenden Agenten ein System, das für solches Verhalten einen nennenswerten Kompetenzausschnitt realisiert. Wir stellen hierzu beispielhaft zwei Systeme vor. Das System GRAVIS demonstriert die Referenzierung von Objekten im Blickfeld eines Kamerakopfes durch Handzeigegestik eines Instrukteurs. Das System CoRA demonstriert die Verarbeitung sprachlicher Handlungsanweisungen im Kontext der Kooperation mit einem simulierten Roboter. Abschließend wird die Integration der beiden Ansätze diskutiert.