Horst-Michael Groß

An Approach to Multi-modal Human-Machine Interaction for Intelligent Service Robots

Abstract The paper describes a multi-modal scheme for human–robot interaction suited for a wide range of intelligent service robot applications. Operating in un-engineered, cluttered, and crowded environments, such robots have to be able to actively contact potential users in their surroundings and to offer their services in an appropriate manner. Starting from a real application scenario, the usage of a robot as mobile information kiosk in a home store, some reliable methods for vision-based interaction, sound analysis and speech output have been developed. These methods are integrated into a prototypical interaction cycle that can be assumed as a general approach to human–machine interaction. Experimental results demonstrate the strengths and weaknesses of the proposed methods.

Monocular 3d scene reconstruction at absolute scales by combination of geometric and real-aperture methods

We propose a method for combining geometric and real-aperture methods for monocular 3D reconstruction of static scenes at absolute scales. Our algorithm relies on a sequence of images of the object acquired by a monocular camera of fixed focal setting from different viewpoints. Object features are tracked over a range of distances from the camera with a small depth of field, leading to a varying degree of defocus for each feature. Information on absolute depth is obtained based on a Depth-from-Defocus approach. The parameters of the point spread functions estimated by Depth-from-Defocus are used as a regularisation term for Structure-from-Motion. The reprojection error obtained from Bundle Adjustment and the absolute depth error obtained from Depth-from-Defocus are simultaneously minimised for all tracked object features. The proposed method yields absolutely scaled 3D coordinates of the scene points without any prior knowledge about the structure of the scene. Evaluating the algorithm on real-world data we demonstrate that it yields typical relative errors between 2 and 3 percent. Possible applications of our approach are self-localisation and mapping for mobile robotic systems and pose estimation in industrial machine vision.

Detection of lounging people with a mobile robot companion

This paper deals with the task of searching for people in home environments with a mobile robot. The robust estimation of the users position is an important prerequisite for human robot interaction. While detecting people in an upright pose is mainly solved, most of the users various poses in living environments are hard to detect. We present a visual approach for the detection of people resting at previously known seating places in arbitrary poses, e.g. lying on a sofa. The method utilizes color and gradient models of the environment and a color model of the users appearance. Evaluation is done on real-world experiments with the robot searching for the user at different places.

Possible Functional Roles of the Bipartite Dendrites of Pyramidal Cells

A theory about the possible functional roles of the bipartite dendrites of cortical pyramidal cells is presented that tries to fuse aspects of both Cardinal Cell Theory and Assembly Theory. The article treats resulting functional differences of both dendritic pathways in conjunction with an hypothesis concerning the existence of two activity ranges. The model includes a three-rule system of self-organization.

Gesichtsanalyse für die intuitive Mensch-Roboter-Interaktion

Der Beitrag beschreibt Verfahren zur visuellen Gesichtsanalyse im Kontext der Mensch-Roboter-Interaktion. Dabei besteht das mittelfristige Ziel darin, neben der Identifizierung des aktuell angemeldeten Nutzers auch dessen Geschlecht, das Alter sowie den Gesichtsausdruck zu ermitteln und damit uber moglichst reichhaltige Statusinformationen uber den menschlichen Interaktionspartner zu verfugen, um seitens des Roboters die Dialogfuhrung entsprechend anpassen zu konnen. Um diese Informationen aus dem Gesichtsbild zu extrahieren, werden die Verfahren Elastic Graph Matching, Independent Component Analysis sowie Active Appearance Models in Verbindung mit verschiedenen Klassifikatoren vergleichend untersucht, wobei hier zunachst der Schwerpunkt auf der Personenidentifikation und der Geschlechtsschatzung liegt. Anschliesend wird die Nutzung dieser Informationen anhand der Dialogfuhrung eines interaktiven Shopping-Assistenten diskutiert.

Farbhistogramm-basierte visuelle Monte-Carlo-Lokalisation für mobile Roboter

Wir stellen ein Lokalisationsverfahren fur autonome mobile Roboter vor, welches zur Erfassung seiner Umwelt Panoramafarbbilder der Umgebung verwendet. Als Ausgangspunkt dient die Monte-Carlo-Lokalisation (MCL) Fox u.a. [1], ein samplebasiertes Verfahren zur Zustandsschatzung der Position und Orientierung eines mobilen Systems. Dieses in den letzten Jahren popular gewordene Verfahren, welches typischerweise abstandsmessende Sensoren verwendet, fuhrt in unserer realen Umgebung (Baumarkt) zu sensorischen Mehrdeutigkeiten im Gangsystem und wurde daher so modifiziert, dass es mit Bildern einer omnidirektionalen Kamera arbeitet. Die Kamera liefert ein deutlich signifikanteres Signal zur Charakterisierung der Umgebung. Wir prasentieren, in Fortfuhrung zu [2], [3] eine weitere Moglichkeit zur Extraktion szenenbeschreibender Merkmale aus dem Kamerabild , welche verbesserte experimentelle Ergebnisse erzielt. Dabei mussten die Prob leme der veranderlichen Beleuchtung und der Verdeckung der Umwelt (z.B. durch Personen) behandelt werden. Die experimentellen Resultate zeigen, dass das vorgestellte Verfahren eine genaue und robuste Selbstlokalisation fur autonome Roboter unter realen Einsatzbedingungen in labyrinthartigen Umwelten ermoglicht.