Marc Guyomard

Multimodal references in GEORAL Tactile

The paper specifically presents how linguistic (oral) and tactile references are dealt with in the GEORAL system which has already been described in other papers. In this system, users can formulate their queries and provide their responses using the oral (linguistic) modality and the tactile modality separately or together. We describe the referential phenomena which occur in such a context and we point out why the oral modality has to be the basis of the processing of the references and why robustness problems have to be dealt with. We then provide details about the three steps of the reference processing (linguistic analysis, processing of the tactile events and merging process) as well as the modeling of the communicative acts used in the system (as planning operators).

Modeling and Processing of Oral and Tactile Activities in the GEORAL System

This paper presents the processing of tactile and oral multimodal events that occur in inputs of the GEORAL tactile system. First we shall describe the principal results of observations on the behaviour of users in a multimodal interaction environment. These observations, combined with consideration of the technical possibilities and limitations of speech recognition, lead us to proposing a system architecture. The chapter ends with details of the modeling of communicative acts, based on plan operators, and the principal stages of the merging of tactile and oral acts.

Le dialogue homme-machine en langue naturelle: un défi?

RésuméLa mise en œuvre d’un dialogue homme-machine dans un système d’interrogation de base de données ou de base de connaissances est un problème difficile. Les auteurs présentent ici trois approches de ce problème : la modélisation du dialogue, illustrée par un travail linguistique et par des réalisations informatiques ; les principes de coopération dans le dialogue et leurs algorithmes associés ; et, enfin, l’approche intelligence artificielle fondée sur les actes de langage et la génération de plans. Pour terminer, ils abordent l’état actuel des possibilités d’utilisation des technologies vocales dans le cadre du dialogue homme-machine et les problèmes restant àrésoudre.AbstractThe implementation of a natural language manmachine dialogue in a data base or knowledge base query system is a difficult task. We present hereafter three different approaches to this problem : dialog modeling, exemplified through a linguistic scheme and several computational implementations ; the cooperation principles in a dialog and their associated algorithms ; and, lastly, the artificial intelligence approach based on speech acts theory and the techniques for generating and recognizing plans. We conclude by assessing the possible use of current speech processing techniques and by listing still unsolved problems.

Files de priorité

Une file de priorite est une structure de donnees qui gere les adjonctions et les suppressions selon la discipline suivante : lors d’une arrivee, le client se presente avec une valeur representant une priorite (definie sur un ensemble dote d’une relation d’ordre total tel que les entiers naturels comme c’est le cas ici) ; lors d’une suppression, l’element qui a la plus forte priorite est supprime de la file. Par convention ici, plus l’element est petit plus la priorite est grande. En cas de conflit lors d’une suppression (cas ou plusieurs candidats ont la meme plus forte priorite), le choix de l’elu n’est pas precise par la specification. Les operations suivantes sont definies : f p Vide(), operation qui delivre une file de priorite vide ; f p Ajout(v, f), operation d’adjonction de la priorite v qui delivre une file de priorite resultant de l’ajout de la priorite v dans la file f ; f p Prio(f), operation qui delivre (sans la supprimer de la file f) la valeur prioritaire. Cette operation est preconditionnee par le fait que f ne soit pas vide ; f p Supp(f), operation qui delivre une file de priorite identique a la file f a l’exception d’une occurrence de la valeur prioritaire de f qui est supprimee. Cette operation est preconditionnee par le fait que f ne soit pas vide ; f p EstV ide(f), operation qui delivre la valeur true si et seulement si la file f ne contient aucun element.

Ensembles de clés structurées

Le chapitre 6 nous a permis d’etudier quelques representations interessantes pour les ensembles de cles scalaires. Il est cependant frequent que la cle soit composite. En nous limitant toujours au cas des ensembles definis en extension, il s’agit ici d’etudier la composition de deux structures de donnees : d’une part les ensembles de chaines (ou de listes) et d’autre part les ensembles de couples. Les solutions etudiees precedemment (abr, Avl, etc.) peuvent bien sur s’appliquer. Il est cependant possible de tirer parti du caractere composite de la cle soit pour enrichir le jeu d’operations soit pour ameliorer l’efficacite temporelle ou spatiale des algorithmes. Pour les ensembles de chaines, nous nous proposons d’etudier les mises en oeuvre a base de tries1, dont l’une des retombees est le hachage dynamique. Concernant les ensembles de couples, nous explorons la solution par kd-arbres.

étude de quelques structures outils

La recherche de mises en œuvre efficacies pour les structures de donnees fondamentales conduit a raffiner celles-ci par des structures de donnees secondaires. Comme par un systeme d’echafaudages, la realisation de ce qui releve du niveau abstrait s’appuie sur des structures de donnees concretes. S’il est important de definir avec precision ce que l’on veut realiser (la structure de donnees abstraite), il est tout aussi important de maitriser les outils (les structures de donnees concretes) avant de se lancer dans le travail de mise en oeuvre. C’est notre objectif pour ce chapitre. En nous interessant aux listes, aux arbres et enfin aux sacs, nous nous donnons les moyens, selon les cas, de specifier ou d’implanter des structures de donnees. Alors que les tableaux font partie integrante de la theorie des ensembles, dont les principes elementaires sont rappeles au chapitre 1 (un tableau a une dimension est une fonction totale definie sur un intervalle d’entiers), ce n’est a priori pas le cas des listes, des arbres ni des sacs qui resultent de l’ajout d’une « couche » supplementaire qui enveloppe la theorie des ensembles.

Analyse d’algorithmes

La classe des algorithmes qui satisfont une specification donnee, si elle n’est pas vide, contient en general une infinite d’elements. Mais alors sur quelle base peut-on comparer ces algorithmes deux a deux ? Quel(s) critere(s) est-il pertinent d’utiliser dans la pratique ? Typiquement, on distingue des criteres statiques (c’est-a-dire independants de l’execution de l’algorithme) et des criteres dynamiques. Pour les premiers nous pouvons citer : le temps de developpement d’une solution a partir de la specification ; la lisibilite du programme ; sa maintenabilite ; la qualite de son ergonomie ; sa securite d’utilisation ; sa longueur ; etc. Les quatre premiers points ne doivent pas etre negliges, mais ils sont trop subjectifs (ils dependent autant du programmeur et/ou du lecteur que de l’algorithme lui-meme) pour permettre une comparaison impartiale. L’objectif de securite est, du point de vue des outils qui permettent de l’evaluer, tres lie a la notion de correction du programme par rapport a sa specification, puisqu’il s’agit alors de demontrer qu’une propriete (comme par exemple « le programme ne modifie que des fichiers locaux ») est satisfaite par le programme. Le dernier point, la longueur, est a la base de la notion de complexite de Kolmogorov.

Mathématiques pour la spécification et les structures de données

Il est communement admis, dans toutes les disciplines de l’ingenieur, qu’apres avoir couche sur le papier, en francais, les caracteristiques du systeme que l’on souhaite realiser, il est necessaire de modeliser (on dit aussi specifier) formellement ces caracteristiques avant de passer a la realisation effective. C’est vrai dans l’automobile, l’aviation ou le genie civil. Les avantages sur une approche purement empirique sont connus mais meritent d’etre rappeles : le modele formel n’est pas ambigu, il peut servir de « contrat » entre les parties prenantes ; il permet de demontrer les proprietes recherchees avant de passer a l’etape suivante ; il facilite l’utilisation d’outils (notamment informatiques) pour « donner vie » au modele, il autorise la detection de problemes ou d’erreurs avant d’avoir trop investi dans le developpement. Pour les activites industrielles sus-citees, specifier formellement signifie utiliser l’outil mathematique (et notamment le calcul infinitesimal).

Spécifications + Fonction d’abstraction + Calcul = Programme

Ce chapitre presente les principes qui sont appliques dans le reste de l’ouvrage pour concevoir et mettre en oeuvre des structures de donnees de maniere rigoureuse. La premiere section fixe le cadre general de la demarche. Dans la seconde section nous nous interessons a la structure des unites constituant un type abstrait ou concret. Un premier exemple complet est presente. La troisieme section montre comment parvenir au code des operations d’un type concret. Il justifie a lui seul le titre du chapitre. La section 2.4 developpe un point qui, dans certains cas, est a la base de la derniere etape du developpement : le renforcement de support.

Ensembles de clés scalaires

Au chapitre 1 nous avons etudie la theorie des ensembles sous son aspect mathematique. Cet aspect ne satisfait pas completement l’informaticien, qui a besoin d’un « type abstrait » ensemble. C’est cette facette qui est exploree ici. Le contexte general de ce chapitre est le suivant. Soit T un ensemble denombrable. Nous cherchons a representer des sous-ensembles finis de T, dynamiques, definis en extension. Explicitons les trois qualificatifs. Sous-ensembles finis de T : nous nous interessons a des ensembles e tels que \(e \in \mathbb{F}\left( T \right)\) ou \(\mathbb{F}\left( T \right)\) denote l’ensemble des parties finies de T. Sous-ensembles definis en extension : il s’agit du cas ou les sous-ensembles sont definis par l’enumeration de leurs elements et non par l’etablissement d’une propriete des elements. Sous-ensembles dynamiques : le contenu des sous-ensembles est susceptible d’evoluer dans le temps, par l’adjonction ou la suppression d’elements.