Jürgen Krause

Natural language access to information systems. An evaluation study of its acceptance by end users

Abstract The question is asked whether it is feasible to use subsets of natural languages as query languages for data bases in actual applications using the question answering system “USER SPECIALTY LANGUAGES” (USL). Methods of evaluating a natural language based information system will be discussed. The results (error and language structure evaluation) suggest how to form the general architecture of application systems which use a subset of German as query language.

The intelligent help system COMFOHELP

The paper is concerned with the question of whether and under what conditions active help systems with plan recognition components that have been developed in the environment of artificial intelligence research are able to prove their value in the real context of commercial application programs. The question is investigated using the development of the COMFOHELP intelligent help system as an example. COMFOHELP supports the COMFOTEX graphical text processing program and has been developed by the Linguistic Information Science Group at the University of Regensburg since 1988. The system recognizes erroneous and suboptimal plans pursued by the user by analyzing the dialog history and comparing them with the correct plan for achieving the users goal.Section 2 discusses the research situation and elaborates on those problems which up to now prevented research concepts for plan recognition and intelligent help systems from being practically applied. Testing error situations empirically is a first prerequisite since potential erroneous plans can only be established in real-world tests. The second prerequisite is a special system architecture which counteracts the problem of ambiguities in plan recognition. Section 3 introduces a first still restricted prototype version of COMFOHELP whose efficiency was verified in a statistical hypothesis test. The users performing their text processing tasks with the support of COMFOHELP came off significantly better than members of a reference group working without the intelligent help. Section 4 shows that the proposed COMFOHELP system architecture is reconfirmed by the results of extensive empirical investigations (with more than 100 users) of erroneous plans when using a more complex version of COMFOTEX. The architecture still proves to be worthwhile even when functionality is increased by a factor of three to four.

Studies in the evaluation of a domain-independent natural language query system

There is growing consensus that some of the most crucial questionsconcerning the feasibility and desirability of natural language interfaces todatabases can only be resolved by empirical research. This paper reports theresults of several empirical studies which investigated the samedomain-independent natural language query system, using various applications intwo different natural languages - English and German. Taken together, theseexperiments involved about 100 subjects and over 12,000 queries, constitutingthe bulk of empirical evaluations of natural query language systems reported todate. Some definitive results are derived from the combined experience, andplans are outlined to resolve several of the remaining issues.

Semantic heterogeneity: comparing new semantic web approaches with those of digital libraries

Purpose – To demonstrate that newer developments in the semantic web community, particularly those based on ontologies (simple knowledge organization system and others) mitigate common arguments from the digital library (DL) community against participation in the Semantic web.Design/methodology/approach – The approach is a semantic web discussion focusing on the weak structure of the Web and the lack of consideration given to the semantic content during indexing.Findings – The points criticised by the semantic web and ontology approaches are the same as those of the DL “Shell model approach” from the mid‐1990s, with emphasis on the centrality of its heterogeneity components (used, for example, in vascoda). The Shell model argument began with the “invisible web”, necessitating the restructuring of DL approaches. The conclusion is that both approaches fit well together and that the Shell model, with its semantic heterogeneity components, can be reformulated on the semantic web basis.Practical implications –...

Komplexe Menüs, Häkchen und Funktionsobjekte

An empirisch beobachteten, exemplarischen Benutzerschwierigkeiten mit dem Subsystem Menu in komplexen Softwaresystemen und an seiner potentiellen Ersetzbarkeit durch Funktionsobjekte soll dreierlei demonstriert werden: Wie inkonsistent und softwareergonomisch unbefriedigend kommerzielle grafische Software nach mehr als 10 Jahren Entwicklungszeit ist (bzw. - bedingt durch die anwachsende Komplexitat - wieder geworden ist). Wie eng Detailfragen mit globalen Designentscheidungen nach der “richtigen” Auslegung der Objektorientierung verbunden sind. Wie weit die technologiegetriebene Entwicklung im Bereich der Multimedialitat - schon bei der einfachen Kombination der beiden Grundmodi Sprache und Grafik im Menu und beim Hakchenformalismus - von einem konzeptuellen Verstandnis entfernt ist.

Visualisation in Document Retrieval: An Example of the Integration of Software Ergonomics and an Aesthetic Quality in Design

Today, software ergonomics on the one hand, and media design on the other, are two separate schools that have few common goals in the area of designing user interfaces and, naturally, they come up with different solutions. Whereas ergonomics place the accent on the most effective operation, interface and media design put the artistic, creative aspect in the foreground, ignoring efficient methods of program handling This article describes the practical attempt to combine both schools. As a working example we created a visualisation for a document retrieval system.

Das Verbandsinformationssystem ELVIRA

Im Projekt ELVIRA wurde ein online-Verbandsinformationssystem fur die Firmen des ZVEI (Zentralverband der Elektroindustrie entwickelt, mit dem Zeitreihen recherchiert werden konnen. An dem Projekt waren die Wirtschaftsforschungsinstitute DIW und IFO, der ZVEI und das Informationszentrum Sozialwissenschaften (IZ) beteiligt. Das IZ erstellte die Benutzungsoberflache und die Kommunikationsroutinen auf der Clientseite. Schwerpunkt des Projektes war die Erleichterung des Zugangs zu elektronischen Medien fur die Unternehmen der Elektroindustrie zum einen durch die hohe Qualitat und Relevanz der Informationen des Verbandes und zum anderen durch die Entwicklung einer benutzerfreundlichen Oberflache. Dazu wurden die Benutzerbedurfnisse in Interviews mit potentiellen Anwenden untersucht. Das System wurde in der Pilotphase bei 15 Pilotanwendern eingesetzt und getestet.

F&A und Q&A: Informationsabfrage in Natürlicher Sprache

Der Terminus ”technisierte Kommunikation”, der die Beitrage des vorliegenden Sammelbandes verbindet, hat die verschiedensten Implikationen und deckt eine Reihe recht kontrarer Gebiete ab. Mit Zoeppritz 1987 (in diesem Band) mochte ich ”technisiert” als ”von Technik affiziert” verstehen und unter technisierter Kommunikation alle Kommunikationsprozesse, bei denen ein Element (Sender, Empfanger, Medium, Kanal) ein technisches ist. Es gibt m.E. keinen Zustimmungszwang fur die Annahme, das eine derartige Zusammenfassung als interdisziplinares Forschungsfeld fruchtbar werden kann, verbinden sich hier doch so verschiedene Themen wie die Kommunikation uber technische Fragen oder Kanale und die Entwicklung naturlichsprachlicher Frage—Antwort—Systeme (FAS). Bei der gegenwartigen Ausgangssituation, die durch eine Fulle der verschiedenartigsten Einbindungen und Abgrenzungen des Feldes Sprache und Computer innerhalb des universitaren Lehr- und Forschungsbetriebs gekennzeichnet ist, scheint ein solcher Versuch jedoch legitim. Der Ansatz ist vor allem dann vertretbar, wenn man die gegenwartige heterogene Situation nicht als zufallig, sondern als dem Gegenstandsbereich inharent und angemessen ansieht (cf. hierzu Krause 1986): Begreift man z.B. die Entwicklung eines naturlichsprachlichen FAS als Vorhaben, das als Grundlage Kenntnisse aus der Linguistik, Informationswissenschaft, Logik, Kognitionswissenschaft, Kunstlichen Intelligenz, Kognitionspsychologie und Informatik benotigt, bleibt Raum fur die verschiedensten Ausschnitte und Forschungsfelder, schon deshalb, weil man aufgrund der Breite des benotigten Ausgangswissens in jedem Fall auf ausere, nicht—integrierte Wissensquellen angewiesen bleibt. Wie fruchtbar ein gewahlter Ausschnitt ist, last sich m.E. nur langerfristig an den erreichten Ergebnissen ablesen; und auch dies bleibt schwierig und ungenau, weil personliche und politische Faktoren immer stark uberlagernd wirken.