Kai-Christoph Hamborg

The IsoMetrics usability inventory: An operationalization of ISO 9241-10 supporting summative and formative evaluation of software systems

Aiming at a user-oriented approach in software evaluation on the basis of ISO 9241 Part 10, we present a questionnaire (IsoMetrics) which collects usability data for summative and formative evaluation, and document its construction. The summative version of IsoMetrics shows a high reliability of its subscales and gathers valid information about differences in the usability of different software systems. Moreover, we show that the formative version of IsoMetrics is a powerful tool for supporting the identification of software weaknesses. Finally, we propose a procedure to categorize and prioritize weak points, which subsequently can be used as basic input to usability reviews.

Heuristische Evaluation und IsoMetrics: Ein Vergleich

Es werden die Ergebnisse aus zwei formativen Evaluationsstudicn dargestellt. in denen parallel mit einer expertenbezogenen (heuristische Evaluation) und einer nutzerbezogenen (IsoMetrics) Methode gearbeitet wurde. Grundsatzliche Probleme in Bezug auf die Auswertung von Daten formativer Evaluationsuntersuchungen und ein Losungsansatz fur die Klassifizierung gewonnener Daten werden dargestellt. Ausgehend von der Klassifizierung der durch die Evaluationsmethoden evozierten Bemerkungen. werden die Methoden nach Qualitat und Quantitat der Evaluationsergebnisse verglichen. Anwendungszeitpunkt und ein moglicher kombinierter Einsatz der vorgestellten Evaluationsmethoden werden vor dem Hintergrund der Ergebnisse diskutiert.

Zur emotionalen Reaktion bei Fehlern in der Mensch-Computer-Interaktion

Zusammenfassung. In einem Laborexperiment wurde mit Hilfe einer postaktionalen Videokonfrontation die emotionale Reaktion von Nutzern (N = 16) in Fehlersituationen bei der Arbeit mit einem Datenbanksystem untersucht. Nach Klassifizierung der Nutzungsfehler mit Hilfe der Fehlertaxonomie von Frese und Zapf (1991) wurden unter Ruckgriff auf emotionstheoretische Grundlagen Annahmen zur zeitlichen Lokalisierung der emotionalen Reaktion innerhalb des Fehlerprozesses, zum Zusammenhang zwischen Fehlerart und dem Ausmas der emotionalen Reaktion sowie zum Zusammenhang zwischen dem Ausmas der emotionalen Reaktion und der anschliesenden Fehlerbehebungsleistung untersucht. Die Ergebnisse ermoglichen eine Ausdifferenzierung der Annahmen bezuglich der emotionalen Reaktion von Nutzern fur verschiedene Befindlichkeitsqualitaten. Es finden sich Hinweise dafur, dass mit einer Argerreaktion betroffener Nutzer bereits in der Phase der Fehlerentdeckung zu rechnen ist und dass das Ausmas der wahrend der Fehlerentdeckung erlebte...

Softwareevaluation in Gruppen oder Einzelevaluation: Sehen zwei Augen mehr als vier?

Es finden sich Hinweise dafur, das die Evaluation von Softwaresystemen effektiver in Gruppen- als in Einzel-settings ist. In drei Untersuchungen mit verschiedenen Varianten des IsoMetrics-Verfahrens werden diese Befunde uberpruft. Die Ergebnisse zeigen Vorteile des Gruppensettings in Bezug auf die Qualitat konstruktiver Anmerkungen, nicht jedoch in Bezug auf die Menge und inhaltliche Breite der Informationen und den Durchfuhrungsaufwand. Spezifische Unterschiede der Methoden und Konsequenzen fur die Praxis werden diskutiert.

LectureSight: an open source system for automatic camera control for lecture recordings

– The purpose of this work is to present a prototype of the system and the results from a technical evaluation and a study on possible effects of recordings with active camera control on the learner. An increasing number of higher education institutions have adopted the lecture recording technology in the past decade. Even though some solutions already show a very high degree of automation, active camera control can still only be realized with the use of human labor. Aiming to fill this gap, the LectureSight project is developing a free solution for active autonomous camera control for presentation recordings. The system uses a monocular overview camera to analyze the scene. Adopters can formulate camera control strategies in a simple scripting language to adjust the system’s behavior to the specific characteristics of a presentation site. , – The system is based on a highly modularized architecture to make it easily extendible. The prototype has been tested in a seminar room and a large lecture hall. Furthermore, a study was conducted in which students from two universities prepared for a simulated exam with an ordinary lecture recording and a recording produced with the LectureSight technology. , – The technical evaluation showed a good performance of the prototype but also revealed some technical constraints. The results of the psychological study give evidence that the learner might benefit from lecture videos in which the camera follows the presenter so that gestures and facial expression are easily perceptible. , – The LectureSight project is the first open-source initiative to care about the topic of camera control for presentation recordings. This opens way for other projects building upon the LectureSight architecture. The simulated exam study gave evidence of a beneficial effect on students learning success and needs to be reproduced. Also, if the effect is proven to be consistent, the mechanism behind it is worth to be investigated further.

Requirements of students for video-annotations in lecture recordings

Purpose – Improving the use of annotations in lecture recordings. Design/methodology/approach – Requirements analysis with scenario based design (SBD) on focus groups. Findings – These seven points have been extracted from the feedback of the focus groups: (1) Control of the annotation feature (turn on/turn off). (2) An option to decide who is able to see their comments (groups, lecturer, friends). (3) An easy and paper-like experience in creating a comment. (4) An option to discuss comments. (5) An option to import already existing comments. (6) Color-coding of the different types of comments. (7) An option to print their annotations within the context of the recording. Research limitations/implications – The study was performed to improve the open-source lecture recording system Opencast Matterhorn. Originality/value – Annotations can help to enable the students that use lecture recordings to move from a passive watching to an active viewing and reflecting.

Evaluation in der Software-Ergonomie:

Zusammenfassung. Die ergonomische Evaluation von Software hat zunehmend eine gestaltungsunterstutzende Rolle im Softwareentwicklungsprozess eingenommen. In diesem Beitrag werden Methoden der software-ergonomischen Evaluation im Rahmen eines Klassifikationsschemas, das deskriptive, pradiktive und weitere Methoden unterscheidet, dargestellt und diskutiert. Weiterhin wird auf die Bedeutung von Evaluationsmodellen eingegangen. Evaluationsmodelle legen je nach Reichweite fest, wie einzelne Evaluationsmethoden fur sich oder auch in Kombination mit anderen Methoden effektiv eingesetzt werden und wie die Evaluation in den Softwareentwicklungsprozess integriert wird. Es wird zwischen methoden- und kriterienbezogenen Evaluationsmodellen sowie prozessbezogenen Modellen des Usability Engineering unterschieden und festgestellt, dass fur die wenigsten Methoden Evaluationsmodelle explizit ausformuliert ist bzw. geklart ist, wie sich diese optimal in den Entwicklungszyklus einpassen lassen. Abschliesend wird auf das Verh...

Aufgabenorientierte Softwaregestaltung und Funktionalität

Ergebnisse zur aufgabenorientierten Softwaregestaltung mit Methoden der Aufgabenanalyse erbringen nicht die oft theoretisch postulierten Vorteile. Als alternative Design- und Forschungsperspektive wird ein Konzept der Funktionalitat des Werkzeugs, definiert als Aufgabenangemessenheit, Ausfuhrungs Sicherheit und Ausfuhrungseffizienz vorgestellt.

The LectureSight System in Production Scenarios and Its Impact on Learning from Video Recorded Lectures

The LectureSight project aims to develop a cost-effective solution for automatic camera control for lecture recordings. An earlier work presented the prototypical implementation of the system. In this work we present the results form testing the system in two experiments: LectureSight instances were deployed in two rooms and the performance of the system was assessed in live lectures. Furthermore an experimental study has been conducted to investigate the usefulness of videos with presenter tracking for the learner. The experiment involved participants from two universities that were put into a simulated exam situation.

User- Perceived Quality of Interactive Systems

In dem Workshop werden der Werdegang von Ansatzen zur Normierung und Bewertung der Benutzerfreundlichkeit bzw. Benutzbarkeit von Software dargestellt und eine kritische Bestandsaufnahme bisheriger Arbeiten zu diesem Thema gemacht.