Andreas Niekler

Applying LDA Topic Modeling in Communication Research: Toward a Valid and Reliable Methodology

ABSTRACT Latent Dirichlet allocation (LDA) topic models are increasingly being used in communication research. Yet, questions regarding reliability and validity of the approach have received little attention thus far. In applying LDA to textual data, researchers need to tackle at least four major challenges that affect these criteria: (a) appropriate pre-processing of the text collection; (b) adequate selection of model parameters, including the number of topics to be generated; (c) evaluation of the model’s reliability; and (d) the process of validly interpreting the resulting topics. We review the research literature dealing with these questions and propose a methodology that approaches these challenges. Our overall goal is to make LDA topic modeling more accessible to communication researchers and to ensure compliance with disciplinary standards. Consequently, we develop a brief hands-on user guide for applying LDA topic modeling. We demonstrate the value of our approach with empirical data from an ongoing research project.

Content Analysis between Quality and Quantity

Social science research using Text Mining tools requires—due to the lack of a canonical heuristics in the digital humanities—a blended reading approach. Integrating quantitative and qualitative analyses of complex textual data progressively, blended reading brings up various requirements for the implementation of Text Mining infrastructures. The article presents the Leipzig Corpus Miner (LCM), developed in the joint research project ePol—Post-Democracy and Neoliberalism and responding to social science research requirements. The functionalities offered by the LCM may serve as best practice of processing data in accordance with blended reading.

Detecting and Assessing Contextual Change in Diachronic Text Documents using Context Volatility.

Terms in diachronic text corpora may exhibit a high degree of semantic dynamics that is only partially captured by the common notion of semantic change. The new measure of context volatility that we propose models the degree by which terms change context in a text collection over time. The computation of context volatility for a word relies on the significance-values of its co-occurrent terms and the corresponding co-occurrence ranks in sequential time spans. We define a baseline and present an efficient computational approach in order to overcome problems related to computational issues in the data structure. Results are evaluated both, on synthetic documents that are used to simulate contextual changes, and a real example based on British newspaper texts.

Analyse qualitativer Daten mit dem „Leipzig Corpus Miner“

Der Leipzig Corpus Miner (LCM) ist eine Webanwendung, die verschiedene Text Mining-Verfahren fur die Analyse groser Mengen qualitativer Daten bundelt. Durch eine einfach zu bedienende Benutzeroberflache ermoglicht der LCM Volltextzugriff auf 3,5 Millionen Zeitungstexte, die nach Suchbegriffen und Metadaten zu Subkollektionen gefiltert werden konnen. Auf dem Gesamtdatenbestand sowie auf den Subkollektionen konnen verschiedene computergestutzte Auswertungsverfahren angewendet und zu Analyseworkflows kombiniert werden. Damit ermoglicht der LCM die empirische Analyse sozialwissenschaftlicher Fragestellungen auf Basis groser Dokumentkollektionen, wobei qualitative und quantitative Analyseschritte miteinander verschrankt werden konnen. Dieser Artikel gibt einen Uberblick uber die Analysekapazitaten und mogliche Workflows zur Anwendung des LCM.

ASV monitor: creating comparability of machine learning methods for content analysis

In this demonstration paper we present an application to compare and evaluate machine learning methods used for natural language processing within a content analysis framework. Our aim is to provide an example set of possible machine learning results for different inputs to increase the acceptance of using machine learning in settings that originally rely on manual treatment. We will demonstrate the possibility to compare machine learning algorithms regarding the outcome of the implemented approaches. The application allows the user to evaluate the benefit of using machine learning algorithms for content analysis by a visual comparison of their results.

Journalismus, Big Data, Algorithmen

„Big Data“ ist ein Oberbegriff fur Anwendungen und Technologien geworden, die uns erlauben bedeutungstragende Strukturen aus riesigen, unubersichtlichen Datenmengen zu gewinnen. Viele geeignete Verfahren, Datenstrukturen und Algorithmen stehen als Open-Source-Software einem breiten Anwenderkreis zur Verfugung. Unter okonomischen und qualitativen Gesichtspunkten ist der Einsatz von rechnergestutzten Prozessen im Journalismus mit wesentlichen Wettbewerbsvorteilen verbunden. Der Beitrag zeigt grundlegende Verarbeitungskonzepte anhand des Yahoo News Annotated Comments Corpus.

Der Pudding muss an die Wand

Das EIQ Europaisches Institut fur Qualitatsjournalismus entwickelt in Kooperation mit der HTWK Leipzig eine interaktive Plattform zur Definition und Sicherung von Qualitat in den Medien. Unter dem Arbeitstitel Media Quality Watch sollen Verantwortliche in den Medien, begleitet von Wissenschaft und Fachinstitutionen, in die Lage versetzt werden, mit ihren Rezipienten einen nachhaltigen Dialog uber Qualitatskriterien in der digitalen Medienwelt zu fuhren. Diesem Projekt liegt die Erkenntnis zugrunde, dass die veranderte Medien-Architektur mit zahlreichen neuen Produktionsmoglichkeiten und vielfaltigen Verbreitungswegen fur Medieninhalte starker als bisher die Bedurfnisse des Publikums ernst nehmen sollte, ohne allerdings anerkannte Standards aufzugeben. So soll vor allem Vertrauen in die Medien als demokratiebildender Faktor zuruckgewonnen werden. Das Projekt wird von der Friede Springer Stiftung finanziell unterstutzt und wurde wahrend der gemeinsamen Fachtagung von EIQ und HTWK am 29. September 2017 in Leipzig vorgestellt.

Extracting Process Graphs from Medical Text Data

In this paper a natural language processing workflow to extract sequential activities from large collections of medical text documents is developed. A graph-based data structure is introduced to merge extracted sequences which contain similar activities in order to build a global graph on procedures which are described in documents on similar topics or tasks. The method describes an information extraction process which will, in the future, enrich or create knowledge bases for process models or activity sequences for the medical domain.

Methoden, Qualitätssicherung und Forschungsdesign

Dieser Beitrag stellt die integrierte Nutzung von Verfahren der Automatischen Sprachverarbeitung, welche als Text Mining bezeichnet werden, und inhaltsanalytischer Methoden der Sozial- und der Politikwissenschaft vor. Mit einem Uberblick uber die methodischen Grundlagen Text Mining gestutzter Inhaltsanalysen zur Untersuchung groser digitaler Textkorpora werden die Potentiale dieser innovativen Verknupfung gezeigt. Der vorgestellte Forschungsansatz wird als Mixed-Method und als Anwendung der Methodentriangulation diskutiert. Dabei geht der Text auf quantitative und qualitative Forschungsansatze ein und ordnet die Analysemethoden nach deduktiven und induktiven Anwendungsweisen ein. Anhand einer Methodenmatrix werden mogliche Verfahren und Methoden systematisiert und anschliesend, inklusive qualitatssichernder Masnahmen, fur die Planung und Anwendung von Text Mining gestutzten Inhaltsanalysen vorgestellt. Mit einer existierenden Forschungsinfrastruktur aus einem Projekt wird die praktische Umsetzung der vorgestellten Methoden demonstriert.