Johannes Schildgen

NotaQL Is Not a Query Language! It’s for Data Transformation on Wide-Column Stores

It is simple to query a relational database because all columns of the tables are known and the language SQL is easily applicable. In NoSQL, there usually is no fixed schema and no query language. In this article, we present NotaQL, a data-transformation language for wide-column stores. NotaQL is easy to use and powerful. Many MapReduce algorithms like filtering, grouping, aggregation and even breadth-first-search, PageRank and other graph and text algorithms can be expressed in two or three short lines of code.

Marimba: A Framework for Making MapReduce Jobs Incremental

Many MapReduce jobs for analyzing Big Data require many hours and have to be repeated again and again because the base data changes continuously. In this paper we propose Marimba, a framework for making MapReduce jobs incremental. Thus, a recomputation of a job only needs to process the changes since the last computation. This accelerates the execution and enables more frequent recomputations, which leads to results which are more up-to-date. Our approach is based on concepts that are popular in the area of materialized views in relational database systems where a view can be updated only by aggregating changes in base data upon the previous result.

Cross-system NoSQL data transformations with NotaQL

The rising adoption of NoSQL technology in enterprises causes a heterogeneous landscape of different data stores. Different stores provide distinct advantages and disadvantages, making it necessary for enterprises to facilitate multiple systems for specific purposes. This resulting polyglot persistence is difficult to handle for developers since some data needs to be replicated and aggregated between different and within the same stores. Currently, there are no uniform tools to perform these data transformations since all stores feature different APIs and data models. In this paper, we present the transformation language NotaQL that allows cross-system data transformations. These transformations are output-oriented, meaning that the structure of a transformation script is similar to that of the output. Besides, we provide an aggregation-centric approach, which makes aggregation operations as easy as possible.

Inkrementelle Neuberechnungen in MapReduce

ZusammenfassungDas MapReduce-Programmiermodell ermöglicht die skalierbare Analyse und Transformation großer Datenmengen. Wir stellen das auf MapReduce basierende Marimba-Framework zur einfachen Entwicklung von inkrementellen, selbstwartbaren Programmen vor, welche bei Änderung von Quelldaten eine vollständige Wiederholung des MapReduce-Jobs vermeiden. Marimba wird anhand mehrerer Anwendungen illustriert und durch Leistungsmessungen evaluiert.

Heterogenität überwinden mit der Datentransformationssprache NotaQL

ZusammenfassungBei der Informationsintegration, also dem Zusammenführen verschiedener Daten aus zwei oder mehr Datenquellen, gilt es die Heterogenität der Quellen aufzulösen und die gegebenen Schemata ineinander abzubilden. Besonders bei der Verarbeitung von Big Data in schemalosen NoSQL-Systemen, in denen heterogene Datensätze gespeichert sind, und die sich zusätzlich untereinander stark im Datenmodell und in ihren Zugriffsmethoden unterscheiden, scheitern meist klassische SQL-basierte Techniken. In diesem Artikel stellen wir vor, wie mit der Datentransformationssprache NotaQL die verschiedenen Arten von Heterogenität überwunden werden können. Die meist wenige Zeilen kurzen NotaQL-Skripte beschreiben eine Transformation zwischen unterschiedlichen Systemen und bieten einen flexiblen Zugriff auf Daten und Metadaten.

„Gib mir so viel Gold, wie die Metzger im Nachbardorf zusammen besitzen und ich lasse den Piloten frei!“ – Spielbasiertes Lernen von SQL-Grundlagen

ZusammenfassungStellen Sie sich vor, Sie landen auf einer einsamen Insel und die Bewohner verstehen nur die Sprache SQL. Das Spiel SQL Island (http://www.sql-island.de) dient zur Vermittlung und Übung von SQL-Grundlagen und wird durch die Eingabe von SQL-Anfragen gesteuert. Der Zweck des Spiels ist es, dem Spieler auf unterhaltsame Weise beizubringen, wie Daten in relationalen Datenbanken abgefragt und manipuliert werden können. Dabei werden keine SQL-Kenntnisse vorausgesetzt.