Datacubes: A Discrete Global Grid Systems Perspective

Abstract

ABSTRACT:Datacubes are increasingly being implemented to manage big data workflows efficiently, particularly those for processing geospatial data. However, there is confusion in both the definition of the term datacube and the choices for how it is implemented. This and the conventional approach to managing spatial data (i.e., in map-projected data sets) have led to a restricted set of datacube implementations that are each tightly coupled to the spatial constraints of the data and how they are stored on disc–resulting in barriers to interoperability, particularly on global scales. This article discusses options and how it is possible to implement a datacube based on discrete global grid systems, while using the same topologies as conventional datacubes. These provide a flexible spatial data infrastructure that leverages the same topological advantages as conventional geospatial datacubes, while reducing barriers to data interoperability of both raster and vector data and providing additional functionality. Also, they potentially provide a very efficient approach to connecting to big data sources in order to extract datasets on demand prior to proceeding to multi-level intelligent big data processing, mining, machine learning, and visualizations.RÉSUMÉ:Les cubes de données sont de plus en plus utilisés pour gérer de manière efficace les flux de mégadonnées, en particulier dans le traitement des données géospatiales. Il existe cependant une certaine confusion tant dans la définition de « cube de données » que dans le choix du mode de mise au point de ces bases de données. Cette situation et la méthode classique de gestion des données spatiales (au moyen de la projection cartographique d ensembles de données) ont conduit à une quantité restreinte de mises au point de cubes de données qui sont, dans chaque cas, étroitement liés aux contraintes spatiales caractérisant les données et la façon dont elles sont stockées sur disque—ce qui fait obstacle à l interopérabilité, en particulier aux échelles mondiales. Les auteurs traitent des options en matière de cubes de données et de la façon dont il est possible d envisager leur mise au point à partir de systèmes de grilles globales discrètes (DGGS), tout en utilisant les mêmes topologies que pour les cubes de données traditionnels. L on obtient ainsi une infrastructure de données spatiales souple dotée des mêmes avantages topologiques que ceux des cubes de données géospatiales traditionnels, tout en réduisant les obstacles à l interopérabilité tant des données matricielles que des données vectorielles et en gagnant une fonctionnalité supplémentaire. Il s agit également d une méthode très efficace pour relier les sources de mégadonnées afin d extraire des jeux de données à la demande avant de procéder au traitement, à l exploration, à l apprentissage machine et à la visualisation de mégadonnées intelligentes multiniveaux.