A linear programming-based framework for handling missing data in multi-granular data warehouses
Résumé
Data Warehouse (DW) and OLAP systems are first citizens of Business Intelligence tools. They are widely used in the academic and industrial communities for numerous different fields of application. Despite the maturity of DW and OLAP systems, with the advent of Big Data, more and more sources of data are available, and warehousing this data can lead to important quality issues. In this work, we focus on missing numerical and categorical in presence of aggregated facts. Motivated by the lack of a formal approach for the imputation of this kind of data taking into account all type of aggregation functions (distributive, algebraic and holistic), we propose an new methodology based on linear programming. Our methodology allows dealing with the relaxed constraints over classical SQL aggregation functions. The proposed approach is tested on two well-known datasets. Experiments show the effectiveness of the proposed approach.
Les entrepôts de données (ED) et les systèmes OLAP sont les premiers acteurs des outils d'intelligence économique. Ils sont largement utilisés dans les communautés académiques et industrielles pour de nombreux domaines d'application différents. Malgré la maturité des systèmes ED et OLAP, avec l'avènement du Big Data, de plus en plus de sources de données sont disponibles, et l'entreposage de ces données peut conduire à d'importants problèmes de qualité. Dans ce travail, nous nous concentrons sur les données numériques et catégorielles manquantes en présence de faits agrégés. Motivés par l'absence d'une approche formelle pour l'imputation de ce type de données prenant en compte tous les types de fonctions d'agrégation (distributives, algébriques et holistiques), nous proposons une nouvelle méthodologie basée sur la programmation linéaire. Notre méthodologie permet de traiter avec des contraintes plus souples que les fonctions d'agrégation SQL classiques. L'approche proposée est testée sur deux jeux de données bien connus. Les expériences montrent l'efficacité de l'approche proposée.
Domaines
Informatique [cs]Origine | Fichiers produits par l'(les) auteur(s) |
---|