Back to Search
Start Over
A linear programming-based framework for handling missing data in multi-granular data warehouses
- Source :
- Data and Knowledge Engineering, Data and Knowledge Engineering, Elsevier, 2020, 128, pp.101832. ⟨10.1016/j.datak.2020.101832⟩, Data and Knowledge Engineering, 2020, 128, pp.101832. ⟨10.1016/j.datak.2020.101832⟩
- Publication Year :
- 2020
- Publisher :
- HAL CCSD, 2020.
-
Abstract
- International audience; Data Warehouse (DW) and OLAP systems are first citizens of Business Intelligence tools. They are widely used in the academic and industrial communities for numerous different fields of application. Despite the maturity of DW and OLAP systems, with the advent of Big Data, more and more sources of data are available, and warehousing this data can lead to important quality issues. In this work, we focus on missing numerical and categorical in presence of aggregated facts. Motivated by the lack of a formal approach for the imputation of this kind of data taking into account all type of aggregation functions (distributive, algebraic and holistic), we propose an new methodology based on linear programming. Our methodology allows dealing with the relaxed constraints over classical SQL aggregation functions. The proposed approach is tested on two well-known datasets. Experiments show the effectiveness of the proposed approach.; Les entrepôts de données (ED) et les systèmes OLAP sont les premiers acteurs des outils d'intelligence économique. Ils sont largement utilisés dans les communautés académiques et industrielles pour de nombreux domaines d'application différents. Malgré la maturité des systèmes ED et OLAP, avec l'avènement du Big Data, de plus en plus de sources de données sont disponibles, et l'entreposage de ces données peut conduire à d'importants problèmes de qualité. Dans ce travail, nous nous concentrons sur les données numériques et catégorielles manquantes en présence de faits agrégés. Motivés par l'absence d'une approche formelle pour l'imputation de ce type de données prenant en compte tous les types de fonctions d'agrégation (distributives, algébriques et holistiques), nous proposons une nouvelle méthodologie basée sur la programmation linéaire. Notre méthodologie permet de traiter avec des contraintes plus souples que les fonctions d'agrégation SQL classiques. L'approche proposée est testée sur deux jeux de données bien connus. Les expériences montrent l'efficacité de l'approche proposée.
- Subjects :
- OLAP Analysis
SQL
Information Systems and Management
business.industry
Computer science
Online analytical processing
Big data
02 engineering and technology
computer.software_genre
Missing data
Data warehouse
020204 information systems
Business intelligence
0202 electrical engineering, electronic engineering, information engineering
020201 artificial intelligence & image processing
[INFO]Computer Science [cs]
Imputation (statistics)
Data mining
business
Categorical variable
computer
computer.programming_language
Subjects
Details
- Language :
- English
- ISSN :
- 0169023X
- Database :
- OpenAIRE
- Journal :
- Data and Knowledge Engineering, Data and Knowledge Engineering, Elsevier, 2020, 128, pp.101832. ⟨10.1016/j.datak.2020.101832⟩, Data and Knowledge Engineering, 2020, 128, pp.101832. ⟨10.1016/j.datak.2020.101832⟩
- Accession number :
- edsair.doi.dedup.....307b57deb5958ac339d1b332b1456ba5