Back to Search Start Over

A linear programming-based framework for handling missing data in multi-granular data warehouses

Authors :
Sandro Bimonte
Libo Ren
Nestor Koueya
Technologies et systèmes d'information pour les agrosystèmes (UR TSCF)
Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)
Clermont Recherche Management (CleRMa)
École Supérieure de Commerce (ESC) - Clermont-Ferrand (ESC Clermont-Ferrand)-Université Clermont Auvergne [2017-2020] (UCA [2017-2020])
Université Clermont Auvergne [2017-2020] (UCA [2017-2020])
Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes (LIMOS)
Ecole Nationale Supérieure des Mines de St Etienne-Université Clermont Auvergne [2017-2020] (UCA [2017-2020])-Centre National de la Recherche Scientifique (CNRS)
Institut Supérieur d'Informatique, de Modélisation et de leurs Applications (ISIMA)
ANR-16-IDEX-0001,CAP 20-25,CAP 20-25(2016)
ANR-17-CE04-0012,VGI4Bio,Méthodes d'analyse des indicateurs de biodiversité dans le contexte agricole centrés données et utilisateurs VGI(2017)
Ecole Nationale Supérieure des Mines de St Etienne (ENSM ST-ETIENNE)-Université Clermont Auvergne [2017-2020] (UCA [2017-2020])-Centre National de la Recherche Scientifique (CNRS)
Source :
Data and Knowledge Engineering, Data and Knowledge Engineering, Elsevier, 2020, 128, pp.101832. ⟨10.1016/j.datak.2020.101832⟩, Data and Knowledge Engineering, 2020, 128, pp.101832. ⟨10.1016/j.datak.2020.101832⟩
Publication Year :
2020
Publisher :
HAL CCSD, 2020.

Abstract

International audience; Data Warehouse (DW) and OLAP systems are first citizens of Business Intelligence tools. They are widely used in the academic and industrial communities for numerous different fields of application. Despite the maturity of DW and OLAP systems, with the advent of Big Data, more and more sources of data are available, and warehousing this data can lead to important quality issues. In this work, we focus on missing numerical and categorical in presence of aggregated facts. Motivated by the lack of a formal approach for the imputation of this kind of data taking into account all type of aggregation functions (distributive, algebraic and holistic), we propose an new methodology based on linear programming. Our methodology allows dealing with the relaxed constraints over classical SQL aggregation functions. The proposed approach is tested on two well-known datasets. Experiments show the effectiveness of the proposed approach.; Les entrepôts de données (ED) et les systèmes OLAP sont les premiers acteurs des outils d'intelligence économique. Ils sont largement utilisés dans les communautés académiques et industrielles pour de nombreux domaines d'application différents. Malgré la maturité des systèmes ED et OLAP, avec l'avènement du Big Data, de plus en plus de sources de données sont disponibles, et l'entreposage de ces données peut conduire à d'importants problèmes de qualité. Dans ce travail, nous nous concentrons sur les données numériques et catégorielles manquantes en présence de faits agrégés. Motivés par l'absence d'une approche formelle pour l'imputation de ce type de données prenant en compte tous les types de fonctions d'agrégation (distributives, algébriques et holistiques), nous proposons une nouvelle méthodologie basée sur la programmation linéaire. Notre méthodologie permet de traiter avec des contraintes plus souples que les fonctions d'agrégation SQL classiques. L'approche proposée est testée sur deux jeux de données bien connus. Les expériences montrent l'efficacité de l'approche proposée.

Details

Language :
English
ISSN :
0169023X
Database :
OpenAIRE
Journal :
Data and Knowledge Engineering, Data and Knowledge Engineering, Elsevier, 2020, 128, pp.101832. ⟨10.1016/j.datak.2020.101832⟩, Data and Knowledge Engineering, 2020, 128, pp.101832. ⟨10.1016/j.datak.2020.101832⟩
Accession number :
edsair.doi.dedup.....307b57deb5958ac339d1b332b1456ba5