Search

Dissertação de mestrado em Engenharia de Sistemas, O projeto de dissertação aborda a implementação de uma Solução de Business Intelligence e aplicação de algoritmos de recomendação num contexto empresarial. Numa primeira fase foi elaborado o estudo da arte dos principais temas, os Sistemas Business Intelligence e os Sistemas de Recomendação. O levantamento de requisitos foi uma componente do projeto que serviu para definir os objetivos do desenvolvimento e perceber que problemas é que seriam resolvidos com as implementações. A análise da fonte de dados da organização foi também elaborada de forma a assegurar a informação necessária para o cumprimento dos objetivos. A fase de desenvolvimento levou a cabo o desenho de um modelo dimensional para a implementação física de um Data Warehouse. A construção de uma pipeline ETL foi realizada de forma a armazenar os dados com conformação estruturada no Data Warehouse. O Sistema de Data Warehousing ficou completo depois de se programar um job do SQL Server para executar o processo ETL a uma hora estipulada todos os dias, de forma a refrescar os dados contidos na nova base de dados. Foi desenvolvida uma aplicação de monitorização das atualizações do Data Warehouse, de forma a que o gestor das bases de dados possa realizar auditorias e analisar estatísticas dos tempos do processo ETL, apenas acedendo à aplicação na sua versão web ou mobile. Com os dados estruturados e armazenados no Data Warehouse, foi possível desenvolver um algoritmo de recomendações, filtrando desta forma, informações úteis para os utilizadores do sistema, e arrecadando novas oportunidades que são recomendadas por esta componente. Com todo o processo de back-end criado, foi elaborada a fase de front-end. Para ser possível o acesso aos dados contidos no sistema de Business Intelligence, foram criados relatórios dinâmicos numa aplicação web para que os utilizadores consigam analisar as informações, oferecendo-lhes, desta forma, suporte nas tomadas de decisão. Atualmente, o sistema encontra-se em fase de produção, dentro da organização, sendo que é constantemente necessária a sua manutenção para corrigir falhas que possam ocorrer., This dissertation addresses the implementation of a Business Intelligence Solution and the application of recommendation algorithms in a business context. In the first phase it was elaborated the study of the main themes, Business Intelligence Systems and Recommendation Systems. The requirements gathering was a component of the project that served to define the objectives of the development and to understand which problems would be solved with the implementations. The analysis of the organization's data source was also elaborated in order to ensure the necessary information for the fulfillment of the objectives. The development phase carried out the design of a dimensional model for the physical implementation of a Data Warehouse. An ETL pipeline was built in order to store structured data in the Data Warehouse. The Data Warehousing System was completed after a SQL Server job was scheduled to run the ETL process at a stipulated time every day, in order to refresh the data contained in the new database. A Data Warehouse update monitoring application was developed, so that the database manager can perform audits and analyze statistics of the ETL process times, just by accessing the application in its web or mobile version. With the data structured and stored in the Data Warehouse, it was possible to develop a recommendation algorithm, thus filtering useful information for the system users, and collecting new opportunities that are recommended by this component. With all the back-end process created, the front-end phase was elaborated. To make possible the access to the data contained in the Business Intelligence system, dynamic reports were created in a web application so that the users can analyze the information, offering them, this way, support in the decision-making process. Currently, the system is in the production phase, within the organization, and its maintenance is constantly needed to correct failures that may occur.

Collaborative Filtering as a popular method that used for recommendation system. Improvisation is done in purpose of improving the accuracy of the recommendation. A way to do this is to combine with content based method. But the hybrid method has a lack in terms of scalability. The main aim of this research is to solve problem that faced by recommendation system with hybrid collaborative filtering and content based method by applying parallelization on the Apache Spark platform.Based on the test results, the value of hybrid collaborative filtering method and content based on Apache Spark cluster with 2 node worker is 1,003 which then increased to 2,913 on cluster having 4 node worker. The speedup got more increased to 5,85 on the cluster that containing 7 node worker.