Search

Trgovanje z nepremičninami (oddajanje, prodajanje) poteka vsak dan, zato je napovedovanje vrednosti nepremičnin zelo pomembno. Cilj magistrske naloge je bil razviti napovedni model vrednotenja nepremičnin s podatkovnim rudarjenjem, ki napoveduje vrednost nepremičnine (pogodbeno najemnino oz. ceno za stanovanja) na podlagi podatkov iz različnih virov. Pomemben faktor pri pripravi zbirk podatkov je bil vključevanje podatkov, ki posredno vplivajo na vrednost nepremičnin. Izhodiščno zbirko podatkov ETN smo razširili z dodatnimi podatki in ustvarili dve novi zbirki podatkov – najeme in kupoprodaje stanovanj. Nad zbirkama smo izvajali postopke čiščenja (odstranjevanje osamelcev, vstavljanje manjkajočih vrednosti). Izvedli smo tudi izbor pomembnih atributov. Z metodama za napovedovanje (linearna regresija, naključni gozdovi) smo iz zbirk podatkov zgradili napovedne modele za napovedovanje vrednosti nepremičnin ter jih ovrednotili. Pri napovedovanju pogodbenih cen za stanovanja smo z naključnimi gozdovi dosegli najnižjo povprečno absolutno napako (MAE) 10.986,15 €, kar je boljše kot z linearno regresijo, kjer je MAE 14.496,75 €. Obe metodi presežeta MAE 25.424,58 € ničelnega modela. Tudi pri napovedovanju pogodbenih najemnin za stanovanja smo z naključnimi gozdovi dobili boljše rezultate (MAE je 63,74 €) kot z linearno regresijo (MAE je 81,20 €), kar je boljše od ničelnega modela (MAE je 95,15 €). Napovedni model vključuje stanje trga in predstavlja alternativo trenutnemu GURS vrednotenju, ki temelji na kompleksnih modelih vrednotenja. Real Estate trading (renting, selling) is carried out every day, so the forecasting the value of Real Estate is very important. The aim of the master's thesis was to develop a forecast model for Real Estate valuation with data mining, which forecast the value of Real Estate (contract rent or price for apartment) based on data from various sources. An important factor in the preparation of data sets was the integration of data that indirectly affects the value of Real Estate. We extended the baseline REMR data set with additional data and created two new data sets - renting and buying apartments. We carried out cleaning procedures on these data sets (removal of outliers, imputation of missing values). We also carried out a feature selection. Using forecast methods (linear regression, random forests), we made data from the data sets forecast models for forecasting the value of Real Estate and evaluated them. When forecasting contract prices for apartments, random forest defects reached the lowest mean absolute error (MAE) of € 10,986.15, which is better than with linear regression, where the MAE is € 14,496.75. Both methods exceed the MAE of € 25,424.58 of the null model. Also in forecasting contractual rents for apartments, random forests have obtained better results (MAE is € 61.57) than with linear regression (MAE is € 81.20), which is better than the null model (MAE is € 95.15). The forecast model includes the state of the market and represents an alternative to the current MGRT evaluation, based on complex evaluation models.

Današnje organizacije se pogosto soočajo z izzivom, kako obvladovati veliko količino podatkov, ki jih uporabljajo pri svojem poslovanju. Zaradi mnogih razlogov je zelo pomemben vidik obvladovanja podatkov tudi zagotavljanje in ohranjanje ustrezne kakovosti podatkov. V organizacijah namreč po eni strani ustrezno visok nivo kakovosti podatkov predstavlja konkurenčno prednost, po drugi strani pa slaba kakovost podatkov vodi v številne neljube posledice. V preteklosti so se izoblikovala ogrodja, metode ter orodja kot pomoč pri zagotavljanju ustrezne ravni kakovosti podatkov, poleg tega je kakovost podatkov obravnavana tudi v različnih standardih in zakonodaji. Kljub temu pa raziskave kažejo, da je stanje v organizacijah na tem področju še vedno razmeroma slabo. Namen naloge je raziskati in predstaviti področje kakovosti podatkov v organizacijah ter predstaviti problematiko, ki iz tega izhaja. Predstavljene so posledice slabe kakovosti podatkov ter vzroki, ki vodijo v takšno stanje. Podani so tudi razlogi, zakaj je kakovost podatkov v organizacijah pomembna, ter predstavljeni standardi in zakonodaja s tega področja. Problematika kakovosti podatkov se pojavlja tudi na področju interneta stvari, ki je v zadnjem času deležno velikih raziskovalnih prizadevanj, zato je obravnavano področje prikazano tudi iz tega zornega kota. V nalogi je največji poudarek na tistem delu področja, ki se nanaša na kakovost in čiščenje obstoječih podatkov. Predstavljene so vrste napak, različna ogrodja čiščenja podatkov ter prikaz postopka z združenimi poudarki različnih ogrodij. Narejen je tudi pregled obstoječih programskih rešitev s tega področja. Omenjeno je predstavljeno v prvem, teoretičnem delu naloge. Drugi del predstavlja praktični del, kjer je podan predlog za izboljšanje stanja v organizacijah s pomočjo izdelane programske rešitve – prototipa za realizacijo tistega dela upravljanja s kakovostjo podatkov, ki se nanaša na vzdrževanje pravilnosti podatkov s pomočjo zaznavanja napak v podatkih in možnost njihove odprave. Podan je tudi predlog uporabe rešitve v konkretni organizaciji s predlogom umestitve v obstoječi informacijski sistem z upoštevanjem vodil in principov, ki jih predlaga literatura. V zaključnem delu naloge so podani ključni pristopi, ki bi v organizacijah pripomogli k izboljšanju stanja na tem področju. Today´s enterprises are often challenged by managing a large amount of data used in their business operation. Assurance and maintenance of adequate data quality level are important aspects of data quality management due to many reasons. On the one hand, the adequate data quality level represents a competitive advantage, and on the other hand, low data quality level leads to many unpleasant consequences. In the past, frameworks, methodologies, and tools to help ensuring adequate level of data quality were formed. Besides, the question of data quality is discussed in legislation and various standards. Despite that fact, some researches show poor state of data quality in enterprises. A purpose of the thesis is to research and present the area of data quality, and to show subsequent issues of low data quality. The thesis presents consequences as well as reasons of low data quality. It also shows reasons of data quality importance. In addition, it presents standards, legislation, and best practices that deal with the field of data quality. Data quality issues also arise in the field of the Internet of Things, which is an object of many researches lately, therefore, the thesis also presents main issues from that point of view. The main emphasis of the thesis is on the part of the field dealing with data quality and data cleaning. The thesis presents error types, various data cleaning frameworks, and combines their main activities in a consolidated view. Furthermore, the thesis presents an overview of the existing software solutions available on the market to support data cleaning tasks. The aforementioned is introduced in the theoretical part of the thesis. The second part of the thesis represents a practical part, where a proposal for data quality improvement is given using a prototype of a software solution to address a specific part of data quality management, which deals with data accuracy maintenance by sensing errors in data, and the possibility of error elimination (data cleaning). In addition, the thesis proposes installation of the solution in a concrete organisation´s information system by considering principles and rules the literature suggests. In the conclusion, there are essential approaches given to aid the improvement of data quality field in enterprises.

V diplomskem delu sem kombiniral več različnih tehnik za prepoznavo podvojenih oseb, kot so metode, ki temeljijo na pravilih določanja podobnih oseb, klasifikacija parov, sestavljanje gruč in strojnega učenja. Duplicirane osebe sem dodatno prepoznaval s primerjavo profilnih fotografij, saj je njihov vizualni učinek tudi pri človeški prepoznavi v veliko pomoč. Čeprav so podvojeni zapisi shranjeni v eni podatkovni bazi, sem vseeno uporabil tehnike, ki se drugače izkoriščajo tudi za uparjanje več baz z enakimi entitetami. Na koncu sem ocenil časovno zahtevnost in pravilnost deduplikacije. In my thesis I combined multiple duplicate person recognition techniques like rule-based methods to determine similar persons, pair classification, cluster building and machine learning. Extra comparison of profile pictures was used for recognizing person duplicates, because this comparison is the one of the first things that humans use when comparing profiles. I also used techniques for entity resolution on multiple databases. In the end I measured time complexity and success of the deduplication.