Search

U ovome radu glavni predmet proučavanja bila je primjena modela slučajnih šuma u svakodnevnom života, točnije u računanju kreditnog rizika u bankama. U početnom dijelu rada pobliže smo upoznali čitatelja s jednostavnom i višestrukom linearnom regresijom. U nastavku rada donijeli smo pregled razvoja strojnog učenja te pojasnili istoimeni pojam. Zatim smo detaljno opisali pojam stabla odluke i kako se ono razvija te smo njegov model prikazali na primjeru i vizualno radi lakšeg shvaćanja napisanog. Slijedilo je poglavlje posvećeno teorijskoj obradi modela slučajnih šuma i njihovoj primjeni u bankarstvu. Radi lakše interpretacije podaci su prikazani kroz histograme i tablice. Za kraj rada donesi su zaključci o radu algoritma i mogućnosti njegove implementacije u bankarski sustav. In this paper, the main subject of study was application of the model of random forests in everyday life, more precisely in the calculation of credit risk in banks. In the initial part of the paper, we introduced the reader to simple and multiple linear regression. In the continuation of the paper, we provide an overview of the development of machine learning and clarify the concept of them. Then we minutely described the concept of the decision tree and how it develops, and we presented its model on an example and visually to make it easier to understand what is written. This was followed by a chapter dedicated to the theoretical processing of random forest models and their application in banking. For easier interpretation, the data are presented through histograms and tables. At the end of the paper, conclusions were made about the operation of the algorithm and the possibility of its implementation in the banking system.

U ovom radu izlažu se osnovne metode i teorijska podloga analize panel podataka kao vrlo važnog aspekta brojnih istraživanja u prirodnim i društveno-humanističkim znanostima. Njima se obuhvaćaju i analiziraju opažanja prikupljena tijekom različitih vremenskih točaka, to jest promatra se promjena varijabli i njihov utjecaj kroz vrijeme. Na početku rad donosi prikaz linearne regresije koja čini osnovu statističkog modeliranja, a kojom se u vezu dovodi zavisna varijabla i funkcija nezavisnih varijabli. U sljedećem poglavlju dan je pregled vrsta podataka te se objašnjava specifična struktura panel podataka koja se svodi na objedinjavanje vremenskog presjeka i vremenskog niza. Nakon toga objašnjavaju se linearni modeli panel podataka: združeni model, model fiksnih efekata i model slučajnih efekata; te testovi za odabir određenog modela: \(F-\) test, Breusch-Paganov test i Hausmanov test. U nastavku rada izloženi teorijski koncept panel podataka nadograđuje se primjerom analize podataka Statističkog ureda Europskih zajednica (Eurostata) u računalnom programu za statističku analizu SAS. Analiza se temelji na broju iseljenih osoba kao zavisnoj varijabli te podacima o mjesečnoj plaći, nezaposlenosti, stupnju obrazovanja i broju rastavljenih kao nezavisnim varijablama. Osim Hrvatske, odabrane su još četiri europske zemlje kao jedinice promatranja u vremenskom razdoblju od 2008. do 2016. godine. This paper presents basic methods and theoretical background of panel data analysis as a very important aspect of numerous research topics in natural and social sciences. Panel data contain and analyze the observations of phenomena obtained over multiple time periods and explain influencing variables. First, the paper presents the linear regression that forms the basis of statistical modeling, which links the dependent variable to the function of independent variables. The next chapter provides an overview of data type and explains specific structure of panel data as combination of cross-section and time series data. Afterwards, text explains various linear models of the panel data: pooled OLS model, fixed effects model and random effects model, as well as tests to evaluate how statistical model corresponds to the data: \(F-\) test, the Breusch-Pagan test and Hausman specification test. The theoretical concept of the panel data analysis presented in this paper is outlined through data aggregated by the European Statistical Office (Eurostat) and computed in the statistical analysis software SAS. Presented panel analysis is based on annual collections of statistics on international migration flows as dependent variable, and statistics on monthly wages, unemployment, educational attainment level and divorce rate as independent variables. Besides Croatia, four other European countries have been selected as observation units over the period of 2008 to 2016.

Ovaj rad baziran je na analizi statističkog i ekonometrijskog pojma naziva panel podaci. Analiza panel podataka vrlo je raširena u prirodoslovnim, društvenim i ekonomskim znanstvenim istraživanjima zbog mogućnosti praćenja više objekata putem više varijabli u više od jednog vremenskog perioda. U prvom poglavlju definirani su panel podaci kao kombinacija vremenskih nizova i vremenskih presjeka te je dana njihova struktura. Kako bi bilo lakše razumijevanje linearnih modela s takvim podacima, za početak je objašnjena jednostavna linearna regresija te statistički pojmovi potrebni za analizu. Potom je prikazana osnovna konstrukcija linearnih modela za panel analizu te dana teorijska podloga za združeni model, model fiksnih efekata i model slučajnih efekata. Za odabir najboljeg modela od navedenih primijenjeni su F-test, Hausmann test i Lagrange Multiplier Test - (Breusch-Pagan). U drugom poglavlju provedena je analiza u programu za statističku analizu R nad panel podacima o COVID-19 bolesti u Hrvatskoj, Italiji, Švicarskoj i švedskoj. U vremenskom razdoblju od svibnja 2020. godine do studenog 2021. godine promatrana je zavisna varijabla broj smrtnih slučajeva s obzirom na nezavisne varijable: broj zaraženih osoba, broj hospitaliziranih osoba, broj cijepljenih osoba barem jednom dozom cjepiva, indeks strogosti mjera te indeks ljudskog razvoja. Fundamental part of this paper is analysis of statistical and econometrical term panel data. Panel analysis is used for scientific researches in fields like economy and nature and social sciences. It is very popular because it can handle multiple objects over multiple variables within more than one time period. In first chapter, it is shown structure and definition of panel data as a combination of time series and cross-sectional data. Also, there is given an explanation of a simple linear regression and main statistical tools for validating linear models. Afterwards, basic structure of a linear panel model, pooled OLS model, fixed effects model and random model effects are presented. To determine which model fits best with the panel data there are conducted F-test, Hausman test and Lagrange Multiplier Test - (Breusch-Pagan). Second chapter gives overview of panel data analysis through example made in program for statistical analysis R. Panel is consisted of COVID-19 data from Croatia, Italy, Sweden and Switzerland from May 2020. until November 2021. Dependent variable is number of death cases opposite to independent variables that are number of total positive cases, number of patients in hospital, number of vaccinated patients with at least 1 dose, stringency index and human development index.

Prvi cilj ovoga rada je teorijski predstaviti model višestruke linearne regresije kao i metode odabira podskupa i metode sažimanja koje se koriste za njegovo poboljšanje. Kako bismo to napravili, rad smo započeli s teorijskom obradom modela jednostruke linearne regresije. Drugi je cilj pokušati statistički opisati vezu između godišnje prodaje određenog proizvoda i demografskih čimbenika. U tu smo svrhu koristili metodu višestruke linearne regresije koju smo prethodno teorijski obradili. Podaci su prvo prilagođeni, a nakon toga je provedena opisna statistika, modeliranje podataka i analiza modela. Na kraju rada iskazan je zaključak o optimalnosti korištenja modela linearne regresije za dane podatke. The first goal of this paper is to theoretically present the multiple linear regression model as well as the subset selection methods and the shrinkage methods that are used for its improvement. In order to do so, we have started the paper with theoretical analysis of a univariate linear regression model. The second goal is to try to describe the relationship between annual sales of a particular product and demographic factors. For this purpose, we used the method of multiple liner regression which we have previously theoretically presented. Data was first adjusted, and then descriptive statistics, data modeling, and model analysis were performed. At the end of the paper, a conclusion was reached on the optimum utilization of linear regression model for given data.

U ovom radu opisana je analiza prodaje motora firme iz Šibenika koja se uspjela održati za vrijeme "prve globalne financijske krize 21. stoljeća", kad su mnogi prodavatelji motora u RH "propali". Podaci s kojima se radi sežu od 2006. do 2016. godine te zapravo opisuju veliki pad u prodaji. Poznate su jačine, boje, marke i tipovi prodanih motora u navedenom razdoblju. Rad se sastoji od 5 poglavlja u kojima su obrađene različite statističke metode. Prvo se opisnom statistikom opisala baza podataka, navedene su tablice frekvencija i mozaik prikazi varijabli baze. Potom se uradio \(\chi^2\)-test, jedan od prvih statističkih testova. Glavna tema trećeg poglavlja je analiza varijance. Nadalje, opisana je novija, jako fleksibilna statistička metoda, analiza korespondencije. U posljednjem poglavlju je obrađena linearna regresija kojom se izračunalo koliki pad u prodaji se dogodio svakoj od marki motora. Također, pokušala se predvidjeti daljnja prodaja. Prilikom obrade uzetih podataka korišten je programski sustav SAS, te su navedeni potrebni kodovi. Iako se radi o velikom padu u prodaji motora, iz tablica frekvencija se može vidjeti lagani porast u prodaji prošle godine (2016.), a djelatnici firme kažu da je porast još i veći ove godine. This paper describes motor sales analysis of a company from Šibenik which survived during ”the first global financial crisis of the 21st century”, when most of Croatian motor dealers collapsed. The data extend from 2006 to 2016 and actually, sales come down is showed. Strengths, colors, brands and types of sold motors in the specified period are known. The paper consists of five chapters which show different statistic methods. First, the data base is described with descriptive statistics, and also frequency tables and mosaic plots of the base variables are showed. Secondly, \(\chi^2\)-test, one of the first statistic tests is done. The main theme of the third chapter was variance analysis. Then is described the newer, very flexible statistic method, correspondence analysis. The last chapter describes linear regression, which is used to calculate the exact sales come down for all of the motor brands. Also, we tried to make a prediction of the future sales. For all data analysis program system SAS is used and there are all required codes. Although the paper is about the big sales collapse, from the frequency table we can see light increase in sales from the last year (2016), and the company employees state that sale increase is even greater this year.

U ovome radu upoznali smo se sa principom i svrhom korištenja linearne regresije u različitim formama. Vidjeli smo kako funkcioniraju neke od osnovnih metoda za pronalazak koeficijenata (i mnogih drugih statistika) linearnog regresijskog modela, odnosno kako ponekad možemo izmijeniti (metode sažimanja) prvobitno dobivene koeficijente ili neke prediktore u potpunosti izbaciti (metode odabira podskupa) u svrhu poboljšanja snage predikcije. Zaključujemo da bez obzira na prednost neke metode s obzirom na druge u određenom problemu, ne postoji savršeni model koji bi u svakome problemu predikcije davao optimalno rješenje, već moramo svaki puta uzeti u obzir više metoda kako bismo pronašli model koji nam u tom trenutku najviše odgovara gledajući kriterij koji nas najviše zanima. In this paper, we are introduced to the principle and purpose of using linear regression in different forms. We have seen how some of the basic methods for finding the coefficients (and many other statistics) of a linear regression model work, that is, how we can sometimes modify (shrinkage methods) originally obtained coefficients or eliminate some predictors completely (subset selection methods) to improve prediction power. We conclude that regardless of the advantage of some methods over others in a certain problem, there is no perfect model that would predict the optimal solution in each problem, instead each time we must consider several methods to find the model that suits us best at that time by looking at the criterion that interests us the most.

U ovom radu predstavili smo dio metoda za Objašnjivost umjetne inteligencije, podijelili smo metode prema kategorijama. Objasnili terminologiju korištenu u ovom polju. Za većinu metoda uz teoretsko objašnjenje dali smo i primjere korištenja. Predstavili smo najvažnije Samo-objašnjive metode kao što su Linearna Regresija, Logistička regresija i Stabla odluke. Objasnili zašto ih smatramo samo-objašnjivim. Za Model-Agnostičke metode koje spadaju u Post-Hoc metode objašnjivosti naveli smo Graf djelomične ovisnosti, Grafove pojedinačnog uvjetnog očekivanja, Grafove Akumuliranih lokalnih učinaka, Lokalno interpretabilnih model Agnostičke (LIME), te SHAP vrijednosti. Sve ove metode, omogućavaju nam određeni uvid u rad bilo kojeg modela. Kod metoda koje su specifične za modele koncentrirali smo se na Konvolucijske Neuronske mreže, te prikazali poboljšanja u mapama vidljivosti. Također smo pokazali Objašnjive metode za CNN koje kao podatke imaju Vremenske nizove. In this paper, we have presented some of the methods for Explanatory Artificial Intelligence, we have divided the methods into categories and explained the terminology used in this field. For most methods, in addition to a theoretical explanation, we have given examples of use. We presented the most important Self-Explainable methods that are Linear Regression, Logistic Regression and Decision Trees and explained why we consider them only explainable. For Model-Agnostic methods that belong to the Post-Hoc methods, we have explained the Graph of Partial Dependence, Graphs of Individual Conditional Expectation, Graphs of Accumulated Local Effects, Locally Interpretable Model Agnostic (LIME), and SHAP values. All these methods allow us to see any model. For model-specific methods, we concentrated on Convolutional Neural Networks, and showed which improvements exist in visibility maps of CNN. We also showed Interpretable methods for time-series CNN.

Linearna regresija je postupak u kojem pokušavamo opisati zavisnu varijablu kao linearnu kombinaciju jedne ili više nezavisnih varijabli. Ona procjenjuje uvjetno očekivanje zavisne varijable uz danu nezavisnu varijablu te ju prikazuje kao afinu funkciju od zavisne varijable. Za taj tip regresije metoda najmanjih kvadrata je dovoljno učinkovita, ali problemi nastaju kada se žele proučavati ekstremi nekih podataka ili njihovi kvantili. Tu do izražaja dolazi kvantilna regresija, gdje kvantilni regresijski parametar predstavlja promjenu zavisne varijable (varijable odaziva) u određenom kvantilu za jednu jedinicu promjene nezavisne varijable (varijable poticaja). U kvantilnoj regresiji procjenitelj za uvjetni medijan je procijenjen minimiziranjem simetrične težinske sume apsolutnih pogrešaka (gdje je težina jednaka 0.5), a procjenitelj za druge uvjetne kvantilne funkcije se procjenjuje minimiziranjem asimetrične težinske sume apsolutnih pogrešaka (gdje su težine jednake funkcijama od kvantila). Zbog toga je kvantilna regresija robustna na outliere što smo objasnili u radu. Još jedna prednost kvantilne regresije koju smo prikazali u radu je svojstvo ekvivarijance koje nam omogućuje da imamo da je kvantil transformirane slučajne varijable (transformirana pomoću strogo rastuće afine funkcije) jednak transformiranom kvantilu originalne slučajne varijable, što nije slučaj kod matematičkog očekivanja. Zbog toga je interpretacija modela kvantilne regresije jednostavnija nego ona kod metode najmanjih kvadrata. Linear regression is a process in which we try to describe the dependent variable as a linear combination of one or more independent variables. It estimates the conditional expectation of the dependent variable for a given independent variable and it is shown as an affine function of the dependent variable. For this type of regression least squares method is efficient, but problems arise when we want to study the extreme values of some data or their quintiles. This is where quantile regression is useful. The quantile regression parameter represents the change in the dependent variable (response variable) in a specified quantile of a unit change in the independent variable (predictor variable). In quantile regression, the conditional median estimator is estimated by minimizing the symetrically weighted sum of absolute error (where the weight is equal to 0.5). The estimator for other conditional quantile function is estimated by minimizing the asymmetric weighted sum of absolute errors (where the weights are the functions of quintiles). Therefore, the quantile regression is robust to the presence of outliers as explained in this paper. Another advantage of quantile regression, shown in this paper, is equivariance that allows the quantile transformed random variables (transformed by strictly increasing affine functions) to be equal to the transformed quantiles of the original random variables, which is not the case with mathematical expectation. Therefore the interpretation of the model of quantile regression is simpler than in the method of least squares.

Ukratko, ovaj rad sastoji se od dva dijela: teorijskog i eksperimentalnog. Prva dva poglavlja su teorijska i u njima je objašnjena linearna regresija i pojmovi vezani uz nju. Pokazano je kako se metodom najmanjih kvadrata dolazi do parametara linearne regresije. Od velike su važnosti reziduali i njihova distribucija pa je temeljito dokazana tvrdnja da suma kvadrata reziduala ima \(\chi^2\) distribuciju. Treće poglavlje odnosi se na eksperimentalni dio u kojem se medu rastućim podacima, prvo simuliranim, a potom realnim, želi odrediti eksponencijalna faza rasta. Podaci su logaritmirani i na njima se provode dvije metode koje koriste linearnu regresiju. U prvoj metodi uspoređujemo linearni i kvadratični model, a u drugoj uspoređujemo dva linearna modela. Točnost metoda provjeravamo u ovisnosti o različitim razinama značajnosti testova, različitim standardnim devijacijama šuma te različitom duljinom podataka. Simulacije su pokazale da je druga metoda, sa dva linearna modela, u većini slučajeva bolja. In this paper, we have two parts: theoretical and experimental part. First two chapters are theoretical and they explain linear regression and terms related to it. It is shown how one finds parameters of linear regression using the least square method. Residuals and their distribution are very important, therefore is the claim that sum of squared residuals follows \(\chi^2\) distribution proofed in detail. Third chapter refers to experimental part in which one between data, first simulated, then real, wants to find exponential phase of growth. Logarithm of the data is being put through two methods, which use linear regression. In first method linear and quadratic model are being compared, and in the second one, two linear models are being compared. The accuracy of methods are being checked depending on the different levels of significance, different standard deviation of the noise of the data and different length of the data. Simulations have shown that the second method is in most of the cases better.