Search

Federalno učenje je paradigma kolaborativnog učenja koja se brzo razvija i trenira modele neuronske mreže na uređajima korisnika. Federalno učenje se distribuira, a samo se rezultati treniranja dijele sa središnjim poslužiteljem, čuvajući privatnost. Modeli temeljeni na Transformerima su modeli strojnog učenja koji se koriste za predviđanje slijeda riječi u obradi prirodnog jezika (NLP). Ovaj rad istražuje ideju o treniranju Transformera u arhitekturi udruženog učenja na zadatku prepoznavanja imenovanih entiteta (NER). Transformeri za treniranje mogu se provesti korištenjem nasumično inicijaliziranih ili prethodno treniranih modela. Ovaj rad analizira rezultate treniranja prethodno treniranih BERT modela u federalnom učenju. Sve 24 manje veličine BERT modela koriste se u eksperimentima za istraživanje utjecaja slojeva i veličina sakrivenih slojeva (H) pri korištenju unaprijed treniranih modela. Uvježbani modeli se procjenjuju na dobro poznatim skupovima podataka, a konačni rezultati se navode i analiziraju. Izvorni kod se može pronaći na Githubu: https://github.com/fipu-lab/ner-federated Federated learning is a fast-emerging collaborative learning paradigm of training neural network models on users' devices. Federated learning is distributed, and only training results are shared with a central server, preserving privacy. Transformer-based models are machine learning models used for word sequence prediction in natural language processing. This paper explores the idea of training Transformers in federated learning architecture on a named-entity recognition (NER) task. Training Transformers can be conducted using randomly initialized or pre-trained models. This paper analyses results of training pre-trained BERT models in Federated learning. All 24 smaller BERT model sizes are used in the experiments to explore the impact of layers and hidden size when using pre-trained models. Trained models are evaluated on well-known datasets, and the final results are provided and analyzed. Source code can be found on Github: https://github.com/fipu-lab/ner-federated

Rad daje pregled područja federalnog učenja. Predstavlja motivaciju i okolnosti koje su dovele do njegovog razvoja. Nadalje opisujemo ključne izazove s kojima se federalno učenje suočava. Također prikazuje korisnu taksonomiju za kategorizaciju i analizu sustava za federalno učenje. Predlaže sustav za federalno učenje implementiran u programskom jeziku Python i sustavu za razmjenjivanje poruka Apache Kafka. Objašnjava motivaciju odabira konkretnih tehnologija i način na koje su integrirane u sustav. Konačno, prikazujemo kratku analizu performansi izgrađenog sustava. Sustav je testiran za preciznost i skalabilnost sa zaključkom da postiže zadovoljavajuće performanse u obje kategorije. This thesis presents an overview of federated learning. It shows the circumstances and motivation which led to its development as well as the challenges that federated learning faces. We present a categorization of federated learning, useful for analyzing a given federated learning system. Furthermore, we present an implemented federated learning system implemented in Python using the distributed messaging system Apache Kafka. Moreover, we present the reasoning behind the selection of these technologies and how they were incorporated into the system. Finally, we analyze the performance of the created system. Model quality and scalability were tested with the results showing that the system performed well

Federalnog učenje je kolaborativna, distribuirana metoda za učenje globalnog dijeljenog modela. Koristi računalne mogućnosti krajnjih uređaja (pametni telefoni, uređaji u ugradbenim sustavima, internetu stvari, računarstvu na rubu itd.) za obavljanje procesa strojnog učenja, pri čemu se za treniranje koriste lokalni podaci. Svaki krajnji uređaj (klijentski čvor) trenira lokalni model nad svojim podacima, a centralni čvor kreira globalni model na temelju lokalnih modela. Lokalni podaci svakog klijenta, koji su često privatni, nikada se ne dijele s nekom trećom stranom i na taj način je sačuvana privatnost klijenta. Kako bi se olakšalo istraživanje federalnog učenja razvijeni su programski okviri za federalno učenje, a jedan od njih je Flower. U ovom radu proučeno je područje federalnog učenja, te programski okvir Flower i njegove karakteristike i prednosti u odnosu na slične programske okvire. Implementiran je sustav za stvaranje zajedničkog modela temeljen na programskom okviru Flower, te su ispitane performanse sustava s obzirom na dostignuti kvalitetu zajedničkog globalnog modela i modela dobivenog metodom klasičnog centralnog strojnog učenja. Federated learning (FL) is collaborative, distributed method of machine learning used to create a shared global model. It uses computing capabilities of end devices (smartphones, devices in embedded systems, IoT, edge computing etc.) for machine learning on their local data. Every end device (client node) trains a local model on its local data, while central node creates global shared model based on information from local models. Local data of each client, which is often private, is never shared with other party and privacy of clients is preserved. To make exploration and development of federated learning easier, several frameworks for federated learning have been developed, one of which is Flower. In this work the field of federated learning is described and Flower framework for federated learning is explored. Using Flower framework, system for creating a shared global model is developed and its performance is evaluated based on achieved quality of shared global model and model created using classic centralized method of machine learning.

Kolaborativno učenje je novi pristup treniranju modela umjetne inteligencije na distribuiranim podacima i uređajima. Ovakvim pristupom podaci ostaju pohranjeni lokalno i time se čuva privatnost. Treniranje modela u tako heterogenom sustavu dovodi do novih izazova različitih od već dobro utvrđenih metoda. U radu su opisane uobičajene metode kolaborativnog procesa, a dokaz koncepta ukazuje na utjecaj hiperparametara na proces. Dokaz koncepta pokazuje izazove koji se mogu pojaviti u procesu treniranja nad akademskim podacima kategorizacije MNIST brojeva i kako ih se može ublažiti dobrim odabirom hiperparametara, ovisno o problemu. Federated learning is a new approach to train models of artificial intelligence on distributed data and devices. With this approach data can be left stored locally and will preserve privacy. Training models in such elaborate system induces new challenges in contrast to well established methods. Paper describes common methods to achieve such process as well gives proof of concept to demonstrate significance of hyperparameters on the process. Proof of concept demonstrates challenges models might occur in process of training on academic data of categorizing MNIST numbers and how it can be alleviated via good hyperparameter selection depending on problem.