Search

Com a o aumento da disponibilidade de dados, sobretudo no contexto educacional, a Mineração de Dados Educacionais (MDE) tem se tornado cada vez mais importante para a tomada de decisão neste contexto. Um dos principais objetivos da MDE é a predição do desempenho, pois quando se sabe de forma antecipada sobre a performance dos alunos, é possível intervir evitando reprovações, e até mesmo a evasão. Nesse sentido, esse estudo tem como objetivo realizar a previsão do desempenho de alunos, em um conjunto de dados públicos, utilizando algoritmos de Regressão, ademais indicar quais os principais atributos preditores para o desempenho dos alunos. Para isso foi implementado um processo de MDE baseado em 4 etapas descritas por Aggarwal (2015). Como resultado foi identificado que para os dois conjuntos de dados analisados a Árvores de Decisão foi o mais preciso, com uma acurácia de 90% para a disciplina de Matemática, e o Random Forest teve o melhor desempenho para os dados referentes a disciplina de Português, 80% de precisão. Além disso, constatou-se que atributos relacionados as atividades escolares são mais preditores para o desempenho dos alunos, todavia alguns atributos decorrentes de características demográficas e socioeconômicas, também influenciam no desempenho.

O início do séc. XXI foi marcado pela Quarta Revolução Industrial, caracterizada pelo desenvolvimento de máquinas e sistemas inteligentes, entre outros aspectos. Os impactos dessa revolução alcançaram o Poder Judiciário Brasileiro, que vem utilizando os sistemas de inteligência artificial para mapear e desenvolver soluções para problemas específicos, com o objetivo de oferecer uma prestação jurisdicional mais célere. Uma das soluções criadas foi o Projeto Mandamus, desenvolvido por meio de um convênio entre a Universidade de Brasília – UnB e o Tribunal de Justiça de Roraima – TJRR. O propósito foi criar uma central inteligente de mandados para aprimorar as etapas de citação e intimação em algumas classes processuais. Neste artigo buscou-se analisar o problema de pesquisa identificado no projeto, bem como detalhar os passos seguidos para o desenvolvimento da solução tecnológica que criou dois robôs responsáveis pela classificação de decisões proferidas para, então, gerar mandados automaticamente e distribuí-los de forma eficiente, o que facilitou, otimizou e melhorou a economicidade dos órgãos judiciais.

Com a o aumento da disponibilidade de dados, sobretudo no contexto educacional, surgiram áreas específicas para extração de informações relevantes, como a Mineração de Dados Educacionais (MDE), que integra inúmeras técnicas que dão suporte a captação, processamento e análises desses conjuntos de registros. A principal técnica associada a MDE é a Aprendizagem de Máquina, que vem sendo empregada a décadas no processamento de dados em diversos contextos, mas com o advento do Big Data houve uma intensificação na aplicação dessa técnica no intuito de extrair informações relevantes de uma enorme quantidade de dados. Nesse sentido, esse estudo tem como objetivo realizar a previsão do desempenho de alunos, em um conjunto de dados públicos, e comparar qual dos algoritmos de aprendizagem de máquina utilizados foi o mais eficaz, ademais indicar quais os principais atributos preditores para o desempenho dos alunos. Para isso foi implementado um processo de MDE baseado em 4 etapas: 1) Coleta de dados; 2) Extração de recursos e limpeza de dados (Pré-Processamento e Transformação); e 3) Processamento analítico e algoritmos; 4) análise e/ou interpretação dos resultados. Como resultado foi identificado que para o conjunto de dados utilizado neste estudo o algoritmo Árvores de Decisão foi o mais preciso – com uma acurácia de 87% – bem como foi constatado que atributos relacionados as atividades escolares são mais preditores para o desempenho dos alunos do que dados de características demográficas e socioeconômicas.

Tese (doutorado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Mecânica, 2022. Os métodos de aprendizado de máquina dependem muito de quão bom o extrator de características selecionado pode representar os dados brutos de entrada. Atualmente, temos mais dados e capacidade computacional para lidar com isso. Com as Redes Neurais Convolucionais temos uma rede que é mais fácil de treinar e generaliza muito melhor do que o habitual. Há, no entanto, uma boa quantidade de características que são essenciais, mas são descartadas nesse processo, mesmo quando se utiliza uma CNN poderosa. As Redes Neurais Convolucionais Multistream podem processar mais de uma entrada usando fluxos separados e são projetadas usando qualquer arquitetura CNN clássica como base. O uso de M-CNNs gera mais informação de características e, assim, melhora o resultado geral. Este trabalho explorou arquiteturas M-CNNs e como os sinais de fluxo se comportam durante o processamento, chegando a uma nova estratégia de fusão cruzada de M-CNNs. O novo módulo é validado, inicialmente, com um conjunto de dados padrão, CIFAR-10, e comparado com as redes correspondentes (single-stream CNN e late fusion M-CNN). Os primeiros resultados neste cenário mostraram que nosso modelo adaptado superou todos os modelos mencionados acima em pelo menos 28% em comparação com todos os modelos testados. Expandindo o teste, usamos a base de antigas redes estado-da-arte na classificação de imagens e conjuntos de dados adicionais para investigar se a técnica pode colocar essas estruturas de volta ao jogo. No conjunto de dados NORB, mostramos que podemos aumentar a precisão em até 63, 21% quando comparado às estruturas básicas de M-CNNs. Variando nossas aplicações, o mAP@75 do conjunto de dados de detecção e reconhecimento de objetos BDD100K melhorou em 50, 16% em comparação com sua versão não adaptada, mesmo quando treinado do zero. A fusão proposta demonstrou robustez e estabilidade, mesmo quando distratores foram usados como entradas. Embora nosso objetivo seja reutilizar arquiteturas estado-da-arte anteriores com poucas modificações, também expomos as desvantagens de nossa estratégia explorada. Machine-learning methods depend heavily on how well the selected feature extractor can represent the raw input data. Nowadays, we have more data and computational capacity to deal with it. With Convolutional Neural Networks, we have a network that is easier to train and generalizes much better than usual. However, a good amount of essential features are discarded in this process, even when using a powerful CNN. Multistream Convolutional Neural Networks can process more than one input using separate streams and are designed using any classical CNN architecture as a base. The use of M-CNNs generates more features and thus, improves the overall outcome. This work explored M-CNNs architectures and how the stream signals behave during the processing, coming up with a novel M-CNN cross-fusion strategy. The new module is first validated with a standard dataset, CIFAR-10, and compared with the corresponding networks (single-stream CNN and late fusion M-CNN). Early results on this scenario showed that our adapted model outperformed all the abovementioned models by at least 28% compared to all tested models. Expanding the test, we used the backbones of former state-of-the-art networks on image classification and additional datasets to investigate if the technique can put these designs back in the game. On the NORB dataset, we showed that we could increase accuracy up to 63.21% compared to basic M-CNNs structures. Varying our applications, the mAP@75 of the BDD100K multi-object detection and recognition dataset improved by 50.16% compared to its unadapted version, even when trained from scratch. The proposed fusion demonstrated robustness and stability, even when distractors were used as inputs. While our goal is to reuse previous state-of-the-art architectures with few modifications, we also expose the disadvantages of our explored strategy.

Tese (doutorado) — Universidade de Brasília, Instituto de Ciências Humanas, Departamento de Geografia, Programa de Pós-Graduação em Geografia, 2022. Algoritmos do novo campo de aprendizado de máquina conhecido como Deep Learning têm se popularizado recentemente, mostrando resultados superiores a modelos tradicionais em métodos de classificação e regressão. O histórico de sua utilização no campo do sensoriamento remoto ainda é breve, porém eles têm mostrado resultados similarmente superiores em processos como a classificação de uso e cobertura da terra e detecção de mudança. Esta tese teve como objetivo o desenvolvimento de metodologias utilizando estes algoritmos com um enfoque no monitoramento de alvos críticos no Brasil por via de imagens de satélite a fim de buscar modelos de alta precisão e acurácia para substituir metodologias utilizadas atualmente. Ao longo de seu desenvolvimento, foram produzidos três artigos onde foi avaliado o uso destes algoritmos para a detecção de três alvos distintos: (a) áreas queimadas no Cerrado brasileiro, (b) áreas desmatadas na região da Amazônia e (c) plantios de arroz no sul do Brasil. Apesar do objetivo similar na produção dos artigos, procurou-se distinguir suficientemente suas metodologias a fim de expandir o espaço metodológico conhecido para fornecer uma base teórica para facilitar e incentivar a adoção destes algoritmos em contexto nacional. O primeiro artigo avaliou diferentes dimensões de amostras para a classificação de áreas queimadas em imagens Landsat-8. O segundo artigo avaliou a utilização de séries temporais binárias de imagens Landsat para a detecção de novas áreas desmatadas entre os anos de 2017, 2018 e 2019. O último artigo utilizou imagens de radar Sentinel-1 (SAR) em uma série temporal contínua para a delimitação dos plantios de arroz no Rio Grande do Sul. Modelos similares foram utilizados em todos os artigos, porém certos modelos foram exclusivos a cada publicação, produzindo diferentes resultados. De maneira geral, os resultados encontrados mostram que algoritmos de Deep Learning são não só viáveis para detecção destes alvos mas também oferecem desempenho superior a métodos existentes na literatura, representando uma alternativa altamente eficiente para classificação e detecção de mudança dos alvos avaliados. Algorithms belonging to the new field of machine learning called Deep Learning have been gaining popularity recently, showing superior results when compared to traditional classification and regression methods. The history of their use in the field of remote sensing is not long, however they have been showing similarly superior results in processes such as land use classification and change detection. This thesis had as its objective the development of methodologies using these algorithms with a focus on monitoring critical targets in Brazil through satellite imagery in order to find high accuracy and precision models to substitute methods used currently. Through the development of this thesis, articles were produced evaluating their use for the detection of three distinct targets: (a) burnt areas in the Brazilian Cerrado, (b) deforested areas in the Amazon region and (c) rice fields in the south of Brazil. Despite the similar objective in the production of these articles, the methodologies in each of them was made sufficiently distinct in order to expand the methodological space known. The first article evaluated the use of differently sized samples to classify burnt areas in Landsat-8 imagery. The second article evaluated the use of binary Landsat time series to detect new deforested areas between the years of 2017, 2018 and 2019. The last article used continuous radar Sentinel-1 (SAR) time series to map rice fields in the state of Rio Grande do Sul. Similar models were used in all articles, however certain models were exclusive to each one. In general, the results show that not only are the Deep Learning models viable but also offer better results in comparison to other existing methods, representing an efficient alternative when it comes to the classification and change detection of the targets evaluated.

Dissertação (mestrado) — Universidade de Brasília, Faculdade de Economia, Administração e Contabilidade, Departamento de Economia, Programa de Pós-Graduação em Ciências Econômicas, 2021. Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). A previsão de falência bancária não é uma tarefa trivial. Não consiste apenas em escolher o melhor modelo, mas também a melhor forma de tratar o conjunto de dados altamente desequilibrado. Dados desequilibrados referem-se a um problema em que o número de observações pertencentes a uma classe é consideravelmente maior do que o das outras classes. É um desafio relativamente novo nos campos industrial e acadêmico porque muitas técnicas de aprendizado de máquina não têm um bom desempenho. Este trabalho tem como objetivo comparar os resultados de diferentes métodos de balanceamento, ou seja, Random UnderSampling, Random OverSampling e Synthetic Minority Oversampling Techniqueem um problema de classificação de bancos saudáveis e inadimplentes usando um painel de dados filtrado. O painel de dados consiste em vinte anos de instituições financeiras brasileiras e principais características econômicas que vão de 2000 a 2019. Com configurações de validação e classificação adequadas, são treinados modelos Logit com diferentes regularizações e modelos ensemble, como Random Forest e Gradient Boost em todas as três base de dados balanceados de forma diferente. A principal contribuição deste trabalho é a utilização de um filtro em dados em painel como primeiro passo para reduzir o problema de desequilíbrio Bank failure prediction is not an easy task. It consists not just in chosing the best model but also the best way to treat the highly imbalanced dataset. Imbalanced data refers to a problem where the number of observations belonging to one class is considerably higher than the other classes. It is a relatively new challenge in both industrial and academic fields because many machine learning techniques do not have a good performance. This work aims to compare the results of different balancing methods namely Random UnderSampling, Random OverSampling and Synthetic Minority Oversampling Technique on a healthy and default banks classification problem using a filtered panel data. The panel data consists in twenty years of Brazilian financial institutions and major economic features ranging from 2000 to 2019. With a proper validation and classification settings it is trained Logit models with different regularizations and ensemble models such as Random Forest and Gradient Boost on all three different balanced datasets. The major contribution of this work uses a filter in panel data as first step to reduce imbalance problem

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2021. Redes sociais online como o Twitter fornecem um novo canal para permitir a interação entre seres humanos. Porém, seu sucesso atraiu o interesse em ataques e exploração por meio de uma ampla gama de atividades antiéticas, como ações maliciosas para manipular usuários. Um dos métodos para realizar esses abusos é o uso de robôs no Twitter. Tal comportamento necessita de investigação com o objetivo de diminuir seus efeitos. Recen- temente, classificadores com aprendizado de máquina para distinguir entre contas reais e de robô têm avanços comprovados. Neste trabalho, explorou-se esta técnica através da construção de um sistema multiagentes capaz de fazer a detecção do robô do Twit- ter de forma autônoma. Este sistema é baseado na classificação supervisionada com três algoritmos de aprendizado de máquina e um conjunto reduzido de features descoberto e publicado em um trabalho anterior. Quando testado offline, este sistema multiagentes obteve bom desempenho com uma média de AUC igual a 0,9856 e um desvio padrão de 0,0199. Ao usá-lo para detecção de robôs online em uma prova de conceito, resultados sugerem que 88,19% dos robôs detectados foram rotulados corretamente. Em um exper- imento mais abrangente, mais de 780 mil tuítes foram capturados e analisados. Dentre esses, 1597 eram provenientes de perfis classificados como robôs (678 perfis únicos), indi- cando que a abordagem usada é viável e prática para o problema de detecção de robô em tempo real. Online social networks like Twitter provide a novel channel to allow interaction between human beings. However, its success has attracted interest in attacking and exploiting through a wide range of unethical activities, such as malicious actions to manipulate users. One of the methods to carry out these abuses is the use of bots on Twitter. Such behavior needs investigation aiming to mitigate its effects. Recently, machine learning (ML) classifiers to distinguish between real and bot accounts have proven advances. In this work, we explored the technique by constructing a multi-agent system (MAS) ca- pable of performing the Twitter bot detection autonomously. It is based on supervised classification with three ML algorithms and a reduced set of features. When tested of- fline, this MAS achieved good performance with an average of AUC equal to 0.9856 and a standard deviation of 0.0199. Using it for online bot detection on a Proof of Concept results suggest that 88.19% of bots detected were correctly labeled. On a comprehensive experiment, more than 780 thousand tweets were captured during five days. 1,597 tweets were from profiles classified as bots (678 unique profiles), indicating that the approach used is feasible and practical for the real-time bot detection problem.

Tese (doutorado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Mecânica, 2021. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). O processo GMAW possui um comportamento não linear, e tem levado muitos pesquisadores a desenvolverem diversos estudos sobre ele. Um dos principais interesses tem sido otimizar o processo para desenvolver melhor desempenho nos processos industriais. Dessa forma, os avanços atuais em processamento de imagem, modelo preditivo e modelagem inteligente podem ajudar a otimizar processos. Essas técnicas podem obter bons resultados na análise de soldagem. As técnicas se podem agrupar em: técnicas de aprendizado de máquina, aprendizado profundo, aprendizado por reforço e processos de mineração de dados. Eles são responsáveis pelos avanços atuais em predições, classificação de imagens em tempo real e controle inteligente. Sua aplicação na área de soldagem tem como potencial um melhor estudo e análise de processos, otimização de tecnologias de soldagem e melhores controles de processo. Esta pesquisa tem como objetivo desenvolver um modelo de geometria do cordão de solda no processo GMAW através da aplicação das técnicas de machine learning e do processo de mineração de dados. Como resultado da pesquisa, foi obtido um modelo de deep learning para a análise do arco, um modelo preditivo do comportamento do processo e um modo com o objetivo de otimizá-lo. As metodologias desenvolvidas com esses modelos demonstram uma eficiência válida para serem aplicadas em processos reais de GMAW. The GMAW process has a non-linear behavior and has led many researchers to develop several studies on it. One of the main interests has been to optimize the process to develop better performance in industrial processes. Thus, current advances in image processing, predictive model, and intelligent modeling can help to optimize processes. These techniques can obtain good results in welding analysis. These techniques can be grouped into, techniques of machine learning, deep learning, and reinforcement learning, and data mining processes. They are responsible for the current advances in prediction, real-time image classification, and intelligent control. Its application in the welding area has the potential for a better study and analysis of processes, optimization of welding technologies, and better process controls. This research focuses on the objective of developing a weld bead geometry model in GMAW process by applying machine learning techniques and data mining process. As a result of the research, a deep learning model was obtained for the analysis of the arc, a predictive model of the process behavior, and a mode to optimize it. The methodologies developed with these models demonstrate a valid efficiency to be applied in real GMAW processes.

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2021. O uso crescente de sistemas baseados em Inteligência Artificial (IA) em diversas áreas do nosso cotidiano provoca o aumento da consciência sobre as implicações éticas do seu uso. A maioria dos estudos encontrados na literatura focam em diretrizes e princípios éticos para IA, e estes não atendem às demandas dos projetos de desenvolvimento de software do mundo real, uma vez que estes princípios são de alto nível e abstratos, implicando em pouco esforço em como operacionalizar a ética na IA. Assim, existe uma lacuna na operacionalização destes princípios na prática. Objetivo: Desta forma, o objetivo deste trabalho é propor um guia para apoiar os Product Owners e desenvolvedores de sistemas baseados em IA na elicitação de requisitos éticos. Metodologia: Utilizamos a metodologia Design Science Research e na etapa de compreensão do problema realizamos uma revisão sistemática de literatura. Além disso, desenvolvemos um guia online e realizamos a sua validação através de um survey e um grupo focal com profissionais da área. Resultados: Identificamos 33 estudos primários relacionados às diretrizes e aspectos práticos de ética em IA, dentre eles, destacamos 11 princípios éticos e o método ECCOLA. Desenvolvemos o Guia para Elicitação de Requisitos Éticos em IA (RE4AI Ethical Guide) como um sistema baseado na web, funcionando como um Planning Poker, composto de 26 cartas novas, abarcando os 11 princípios encontrados na primeira etapa. A validação do Guia foi realizada através de um survey com 40 estudantes de graduação e pós-graduação, e um grupo focal com 5 profissionais na área. Nossos achados sugerem que o RE4AI Ethical Guide, de acordo com a percepção dos profissionais da área, é interessante e tem o potencial de facilitar a elicitação dos requisitos éticos. Conclusão: O Guia proposto possui utilidade e praticidade e pode ajudar na elicitação de requisitos éticos no contexto de desenvolvimento ágil. Assim, nossos resultados preliminares revelam que o Guia contribui para preencher a lacuna entre princípios de alto nível e abstratos e a prática, auxiliando os desenvolvedores e Product Owners, principalmente em projetos de desenvolvimento ágil, a elicitar requisitos éticos e operacionalizar a ética em IA. The increasing use of Artificial Intelligence (AI) based systems in various areas of our daily lives provokes increased awareness about the ethical implications of their use. Most of the studies found focus on ethical guidelines and principles for AI, and these do not meet the demands of real- world software development projects, since these principles are high-level and abstract, implying little effort on how to operationalize ethics in AI. Thus, there is a gap in operationalizing these principles in practice. Objective: Therefore, the aim of this work is to propose a guide to support Product Owners and developers of AI-based systems in the elicitation of ethical requirements. Methodology: We used the Design Science Research methodology and in the awareness of the problem phase we conducted a systematic literature review. In addition, we developed an online guide and performed its validation through a survey and a focus group with professionals in the area. Results: We identified 33 primary studies related to guidelines and practical aspects of ethics in AI, among them, we highlighted 11 ethical principles and the ECCOLA method. We developed the Guide for Artificial Intelligence Ethical Requirements Elicitation (RE4AI Ethical Guide) as a web-based system, working as a Planning Poker, composed of 26 new cards, covering the 11 principles found in the first step. The evaluation of the Guide was performed through a survey with 40 undergraduate and graduate students, and a focus group with 5 AI professionals. Our findings suggest that the RE4AI Ethical Guide, according to the perception of experts in the area, is interesting and has the potential to facilitate the elicitation of ethical requirements. Conclusion: The proposed Guide is both useful and practical and can help in the elicitation of ethical requirements in the context of agile development. Thus, our preliminary results reveal that the Guide contributes to bridging the gap between high-level and abstract principles and practice by assisting developers and Product Owners, especially in agile development projects, to elicit ethical requirements and operationalise ethics in AI.

Tese (doutorado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Mecânica, 2021. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Este trabalho introduz a aplicação de soluções de aprendizagem de máquinas visado ao problema do rastreamento de posição do antebraço baseado em sensores magnéticos. Especi ficamente, emprega-se uma estratégia baseada em dados para criar modelos matemáticos que possam traduzir as informações magnéticas medidas em entradas utilizáveis para dispositivos protéticos. Estes modelos são implementados em FPGAs usando operadores customizados de ponto flutuante para otimizar o consumo de hardware e energia, que são importantes em dispositivos embarcados. A arquitetura de hardware é proposta para ser implementada como um sistema com reconfiguração dinâmica parcial, reduzindo potencialmente a utilização de recursos e o consumo de energia da FPGA. A estratégia de dados proposta e sua implemen tação de hardware pode alcançar uma latência na ordem de microssegundos e baixo consumo de energia, o que encoraja mais pesquisas para melhorar os métodos aqui desenvolvidos para outras aplicações. This work introduces the application of embedded machine learning solutions for the problem of magnetic sensors-based limb tracking. Namely, we employ a data-driven strat egy to create mathematical models that can translate the magnetic information measured to usable inputs for prosthetic devices. These models are implemented in FPGAs using cus tomized floating-point operations to optimize hardware and energy consumption, which are important in wearable devices. The hardware architecture is proposed to be implemented as a dynamically partial reconfigured system, potentially reducing resource utilization and power consumption of the FPGA. The proposed data-driven strategy and its hardware implementa tion can achieve a latency in the order of microseconds and low energy consumption, which encourages further research on improving the methods herein devised for other applications

Obter métricas de QoS no cliente não é algo trivial para a maioria dos provedores de serviço em rede. Trabalhos recentes indicaram que, para redes OpenFlow, parte dessas informações podem ser extraídas da rede, utilizando-se apenas estatísticas de tráfego agregado como dados de entrada para métodos de aprendizagem de máquina capazes de gerar estimadores. O objetivo da pesquisa realizada e aqui apresentada foi prosseguir com essa investigação, aplicando a mesma metodologia a uma das aplicações de maior ascensão na Internet, ainda não investigada: as aplicações de vídeo sob demanda com taxa de bit dinamicamente adaptável. Para isso, foi implementado um ambiente de testes com um serviço DASH, cuja comunicação entre servidor e clientes é realizada via rede OpenFlow, com comutadores físicos. Nesse ambiente, foram coletados os dados para geração dos modelos empregando-se dois métodos de aprendizagem de máquinas supervisionada: árvore de regressão e floresta aleatória. As métricas de QoS investigadas foram a taxa de quadros por segundo (componente de vídeo) e a taxa de \textit{buffers} por segundo (componente de áudio), as quais foram avaliadas segundo o erro absoluto médio normalizado (NMAE) e o tempo de treinamento do modelo. Para o cenário em análise, os resultados foram extremamente satisfatórios com relação ao tempo de treinamento para as duas métricas de QoS investigada, ficando na ordem de milissegundos. No que se refere ao erro, a métrica de áudio apresentou desempenho melhor para os algoritmos estudados, ficando em torno de 13\%, enquanto que a de vídeo obteve erros pouco acima de 16,5\%. Também foi verificado que o emprego do método \textit{ensemble} não trouxe benefícios significativos aos resultados. Além disso, os resultados revelaram que o mesmo conhecimento sobre essas métricas poderia ser gerado empregando-se predominantemente estatísticas de dados agregadas do comutador que conecta o cliente à rede OpenFlow. Todos esses resultados, entretanto, precisam ser melhor investigados em trabalhos futuros que empreguem mais amostras de dados e tornem o ambiente de teste cada vez mais próximo do real. Obtaining QoS metrics on the client is not trivial for most networked service providers. Recent work has indicated that, for OpenFlow networks, part of this information can be extracted from the network, using only aggregated traffic statistics as input data for machine learning methods capable of generating estimators. The objective of the research carried out and presented here was to proceed with this investigation, applying the same methodology to one of the most popular applications on the Internet, not yet investigated: video on demand applications with dynamically adaptable bit rates. For this, a test environment was implemented with a DASH service, whose communication between server and clients is carried out via the OpenFlow network, with physical switches. In this environment, data were collected to generate the models using two supervised machine learning methods: regression tree and random forest. The QoS metrics investigated were the frame rate per second (video component) and the \ textit {buffer} rate per second (audio component), which were evaluated according to the normalized mean absolute error (NMAE) and time training model. For the scenario under analysis, the results were extremely satisfactory with respect to the training time for the two QoS metrics investigated, staying in the order of milliseconds. With regard to the error, the audio metric showed better performance for the studied algorithms, staying around 13 \%, while the video metric had errors just above 16.5 \%. It was also found that the use of the ensemble method did not bring significant benefits to the results. In addition, the results revealed that the same knowledge about these metrics could be generated using predominantly aggregated data statistics from the switch that connects the client to the OpenFlow network. All of these results, however, need to be better investigated in future works that employ more data samples and bring the test environment closer to the real one. Dissertação (Mestrado)

Os incêndios são eventos globais que causam perdas imensuráveis para o homem e ao meio ambiente. A previsão e o mapeamento desses eventos pode ser uma importante medida, uma vez que possibilita desenvolver estratégias com vistas ao controle ou a remediação. Desta forma, este estudo avaliou o desempenho de dois métodos de aprendizagem de máquina (Naive Bayes e Deep Learning) para previsão de incêndios em uma área localizada na região norte do Estado de Rondônia. A modelagem foi realizada a partir de um conjunto de dez variáveis explicativas, tais como a precipitação, temperatura e umidade do ar, temperatura e umidade do solo, número de dias sem chuva, distância das rodovias e o Índice de Vegetação por Diferença Normalizada. Os dados foram obtidos a partir de produtos de sensoriamento remoto processados em ambiente Sistema de Informações Geográficas. A implementação dos métodos de aprendizagem de máquina deu-se em linguagem de programação R. Os modelos foram avaliados por métricas de desempenho com base em dados independentes, o que possibilitou observar a habilidade dos métodos na predição de incêndios florestais na área de estudo. Os resultados obtidos mostraram desempenho semelhante em ambos os métodos de previsão, sendo que o Naive Bayes (NB) apresentou um AUC de 0,84, enquanto o Deep Learning (DL) apresentou um AUC de 0,82, o que representa uma pequena vantagem do NB sobre o DL. Os resultados obtidos mostraram que a integração de dados de sensoriamento remoto e a aprendizagem de máquina tem capacidade de prever o risco de ocorrência de incêndios na região.

Nesta dissertação, trabalhamos com um gerador de vapor (caldeira) operando dentro de uma planta industrial produtora de biocombustíveis (no caso, etanol de milho) utilizando como ferramenta a aprendizagem de máquina supervisionada . O etanol de cana de açúcar é exaustivamente estudado , porém no caso do milho, no Brasil, ainda é embrionário – com históricos escassos, de um equipamento fundamental que é a caldeira, operando com queima específica de chip de eucalipto, buscando obter eficiências térmicas otimizadas e entendendo o seu comportamento, principalmente de unidade fabril” full” de milho. Foram obtidos, em campo através do DCS- Digital Control System ( 60 pontos de duas caldeiras por 30 dias) , dados de variáveis de processo, trabalhados com o código Python e ML (Machine Learning) que utilizamos como metodologia. Os resultados foram positivos, demostrando que esse importante equipamento industrial pode ser estudado e seu comportamento previsto com a metodologia usada, auxiliando e fazendo com que possamos alcançar melhores eficiências e entender melhor o seu comportamento técnico. In this dissertation, we work with a steam generator (boiler) operating within an industrial plant that produces biofuels (in this case, corn ethanol) using supervised machine learning as a tool. Sugarcane ethanol is extensively studied, but in the case of corn, in Brazil, it is still embryonic - with scarce records, of a fundamental equipment that is the boiler, operating with specific burning of eucalyptus chip, seeking to obtain optimized thermal efficiencies and understanding its behavior, mainly of a “full” corn plant. Data from process variables were obtained in the field through the DCS- Digital Control System (60 points from two boilers for 30 days), worked with Python and ML (Machine Learning) code that we use as a methodology. The results were positive, demonstrating that this important industrial equipment can be studied and its behavior predicted with the methodology used, helping and enabling us to achieve better efficiencies and better understand its technical behavior. Dissertação (Mestrado)

Tese (doutorado)—Universidade de Brasília, Faculdade de Administração, Contabilidade, Economia e Gestão de Políticas Públicas, Departamento de Economia, Brasília, 2020. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). A presente tese está constituída por três artigos que utilizam processamento de linguagem natural e aprendizagem de máquina, tanto não supervisionado como supervisionado, para obter diferentes medidas de anúncios de bancos centrais. No primeiro artigo, quantificamos o otimismo dos anúncios do Banco Central Europeu e da Reserva Federal (Fed). Mostramos, empiricamente, que anúncios mais otimistas têm um efeito na estrutura a termos da taxa de juros. No segundo artigo, analisamos a evolução das atas divulgadas pelo Banco Central do Brasil sob diferentes presidências. Marcamos a discussão da ata em quatro diferentes dimensões macroeconômicas: inflação, crescimento econômico, emprego e política fiscal. Constatamos que a inflação é a principal preocupação, seguida pelo emprego, crescimento e política fiscal. Também descobrimos que a atenção à inflação atinge um máximo histórico durante a presidência de Goldfajn e Campos Neto. No terceiro artigo, desenvolvemos um dicionário de crise com a ajuda de aprendizagem de máquina supervisionada. Com este dicionário, criamos um índice que mede o sentimento de crise das atas do Comitê Federal de Mercado Aberto da Reserva Federal. Mostramos, empiricamente, que o índice prevê o nível e a volatilidade das taxas de juros dos tesouros dos EUA. Mostramos também que o nosso índice supera significativamente o poder preditivo dos índices criados com os dicionários Correa, Harvard-IV e LoughranMcDonald. This thesis comprises three articles that use natural language processing and either unsupervised or supervised machine learning algorithms to get different measures of central banks announcements. In the first article, we quantify the optimism of the announcements from the European Central Bank and the Federal Reserve. We empirically show that more optimistic announcements affects the Brazil’s term structure of interest rates. In the second article, we analyze the evolution of minutes released by the Central Bank of Brazil under different presidencies. We score the discussion on the minutes in four different macroeconomic dimensions: inflation, economic growth, employment, and fiscal policy. We find inflation is the principal concern followed by employment, growth, and fiscal policy. We also find that the attention to inflation attains a historic maximum during the Goldfajn and Neto’s presidency. In the third article, we develop a crisis dictionary with the aid of a supervised machine learning. With this dictionary, we create an index that measures the crisis sentiment of the Federal Reserve Federal Open Market Committee minutes. We empirically show the index predicts the interest rate level and volatility of the US treasuries. We also show that our index significantly outperforms the predictive power of indices created with the Correa, the Harvard-IV and the Loughran-McDonald dictionaries.

Uma das grandes dificuldades encontradas em uma sessão de tutoria refere-se a escolha de ações pedagógicas apropriadas, que considera os conhecimentos individuais prévios do estudante, e tem por finalidade conduzi-lo a atingir a proficiência na assimilação de um conjunto de conceitos. Estas ações devem considerar o perfil do estudante e adaptar o ensino segundo o seu estilo de aprendizagem e as suas preferências, a fim de manter o estudante engajado. Considerando que o ensino personalizado exerce influência positiva na assimilação do conteúdo disciplinar, a tendência é que os novos ambientes virtuais de aprendizagem sejam implementados de forma a adaptar-se ao perfil do estudante. A elaboração de um sistema adaptativo deve considerar a inclusão de um módulo responsável pela geração de um plano de ações instrucionais, com capacidade de modificar o seu próprio planejamento inicial para diagnosticar falhas na compreensão de fundamentos essenciais ao conteúdo, à medida em que estas sejam percebidas ao longo da sessão de tutoria. Portanto, é de responsabilidade do sistema adaptativo conduzir um plano de ensino considerando todas as dificuldades que forem observadas para cada aluno em particular. Para atingir tal objetivo este sistema deverá ter a capacidade de inferir o conhecimento do estudante, propor ações e observar a evolução do aprendizado, supervisionando integralmente o processo de aprendizagem. Perante as dificuldades expostas, neste trabalho apresenta-se a proposta e a implementação de um módulo instrucional para um sistema de apoio ao ensino baseado em Processos de Decisão de Markov parcialmente observáveis. A escolha do modelo justificase por sua capacidade de tomada de decisões diante das incertezas que caracterizam o ambiente: incerteza quanto ao conhecimento que o aprendiz apresenta frente aos conceitos a serem assimilados e os efeitos não determinísticos das ações propostas. O problema do sequenciamento de ações produzidos por este módulo pode ser representado como um problema de planejamento probabilístico e é portanto resolvido por algoritmos de planejamento. Existem diversos algoritmos de planejamento probabilísticos que poderiam ser utilizados no desenvolvimento de um módulo instrucional para um sistema adaptativo de ensino, sendo que os resultados obtidos por cada um deles podem divergir. Um planejador ou sistema de planejamento é um software que implementa um algoritmo de planejamento. Neste trabalho aplica-se uma metodologia baseada em aprendizagem de máquina para a seleção de um planejador probabilístico que proporcione a escolha das melhores ações instrucionais. A escolha do planejador é realizada considerando as características de um domínio de especificação que ensina conceitos e os avalia conforme a proficiência do estudante. Ao término do processo de seleção, validou-se o resultado executando-se o planejador apontado pela metodologia ao domínio que descreve o módulo instrucional. O desempenho obtido pela sua execução foi comparada com a de outros planejadores candidatos, comprovando dessa forma a eficiência na aplicação do método proposto. One of the major difficulties encountered in a tutoring session is the choice of appropriate pedagogical actions that take into account the student’s previous individual knowledge and aims to lead the student to achieve a proficiency in the assimilation of a set of concepts. These actions should consider the student’s profile and adapt the teaching according to his or her learning style and preferences in order to keep the student engaged. Considering that personalized education has a positive influence on the assimilation of the disciplinary content, the tendency is that the new virtual learning environments are to be implemented in a way that adapts to the student’s profile. The elaboration of an adaptive system should consider the inclusion of a module responsible for generating an instructional action plan, capable of modifying its own initial planning to diagnose failures in the comprehension of essential fundamentals of content as they are perceived throughout the tutoring session. Therefore, it is the responsibility of the adaptive system to conduct a teaching plan considering all the difficulties that are observed for each student in particular. To achieve this goal, this system should have the capacity to infer the student’s knowledge, propose actions and observe the evolution of learning, fully supervising the learning process. Given the difficulties presented, this paper presents the proposal and the implementation of an instructional module for a support system for education based on Partially Observable Markov Decision Processes. The choice of the model is justified by its capacity to make decisions in the face of the uncertainties that characterize the environment: uncertainty regarding the knowledge the learner presents about the concepts to be assimilated and the non-deterministic effects of the proposed actions. The problem of the sequencing of actions produced by this module can be represented as a problem of probabilistic planning and are solved by planning algorithms. There are several probabilistic planning algorithms that could be used in the development of an instructional module for an adaptive teaching system, and the results obtained by each of them may differ. A planner or planning system is software that implements a planning algorithm. In this work, a methodology based on machine learning is applied to select a probabilistic planner that provides the choice of the best instructional actions. The choice of the planner is accomplished by considering the characteristics of a specification domain that teaches concepts and evaluates them according to the student’s proficiency. At the end of the selection process, the result was validated by executing the planner indicated by the methodology to the domain that describes the instructional module. The performance obtained by its execution was compared with that of other candidate planners, thus proving the efficiency in the application of the proposed method. Dissertação (Mestrado)

Product dimensional variability is a crucial factor in the quality control of complex multistage manufacturing processes, where undetected defects can easily be propagated downstream. The recent advances in information technologies and consequently the increased volume of data that has become readily available provide an excellent opportunity for the development of automated defect detection approaches that are capable of extracting the implicit complex relationships in these multivariate data-rich environments. In this paper, several machine learning classifiers were trained and evaluated on varied metrics to predict dimensional defects in a real automotive multistage assembly line. The line encompasses two automated inspection stages with several human-operated assembly and pre-alignment stages in between. The results show that non-linear models like XGBoost and Random Forests are capable of modelling the complexity of such an environment, achieving a high true positive rate and showing promise for the improvement of existing quality control approaches, enabling defects and deviations to be addressed earlier and thus assist in reducing scrap and repair costs. info:eu-repo/semantics/publishedVersion

Dissertação (mestrado)—Universidade de Brasília, Departamento de Administração, Programa de Pós-graduação em Administração, 2016. Durante o desenvolvimento deste trabalho o autor recebeu auxílio financeiro da CAPES. A previsão da volatilidade dos retornos financeiros é fundamental em finanças empíricas. Nos últimos 15 anos, a máquina de suporte vetorial para regressão (Support Vector Regression (SVR)) foi proposta na literatura para estimação e previsão da volatilidade devido à sua capacidade de modelar as caudas pesadas, agrupamento de volatilidade e efeito de alavancagem dos retornos financeiros (Santamaria-Bonfil et al., 2015, Cavalcante et al., 2016). Evidências empíricas sugerem que o mercado de capitais oscila entre vários estados (ou regimes) (BenSaida, 2015), em que a distribuição global dos retornos é uma mistura de distribuições normais (Levy e Klaplansky, 2015). Neste contexto, o objetivo deste trabalho foi implementar misturas de kernels gaussianos no modelo SVR com variáveis de entrada do GARCH (1,1) (denominado SVR-GARCH) para capturar os regimes de mercado e aprimorar as previsões da volatilidade. O SVR-GARCH com combinação convexa de um, dois três e quatro kernels gaussianos foi comparado com o random walk, SVR-GARCH com kernel de ondaleta de Morlet, SVR-GARCH com kernel de ondaleta de Chapéu Mexicano, GARCH(1,1), EGARCH(1,1) e GJR(1,1) com distribuição normal, t-Student, t-Student assimétrica e distribuição de erro generalizada (GED) para a série de log-retornos diários do Ibovespa de 22 de dezembro de 2007 a 04 de janeiro de 2016. Para selecionar os parâmetros ótimos do SVR e do kernel, utilizou-se a técnica de validação combinada com o procedimento de grid-search e análise de sensibilidade. Para comparar o desempenho preditivo dos modelos, utilizou-se o Erro Quadrático Médio (MSE), Erro Quadrático Normalizado (NMSE), Raiz Quadrada do Erro Quadrático Médio (RMSE) e o teste de Diebold-Mariano. Os resultados empíricos indicam que o modelo SVR-GARCH com kernel de ondaleta de Chapéu Mexicano e random walk têm desempenho preditivo superior em relação aos demais modelos. Ademais, o SVR-GARCH com mistura de dois, três e quatro kernels gaussianos é superior ao SVR-GARCH com kernel de ondaleta de Morlet e um kernel gaussiano, o que também é uma novidade e contribuição deste trabalho. Por fim, esta dissertação confirma os achados da literatura em relação à superioridade do SVR na modelagem dos fatos estilizados da volatilidade das séries financeiras em relação aos modelos GARCH linear e não-linear com caudas pesadas. Volatility forecasting plays an important role in empirical finance. In the last 15 years, a number of studies has used the Support Vector Regression to estimate and predict volatility due to its ability to model leptokurtosis, volatility clustering, and leverage effect of financial returns (Santamaria-Bonfil et al., 2015, Cavalcante et al., 2016). Empirical evidence suggests that the capital market oscillates between several states (or regimes) (BenSaida, 2015), in which the overall distribution of returns is a mixture of normal distributions (Levy and Klaplansky, 2015). In this context, the objective of this dissertation is to use a mixture of Gaussian kernels in the SVR based on GARCH (1,1) (heretofore SVR-GARCH) in order to capture the regime behavior and to improve the one-period-ahead volatility forecasts. In order to choose the SVR parameters, I used the validation technique (holdout method) based on grid-search and sensitivity analysis. The SVR-GARCH with a linear combination of one, two, three and four Gaussian kernels is compared with \textit{random walk}, SVR-GARCH with Morlet wavelet kernel, SVR-GARCH with Mexican Hat wavelet kernel, GARCH, GJR and EGARCH models with normal, student-t, skewstudent- t and Generalized Error Distribution (GED) innovations by using the Mean Squared Error (MSE), Normalized Mean Squared Error (NMSE), Root Mean Squared Error (RMSE) and Diebold Mariano test. The out-sample results for the Ibovespa daily closing price from August 20, 2013 to January 04, 2016 shows that the random walk model and SVR-GARCH with Mexican Hat wavelet kernel provide the most accurate forecasts. The outcomes also highlight the fact that the SVR GARCH with a mixture of two, three and four Gaussian kernels has superior results than the SVR GARCH with Morlet wavelet kernel and a single Gaussian kernel. Moreover, consistent with the findings of the literature, I confirm that the SVR has superior empirical results in modeling financial time series stylized facts than the linear and non-linear GARCH models with fat-tailed distributions.

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Economia, Administração e Contabilidade, Departamento de Economia, Programa de Pós-Graduação em Ciências Econômicas, 2019. Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Este artigo estuda variáveis não observáveis presentes na dinâmica da taxa de câmbio, usando modelos de fatores para extração de uma dinâmica comum para mais de 20 taxas de câmbio. A principal contribuição é o uso de técnicas supervisionadas de aprendizado de máquina, a fim de identificar as variáveis subjacentes que conduzem a dinâmica não observável de um painel feito com 26 taxas de câmbio usando um modelo de lasso rigoroso. A maioria dos resultados está correlacionada com a teoria macroeconômica e financeira. This paper studies non-observable variables in the exchange rate dynamics using factor models in order to extract a common dynamic from more than 20 exchange rates. The main contribution is the use of supervised machine learning techniques in order to identify the underlining variables that drive the non-observable dynamics of a panel made with 26 exchange rates using a rigorous lasso model. Most of the results are correlated with macroeconomic and financial theory.

Tese (doutorado)—Universidade de Brasília, Faculdade de Economia, Administração e Contabilidade e Gestão Pública, Programa de Pós-Graduação em Administração, 2019. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). A presente tese discute a emergência do Big Data e do aprendizado de máquinas em vários aspectos da administração de empresas, enfatizando as contribuições metodológicas deste paradigma baseado no raciocínio indutivo em finanças e os benefícios desta abordagem em relação a ferramentas econométricas e métodos tradicionais de análise de dados. Os fundamentos estatísticos do aprendizado de máquina são introduzidos e os desafios da alta dimensionalidade em problemas financeiros são analisados, incluindo as implicações práticas da incorporação de não- linearidades, a regularização do nível de complexidade adicional e a previsão em dados de alta frequência. Finalmente, três aplicações empíricas foram propostas, relativas, respectivamente, à previsão de volatilidade, à alocação de portfólio e à previsão da direção do preço de ações; Nessas aplicações, diferentes modelos de aprendizado de máquina foram explorados, e os insights dos resultados foram discutidos à luz da teoria financeira e das evidências empíricas. This thesis discusses the emergence of Big Data and machine learning and their applications in various aspects of Business Administration, emphasizing the methodological contributions of this inductive-based paradigm in finance and the improvements of this approach over econometric tools and traditionally well established methods of data analysis. The statistical foundations of machine learning are introduced and the challenges of high-dimensionality in finance problems are analyzed, including the practical implications of nonlinearity incorporation, regularization of the additional complexity level and forecasting for high-frequency data. Finally, three empirical applications are proposed, concerning respectively on volatility forecasting, portfolio allocation, and stock price direction prediction; in those applications, different machine learning models are explored, and the insights from the results were discussed in light of both the finance theory and the empirical evidences.

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Economia, Administração e Contabilidade, Departamento de Economia, Programa de Pós-Graduação em Ciências Econômicas, 2019. Este trabalho usa técnicas de aprendizado de máquina para prever o consumo de energia elétrica (CEE) do Brasil no curto e médio prazo. Os modelos são comparados com modelos referenciais, como o Random Walk e ARIMA. Nossos resultados mostram que os métodos de aprendizado de máquina, especialmente Random Forest e Lasso Lars, têm precisão superior para todos os horizontes de previsão, removendo o sobreajuste presente nos modelos tradicionais. Random Forest e Lasso Lars conseguiram acompanhar a tendência e a sazonalidade nos diferentes horizontes temporais. Ainda, o ganho em prever CEE utilizando modelos de aprendizado de máquina em relação aos tradicionais é muito maior no curtíssimo prazo. A seleção de variáveis dos modelos de aprendizado de máquina mostra ainda que os valores defasados de CEE são extremamente importantes para a previsão de curtíssimo prazo, devido à sua alta autocorrelação. As demais variáveis são importantes para horizontes temporais mais longos. This work uses machine learning techniques to predict Brazilian power electricity consumption (PEC) for short and medium term. The models are compared to benchmark specifications such as Random Walk and autoregressive integrated moving average (ARIMA). Our results show that machine learning methods, especially Random Forest and Lasso Lars, have superior accuracy for all forecasts horizons by removing the overfitting present in traditional models. Random Forest and Lasso Lars managed to keep up with the trend and the seasonality in different time horizons. The gain in predicting PEC using machine learning models compared to traditional ones is much higher in very short-term. Machine learning variable selection further shows that lagged consumption values are extremely important for very short-term forecasting due to its high autocorrelation. Other variables are important for longer time horizons.

CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior A capacidade de prever dificuldades financeiras nos negócios é primordial, pois decisões quanto a inapropriadas concessões de crédito podem ter consequências financeiras diretas e indiretas em toda economia. A previsão de falências e a mensuração do escore de crédito são dois importantes tópicos de pesquisa, tanto no campo contábil quanto no financeiro e este estudo almejou apresentar a direção das pesquisas acadêmica sobre a gestão de risco de crédito sob a ótica da aprendizagem de máquina. O interesse pelo estudo simultâneo desses dois tópicos surgiu após notar que ainda há resquícios e sentimentos da última crise financeira, mesmo uma década após seu acontecimento. Aliado a esse fato, o crescente desenvolvimento e aplicação da Inteligência Artificial às finanças prometem aumentar o rigor e aprimoramento de processos de análise de informações financeiras independentemente de quem seja o cliente. Por meio de um processo de seleção de artigos cientificamente relevantes no campo de pesquisa escolhido, obteve-se uma amostra final de 168 estudos considerados hábeis a nortear os rumos do uso da aprendizagem de máquinas – uma subárea da Inteligência Artificial - aplicados às finanças. A partir dessa amostra de estudos, foi realizada uma análise mais profunda por meio de suas leituras e descobriu-se que os algoritmos de aprendizagem de máquina estão sendo explorados, aprimorados e levados ao extremo para detectar combinações sutis e melhor descrever o risco de crédito. A partir dos resultados e lacunas encontrados na pesquisa, neste estudo foi proposto o uso de um modelo de algoritmo baseado em aprendizagem de máquinas para buscar a melhor previsão de acordo com os dados previamente fornecidos. Xgboost é um modelo que surgiu em meados de 2016 e vem ganhando notoriedade devido a sua acurácia e sua optimização computacional. Por ser um modelo relativamente novo, estudos com sua aplicação em finanças, especificamente, não foram encontrados. Neste contexto, o modelo proposto foi capaz de apresentar melhores resultados, quando comparados com Regressão Logística e Random Forest. Os resultados encontrados foram interessantes, pois identificaram outras lacunas e possibilidades de pesquisas futuras. A intenção de comprovar que o uso de inteligência artificial agrega valor à análise de credito é demonstrado. The ability to foresee financial distress in business is paramount, as decisions regarding inappropriate credit concessions may have direct and indirect financial consequences throughout the economy. Predicting bankruptcies and measuring credit scores are two important research topics, in both accounting and finance, and this study aims to demonstrate the direction of academic researches on credit risk management from the perspective of machine learning. Interest in simultaneously examining these two topics emerged after noting that remnants and feelings of the last financial crisis still lingers in society, even a decade after it occurred. Paired with this fact, the increasing development and application of Artificial Intelligence in finance promises to increase the rigor and improvement of financial information analysis processes. Through a structured process to select scientifically relevant articles in the chosen research field, a final sample of 168 studies deemed able to guide the directions of use of machine learning - sub-area of Artificial Intelligence - applied to finance was obtained. From this sample of studies, a deeper analysis was carried out through their readings and it was identified that machine learning algorithms are being explored, improved and taken to extreme to detect subtle combinations and better describe credit risk. From the results and gaps found in the research, in this study proposed the use of a novel algorithm used to teach machines to seek the best classification according to the data previously provided. Xgboost is a model that appeared in 2016 and has been gaining notoriety due to its accuracy and its computational optimization. Because it is a relatively new model, studies with its application in finance, per se, have not been found. Thus, in this context, the proposed model was able to present better results when compared to Logistic Regression and Random Forest. The results were interesting as they identified other gaps and possibilities for future research. The intention to prove that the use of artificial intelligence adds value to credit analysis has been demonstrated and, in this way, it is believed that by advancing this research, interesting results should be achieved, both for suppliers, analysts, managers, and investors. Dissertação (Mestrado)

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, Programa de Pós-Graduação em Informática, 2016. Métodos de aprendizagem de máquina vêm sendo amplamente usados na identificação e classificação de diferentes famílias de RNAs não-codificadores (ncRNAs). Muitos desses métodos são baseados na aprendizagem supervisionada, onde atributos anteriormente conhecidos, chamados features, são extraídos de uma sequência e usados em um classificador. Nesta dissertação, apresentamos dois métodos para a identificação das duas classes principais de snoRNAs, C/D box e H/ACA box snoRNAs: snoReport 2.0, uma melhoria significativa da primeira versão do snoReport; e o snoRNA-EDeN, um novo método baseado no EDeN, que é um kernel decomposicional de grafos. O snoReport 2.0 é um método que, usando features extraídas de sequências candidatas em genomas, combina predição de estrutura secundária de ncRNAs com Máquina de Vetores de Suporte (Support Vector Machine - SVM), para identificar C/D box e H/ACA box snoRNAs. Seu classificador de H/ACA box snoRNA mostrou um F-score de 93% (uma melhoria de 10% em relação à primeira versão do snoReport), enquanto o classificador de C/D box snoRNA obteve F-score de 94% (melhoria de 14%). Alem disso, ambos os classificadores tiveram todas as medidas de performances acima de 90%. Na fase de validação, o snoReport 2.0 identificou 67,43% dos snoRNAs de vertebrados de ambas as classes. Em Nematóides, o snoReport 2.0 identificou 29,6% dos C/D box snoRNAs e 69% dos H/ACA box snoRNAs. Para as Drosofilídeas, foram identificados 3,2% dos C/D box snoRNAs e 76,7% dos H/ACA box snoRNAs. Esses resultados mostram que o snoReport 2.0 é eficiente na identificação de snoRNAs em organismos vertebrados, e também para H/ACA box snoRNAs de organismos invertebrados. Por outro lado, em vez de usar features de uma sequência (em geral, difíceis de identificar), uma abordagem recente de aprendizagem de máquina é descrita a seguir. Dada uma região de interesse de uma sequencia, o objetivo é gerar um vetor esparso que pode ser usado como micro-features em algum algoritmo de aprendizado de máquina, ou pode ser usado para a criação de features poderosas. Essa abordagem é usada no EDeN (Explicit Decomposition with Neighbourhoods), um kernel decomposicional de grafos baseado na técnica Neighborhood Subgraph Pairwise Distance Kernel (NSPDK). O EDeN transforma um grafo em um vetor esparso, decompondo-o em todos os pares de subgrafos vizinhos de raios pequenos, a distâncias crescentes. Baseado no EDeN, foi desenvolvido um método chamado snoRNA-EDeN. Na fase de testes, para C/D box snoRNAs, o snoRNA-EDeN obteve um F-score de 93,4%, enquanto que para H/ACA box snoRNAs o F-score foi de 85.12%. Na fase de validação, para C/D box snoRNA, o snoRNA-EDeN mostrou uma grande capacidade de generalização, identificando 94,61% de snoRNAs de vertebrados e 63,52% de invertebrados, um resultado significantemente melhor em comparação ao snoReport 2.0, que identificou apenas 52,92% dos vertebrados e 14,6% dos invertebrados. Para o H/ACA box, o snoReport 2.0 identificou 79,9% dos snoRNAs de vertebrados e 73,3% dos snoRNAs de Nematóides e Drosofilídeos, enquanto que o snoRNA-EDeN identificou 95,4% dos vertebrados e 57.8% dos nematóides e drosofilas. Ambos os métodos estão disponíveis em: http://www.biomol.unb.br/snoreport e http://www.biomol.unb.br/snorna_eden. Machine learning methods have been widely used to identify and classify different families of non-coding RNAs. Many of these methods are based on supervised learning, where some previous known attributes, called features, are extracted from a sequence, and then used in a classifier. In this work, we present two methods to identify the two main classes of snoRNAs, C/D box and H/ACA box: snoReport 2.0, a significant improvement of the original snoReport version; and snoRNA-EDeN, a new method based on EDeN, a decompositional graph kernel. On one hand, snoReport 2.0 is a method that, using features extracted from candidate sequences in genomes, combines secondary structure prediction with Support Vector Machine (SVM) to identify C/D box and H/ACA box snoRNAs. H/ACA box snoRNA classifier showed a F-score of 93% (an improvement of 10% regarding to the previous version), while C/D box snoRNA classifier a F-Score of 94% (improvement of 14%). Besides, both classifiers exhibited performance measures above 90%. In the validation phase, snoReport 2.0 predicted 67.43% of vertebrate organisms for both classes. SnoReport 2.0 predicted: for Nematodes, 29.6% of C/D box and 69% of H/ACA box snoRNAs; and for Drosophilids, 3.2% of C/D box and 76.7% of H/ACA box snoRNAs. These results show that snoReport 2.0 is efficient to identify snoRNAs in vertebrates, and also H/ACA box snoRNAs in invertebrates organisms. On the other hand, instead of using known features from a sequence (difficult to find in general), a recent approach in machine learning is described as follows. Given a region of interest of a sequence, the objective is to generate a sparse vector that can be used as micro-features in a specific machine learning algorithm, or it can be used to create powerful features. This approach is used in EDeN (Explicit Decomposition with Neighbourhoods), a decompositional graph kernel based on Neighborhood Subgraph Pairwise Distance Kernel (NSPDK). EDeN transforms one graph in a sparse vector, decomposing it in all pairs of neighborhood subgraphs of small radius at increasing distances. Based on EDeN, we developed a method called snoRNA-EDeN. On the test phase, for C/D box snoRNAs, snoRNA-EDeN showed a F-score of 93.4%, while for H/ACA box snoRNAs, the F-score was 72%. On the validation phase, for C/D box snoRNAs, snoRNA-EDeN showed a better capacity of generalization, predicting 94.61% of vertebrate C/D box snoRNAs and 63.52% of invertebrates, a significantly better result compared to snoReport 2.0, which predicted only 52.92% of vertebrates and 14.6% of invertebrates. For H/ACA box snoRNAs, snoReport 2.0 predicted 79.9% of vertebrate snoRNAs and 73.3% of Nematode and Drosophilid sequences, while snoRNA-EDeN predicted 95.4% of vertebrate snoRNAs and 57.8% of Nematode and Drosophilid sequences. Both methods are available at http://www.biomol.unb.br/snoreport and http://www.biomol.unb.br/snorna_eden.

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2019. Essa dissertação contribui para o crescente campo de inteligência artificial e aprendizado de máquina. Aprendizado é um componente essencial do comportamento humano, a faculdade por trás da nossa habilidade de se adaptar. E essa característica única que diferencia seres humanos de outras espécies, e nos permitiu perserverar e dominar o mundo como nos conhecemos. Através de algoritmos de aprendizado, nós buscamos imbuir agentes artificiais com essa mesma capacidade, para que eles possam aprender e se adaptar interagindo com o ambiente, conseguindo desta forma aumentar seu potencial de atingir seus objetivos. Nesse trabalho, nós buscamos resolver o problema de como múltiplos agentes cooperativos aprendendo concomitantemente podem se beneficar de conhecimento compartilhado entre eles. A habilidade de compartilhar conhecimento adquirido, seja instantaneamente ou através de gerações, é peça chave para a nossa evolução. Segue que o compartilhamento de conhecimento entre agentes autônomos pode ser a chave para acelerar conhecimento em sistemas multiagentes cooperativos. Baseado nesse raciocínio, neste trabalho investigamos métodos de compartilhamento de conhecimento que pode efetivamente levar a uma aceleração no aprendizado. A pesquisa é focada na abordagem de transferência de conhecimento através do compartilhamento de experiências. O modelo MultiAgent Cooperative Experience Sharing (MACES) define uma arquitetura que permite troca de experiências entre agentes cooperativos aprendendo concomitantemente. Neste modelo, investigamos diferentes métodos de compartilhamento de experiências que podem levar a aceleração do aprendizado. O modelo é validado em dois problemas diferentes de aprendizado de reforço, um problema de controle clássico e um de navegação. Os resultados apresentados mostram que o MACES é capaz de reduzir em mais da metade o número de episódios necessários para completar uma tarefa através da cooperação de apenas dois agentes, comparado a agentes não cooperativos. O modelo é aplicável a agentes que implementam métodos de aprendizado de reforço profundo. This dissertation is a contribution to the burgeoning field of artificial intelligence and machine learning. Learning is a core component of human behaviour, the faculty behind our ability to adapt. It is the single characteristic that differentiate humans from other species, and has allowed us to persevere and dominate the world as we know. Through learning algorithms, we seek to imbue artificial agents with the same capacity, so they can as well learn and adapt by interacting with the environment, thus enhancing their potential to achieve their goals. In this work, we address the hard problem of how multiple cooperative agents learning concurrently to achieve a goal can benefit from sharing knowledge with each other. Key to our evolution is our ability to share learned knowledge with each other instantaneously and through generations. It follows that knowledge sharing between autonomous and independent agents could as well become the key to accelerate learning in cooperative multiagent settings. Pursuing this line of inquiry, we investigate methods of knowledge sharing that can effectively lead to faster learning. We focus on the approach of transferring knowledge by experience sharing. The proposed MultiAgent Cooperative Experience Sharing (MACES) model defines an architecture that allows experience sharing between concurrently learning cooperative agents. Within MACES, we investigate different methods of experience sharing that can lead to accelerated learning. The proposed model is validated in two different reinforcement learning settings, a classical control and a navigation problem. The results shows that MACES is able to reduce in over a half the number of episodes required to complete a task through cooperation of only two agents, compared to a single agent baseline. The model is applicable to deep reinforcement learning agents.

Tese (doutorado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2019. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). As métricas objetivas de avaliação de qualidade de sinais tem o objetivo de prever a qualidade dos sinais percebida pelo ser humano. Uma das áreas de qualidade de maior interesse nos últimos anos é o desenvolvimento de métricas de qualidade para sinais áudio-visuais. A maioria das propostas nesta área estão baseadas na aferição da qualidade individual das componentes de áudio e vídeo. Porém, o modelamento da complexa interação existente entre as componentes de áudio e vídeo ainda é um grande desafio. Nesta tese, o objetivo é desenvolver uma métrica, baseado em ferramentas de aprendizado de máquina (Machine Learning - ML), para a aferição da qualidade de sinais áudio-visuais. A proposta utiliza como entrada um conjunto de características descritivas das componentes de áudio e vídeo e aplica Deep Autoencoders para gerar um novo conjunto de características descritivas que representa a interação entre as componentes de áudio e vídeo. O modelo está composto por várias fases, que realizam diferentes tarefas. Primeiramente, são extraídos um conjunto de características descritivas que descrevem características das componentes de áudio e vídeo. Na próxima fase, um autoencoder de duas camadas produz um novo conjunto de características descritivas. Em seguida, uma função de classificação mapeia as características descritivas em escores de qualidade audiovisual. Para garantir a precisão nos resultados, o modelo é treinado utilizando um conjunto de dados que representa todos os artefatos considerados no modelo. O modelo foi testado tanto com no banco de dados gerado neste trabalho, como em uma base de dados extensa e pública. Os resultados mostraram que esta abordagem obtém predições de qualidade, cujos valores estão altamente correlacionadas com os escores de qualidade obtidos em experimentos subjetivos. The development of models for quality prediction of both audio and video signals is a fairly mature field. But, although several multimodal models have been proposed, the area of audiovisual quality prediction is still an emerging area. In fact, despite the reasonable performance obtained by combination and parametric metrics, currently there is no reliable pixel-based audiovisual quality metric. The approach presented in this work is based on the assumption that autoencoders, fed with descriptive audio and video features, might produce a set of features that is able to describe the complex audio and video interactions. Based on this hypothesis, we propose a set of multimedia quality metrics: video, audio and audiovisual. The visual features are natural scene statistics (NSS) and spatial-temporal measures of the video component. Meanwhile, the audio features are obtained by computing the spectrogram representation of the audio component. The model is formed by a 2-layer framework that includes an autoencoder layer and a classification layer. These two layers are stacked and trained to build the autoencoder network model. The model is trained and tested using a large set of stimuli, containing representative audio and video artifacts. The model performed well when tested against the UnB-AV and the LiveNetflix-II databases.

Made available in DSpace on 2018-12-20T13:22:17Z (GMT). No. of bitstreams: 1 tese_12581_Dissertação final Rodrigo Duarte Silva - 3.pdf: 10103657 bytes, checksum: 72ac2644857f83ff8c97a61f3071f434 (MD5) Previous issue date: 2018-09-06 Futuras pesquisas observacionais com investimentos, telescópios e tecnologias nunca antes vistos, estão sendo propostas na tentativa de se desvendar os mistérios do Universo. Em nosso trabalho, fornecemos um panorama desse cenário, com especial atenção para a classificação de supernovas que será feita pelo LSST (Large Synoptic Survey Telescope) a partir de 2022. Inicialmente introduzimos a física que envolve o evento de Supernovas e sua observação, com o objetivo de tratar o problema da classificação fotométrica de supernovas didaticamente. Fornecemos importantes referências no uso de diferentes aprendizagens de máquina e redes neurais para esse propósito. Incluímos resultados do uso de alguns dos métodos computacionais e a teoria por trás deles, destacando suas potencialidades e vunerabilidades. Os métodos de aprendizagem de máquina podem envolver supervisão ou não. Objetivamos descrever a aplicação destas poderosas ferramentas, na análise de dados observacionais e verificamos resultados inesperados.

Made available in DSpace on 2018-09-11T12:25:58Z (GMT). No. of bitstreams: 1 tese_12581_Dissertação Rodrigo Duarte Silva - PPGFis.pdf: 7836357 bytes, checksum: dd128e0cf54e3d58e169b4f2492da434 (MD5) Previous issue date: 2018-09-06 Futuras pesquisas observacionais com investimentos, telescópios e tecnologias nunca antes vistos, estão sendo propostas na tentativa de se desvendar os mistérios do Universo. Em nosso trabalho, fornecemos um panorama desse cenário, com especial atenção para a classificação de supernovas que será feita pelo LSST (Large Synoptic Survey Telescope) a partir de 2022. Inicialmente introduzimos a física que envolve o evento de Supernovas e sua observação, com o objetivo de tratar o problema da classificação fotométrica de supernovas didaticamente. Fornecemos importantes referências no uso de diferentes aprendizagens de máquina e redes neurais para esse propósito. Incluímos resultados do uso de alguns dos métodos computacionais e a teoria por trás deles, destacando suas potencialidades e vunerabilidades. Os métodos de aprendizagem de máquina podem envolver supervisão ou não. Objetivamos descrever a aplicação destas poderosas ferramentas, na análise de dados observacionais e verificamos resultados inesperados. Future observational research with investments, telescopes and technologies never before seen, are being proposed in an attempt to unravel the mysteries of the Universe. In our work, we provide an overview of this scenario, with special attention to the classification of supernovae that will be done by LSST (Large Synoptic Survey Telescope) from 2022. Initially, we introduce the physics that involve the Supernova event and its observation, with the objective of treating the problem of photometric classification of supernovae. We provide important references in the use of different machine learning and neural networks for this purpose. We include results from the use of some of the computational methods and the theory behind them, highlighting their potentialities and vunerabilities. Machine learning methods may involve supervision or not. We aim to describe the applica- tion of these powerful tools in the analysis of observational data and verify unexpected results.

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2018. Um dos principais desafios enfrentados pelo sistema bancário é garantir a segurança das transações financeiras. Devido à conveniência e aceitação, o uso de caracterı́sticas faciais para autenticação biométrica de usuários em sistemas bancários está se tornando uma tendência mundial. Essa abordagem de autenticação de usuários está atraindo grandes investimentos de instituições bancárias e financeiras, especialmente em cenários de diferentes domı́nios, nos quais imagens faciais tiradas de documentos de identificação são comparadas com autorretratos digitais (selfies) tiradas com câmeras de dispositivos móveis. Neste estudo, coletamos das bases de dados do maior banco público brasileiro um grande dataset, chamado FaceBank, com 27.002 imagens de selfies e fotos de documentos de identificação de 13.501 sujeitos. Em seguida, avaliamos os desempenhos de dois modelos de Redes Neurais Convolucionais bem referenciados (VGG-Face e OpenFace) para extração de caracterı́sticas profundas, bem como os desempenhos de quatro classificadores (SVM Linear, SVM Power Mean, Random Forest e Random Forest com o Ensemble Vote) para autenticação robusta de face em diferentes domı́nios. Com base nos resultados obtidos (precisões superiores a 90%, em geral), é possı́vel concluir que a abordagem de matching de faces profundas avaliada neste estudo é adequada para autenticação de usuários em aplicações bancárias entre domı́nios. Até onde sabemos, este é o primeiro trabalho que usa um grande conjunto de dados composto por imagens bancárias reais para avaliar a abordagem de autenticação de face entre domı́nios. Além disso, este trabalho apresenta um estudo sobre as reais necessidades na implementação futura de um sistema biométrico, propondo um sistema de nuvem para permitir a adoção de tecnologias biométricas. Por fim, propõe também um modelo seguro e integrado de subsistema ABIS de transmissão de dados. Toda a análise e implementação leva em conta a total aderência e compatibilidade com padrões e especificações propostos pelo governo brasileiro. Ensuring the security of transactions is currently one of the major challenges facing banking systems. The use of facial features for biometric authentication of users in banking systems is becoming a worldwide trend, due to the convenience and acceptability of this form of identification, and also because computers and mobile devices already have built-in cameras. This user authentication approach is attracting large investments from banking and financial institutions especially in cross-domain scenarios, in which facial images taken from ID documents are compared with digital self-portraits (selfies) taken with mobile device cameras. In this study, from the databases of the largest public Brazilian bank we collected a large dataset, called FaceBank, with 27,002 images of selfies and ID document photos from 13,501 subjects. Then, we assessed the performances of two well-referenced Convolutional Neural Networks models (VGG-Face and OpenFace) for deep face features extraction, as well as the performances of four effective classifiers (Linear SVM, Power Mean SVM, Random Forest and Random Forest with Ensemble Vote) for robust cross-domain face authentication. Based on the results obtained (authentication accuracies higher than 90%, in general), it is possible to conclude that the deep face matching approach assessed in this study is suitable for user authentication in cross-domain banking applications. To the best of our knowledge, this is the first study that uses a large dataset composed of real banking images to assess the cross-domain face authentication approach to be used in banking systems. As an additional, this work presents a study on the real needs in the future implementation of a biometric system proposing a cloud system to enable the adoption of biometrics technologies, creating a new model of service delivery. Besides that, proposes a secure and integrated ABIS Data Transmission subsystem model. All the analysis and implementation takes into account the total adherence and compatibility with the standards and specifications proposed by the Brazilian government, at the same time, establish mechanisms and controls to ensure the effective protection of data.

Dissertação (mestrado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Mecânica, 2016. A detecção ocular é um problema aberto em pesquisa a ser resolvido eficientemente por detecção facial em sistemas de segurança. Características como precisão e custo computacional são consider- ados para uma abordagem de sucesso. Nós descrevemos uma abordagem integrada que segmenta os ROI emitidos por um detector Viola e Jones, constrói características HOGs e aprende uma função especial para mapear essas características para um espaço dimensional elevado onde a detecção alcança uma melhor precisão. Esse mapeamento segue a eficiente abordagem de funções Kernel, que se mostrou possível mas não foi feita para esse problema antes. Um classificador SVM linear é usado para detecção ocular através dessas características mapeadas. Experimentos extensivos são mostrados com diferentes bancos de dados e o método proposto alcança uma precisão elevada com baixo custo computacional adicional do que o detector Viola e Jones. O método também podem ser estendido para lidar com outros modelos equivalentes. Eye detection is a open research problem to be solved efficiently by face detection and human surveillance systems. Features such as accuracy and computational cost are to be considered for a successful approach. We describe an integrated approach that takes the outputted ROI by a Viola and Jones detector, construct HOGs features on those and learn an special function to mapping these to a higher dimension space where the detection achieve a better accuracy. This mapping follows the efficient kernels match approach which was shown possible but had not been done for this problem before. Linear SVM is then used as classifier for eye detection using those mapped features. Extensive experiments are shown with different databases and the proposed method achieve higher accuracy with low added computational cost than Viola and Jones detector. The approach can also be extended to deal with other appearance models.

Com o crescente aumento do volume de informações disponíveis na web, as máquinas de busca tornam-se cada vez mais necessárias no dia-a-dia dos usuários da Internet. Entretanto, pessoas mal intencionadas veem esse fenômeno como uma oportunidade para obter lucro e, como consequência, um problema conhecido como web spam vem se tornando cada vez mais frequente na vida dos usuários da Internet, provocando prejuízos pessoais e econômicos. Diversas técnicas vêm sendo propostas para detecção automática de web spam, porém a alta capacidade de aperfeiçoamento dos mecanismos empregados pelos spammers exige que os métodos de classificação sejam cada vez mais genéricos e eficientes. Técnicas bastante conhecidas que possuem tais características são as redes neurais artificiais que, curiosamente, até o momento não foram avaliadas para classificação de web spam. Diante desse cenário desafiador, esse trabalho apresenta a análise de desempenho de redes neurais artificiais Perceptron de múltiplas camadas empregadas para combater tal problema.