Search

Выпускная квалификационная работа бакалавра посвящена исследованию алгоритма оптимизации Adam и сравнению его производительности с производительностью Ð´Ñ€ÑƒÐ³Ð¸Ñ Ð°Ð»Ð³Ð¾Ñ€Ð¸Ñ‚Ð¼Ð¾Ð² оптимизации, Ñ‚Ð°ÐºÐ¸Ñ ÐºÐ°Ðº: Nadam, AdaGrad, RMSProp, AdaDelta, импульс Нестерова. Требуется выяснить, является ли Adam наиболее эффективным для глубокого обучения Ð½ÐµÐ¹Ñ€Ð¾Ð½Ð½Ñ‹Ñ ÑÐµÑ‚ÐµÐ¹. Проведен сравнительный анализ алгоритмов, путем Ð¸Ñ Ñ€ÐµÐ°Ð»Ð¸Ð·Ð°Ñ†Ð¸Ð¸. Проведены тесты для сравнения Ñ€Ð°Ð·Ð»Ð¸Ñ‡Ð½Ñ‹Ñ Ð¼ÐµÑ‚Ð¾Ð´Ð¾Ð² оптимизации. Данная тема является актуальной, так как сейчас машинное обучение и алгоритмы оптимизации глубокого обучения наиболее востребованы. Также, так как Adam является одним из ÑÐ°Ð¼Ñ‹Ñ Ð¿Ð¾Ð¿ÑƒÐ»ÑÑ€Ð½Ñ‹Ñ ÑÐ¿Ð¾ÑÐ¾Ð±Ð¾Ð² оптимизации Ð½ÐµÐ¹Ñ€Ð¾Ð½Ð½Ñ‹Ñ ÑÐµÑ‚ÐµÐ¹ важно провести исследования, по сравнению его с другими алгоритмами и выявлению наиболее эффективного алгоритма. В работе были разработаны и реализованы алгоритмы оптимизации с использованием библиотеки Keras на языке программирования Python в интегрированной среде разработки PyCharm. Были проведены тесты распознавания языковой модели и стандартный тест по распознаванию изображений. Также был проведен эксперимент для большей наглядности работы Ð²Ñ‹Ð±Ñ€Ð°Ð½Ð½Ñ‹Ñ Ð°Ð»Ð³Ð¾Ñ€Ð¸Ñ‚Ð¼Ð¾Ð²: решена задача Ð½Ð°Ñ Ð¾Ð¶Ð´ÐµÐ½Ð¸Ñ минимума функции от Ð´Ð²ÑƒÑ Ð¿ÐµÑ€ÐµÐ¼ÐµÐ½Ð½Ñ‹Ñ . Сделаны выводы из сравнительного анализа об эффективности Ñ€Ð°ÑÑÐ¼Ð°Ñ‚Ñ€Ð¸Ð²Ð°ÐµÐ¼Ñ‹Ñ Ð°Ð»Ð³Ð¾Ñ€Ð¸Ñ‚Ð¼Ð¾Ð²., The final qualification work of the bachelor is devoted to the study of the Adam optimization algorithm and the comparison of its performance with the performance of other optimization algorithms, such as: Nadam, AdaGrad, RMSProp, AdaDelta, Nesterov's impulse. It is necessary to find out whether Adam is the most effective for deep learning of neural networks. A comparative analysis of the algorithms, by their implementation, is carried out. Tests were conducted to compare different optimization methods. This topic is relevant, since now the topic of machine learning and deep learning optimization algorithms is most in demand. And also, since Adam is one of the most popular ways to optimize neural networks, it is important to conduct research comparing it with other algorithms and identifying the most effective algorithm. In this paper, optimization algorithms were developed and implemented using the Keras library in the Python programming language in the integrated development environment PyCharm. Language model recognition tests and a standard image recognition test were performed. An experiment was also conducted to make the selected algorithms more clear: the problem of finding the minimum of a function of two variables was solved. Conclusions are drawn from the comparative analysis of the effectiveness of the algorithms under consideration.

В данной работе описано применение алгоритма пчелиной колонии для решения проблемы оптимизации Ð¶Ñ‘ÑÑ‚ÐºÐ¸Ñ Ñ„ÑƒÐ½ÐºÑ†Ð¸Ð¾Ð½Ð°Ð»Ð¾Ð². Алгоритм сравнивается с другими специализированными алгоритмами решения данной задачи. В результате работы делаются выводы о возможности применения алгоритма для оптимизации функционалов с невысокой степенью овражности, и об его полной неэффективности для решения задач с высокой степенью овражности., This paper describes the application of the bee colony algorithm to solve the problem of optimizing rigid functionals. The algorithm is compared with other specialized algorithms for solving this problem. As a result of the work, conclusions are drawn about the possibility of using the algorithm to optimize functionals with a low degree of ravine, and about its complete inefficiency for solving problems with a high degree of ravine.

Тема выпускной квалификационной работы: «Гибридный метод оптимизации для решения Байесовских задач в условиях полной неопределенности». В данной работе рассматриваются существующие алгоритмы оптимизации такие как конечно-разностный метод и стохастический алгоритм оптимизации на основе производной по направлению. На основе этих алгоритмов создается новый гибридный алгоритм. Основная идея гибридного алгоритма состоит в том, чтобы сначала рассчитать стохастический градиент целевой функции с помощью стохастического алгоритма оптимизации на основе производной по направлению, а затем заменить компоненты с наибольшим стохастическим градиентом приближенными значениями градиента из конечной разности в правильную последовательность, пока направление измененного градиента не будет почти таким же, как неизвестное направление реального градиента. В главе 1 объясняется идея Байесовского подхода и Байесовские обратные задачи в условиях неопределенности. Во 2 главе рассматриваются метод линейной оптимизации и стохастический алгоритм оптимизации, основанный на производной по направлению. В 3 главе приводится гибридный алгоритм, основанный на упомянутых выше алгоритмах. Глава 4 демонстрирует работу алгоритма и выявляет улучшения для гибридного метода. В результате работы разработан гибридный метод оптимизации, который позволяет оптимизировать решение Байесовских обратных задач в условиях полной неопределенности., Theme of the final qualification work: «A hybrid optimization method for solving Bayesian problems in conditions of complete uncertainty». In this paper, we consider existing optimization algorithms such as the finite-difference method and the stochastic optimization algorithm based on the directional derivative. Based on these algorithms, a new hybrid algorithm is created. The main idea of the hybrid algorithm is to first calculate the stochastic gradient of the objective function using the stochastic optimization algorithm based on the directional derivative, and then replace the components with the largest stochastic gradient with approximate gradient values from the finite difference into the correct sequence until the direction of the changed gradient is almost the same as the unknown direction of the real gradient. Chapter 1 explains the idea of the Bayesian approach and Bayesian inverse problems in the face of uncertainty. Chapter 2 discusses the linear optimization method and the stochastic optimization algorithm based on the directional derivative. Chapter 3 provides a hybrid algorithm based on the algorithms mentioned above. Chapter 4 demonstrates how the algorithm works and identifies improvements for the hybrid method. As a result of the work, a hybrid optimization method was developed that allows optimizing the solution of Bayesian inverse problems under conditions of complete uncertainty.

Рассматриваются популяционные алгоритмы задачи глобальной оптимизации с нелинейной целевой функцией. Представлен сравнительный анализ алгоритма искусственной пчелиной колонии и гибридного алгоритма искусственной пчелиной колонии с гравитационным алгоритмом. Произведен анализ производительности работы алгоритмов на основе сферической функции, функций Розенброка, Гривонка, Растригина, Швефеля. Подтверждена эффективность рассмотренного гибридного алгоритма по сравнению с алгоритмом искусственной пчелиной колонии., The paper considers population algorithms of a global optimization problem with a nonlinear objective function. A comparative analysis of the algorithm of an artificial bee colony and the hybrid algorithm of an artificial bee colony with a gravitational algorithm is presented. The authors analyzed the performance of the algorithms based on the spherical function, Rosenbrock, Grivonck, Rastrigin, and Schwefel functions. The efficiency of the considered hybrid algorithm is confirmed in comparison with the algorithm of the artificial bee colony., №01(67) (2018)