Search

In this relatively informal discussion-paper we summarise issues in the domains of safety and security in machine learning that will affect industry sectors in the next five to ten years. Various products using neural network classification, most often in vision related applications but also in predictive maintenance, have been researched and applied in real-world applications in recent years. Nevertheless, reports of underlying problems in both safety and security related domains, for instance adversarial attacks have unsettled early adopters and are threatening to hinder wider scale adoption of this technology. The problem for real-world applicability lies in being able to assess the risk of applying these technologies. In this discussion-paper we describe the process of arriving at a machine-learnt neural network classifier pointing out safety and security vulnerabilities in that workflow, citing relevant research where appropriate.

In this relatively informal discussion-paper we summarise issues in the domains of safety and security in machine learning that will affect industry sectors in the next five to ten years. Various products using neural network classification, most often in vision related applications but also in predictive maintenance, have been researched and applied in real-world applications in recent years. Nevertheless, reports of underlying problems in both safety and security related domains, for instance adversarial attacks have unsettled early adopters and are threatening to hinder wider scale adoption of this technology. The problem for real-world applicability lies in being able to assess the risk of applying these technologies. In this discussion-paper we describe the process of arriving at a machine-learnt neural network classifier pointing out safety and security vulnerabilities in that workflow, citing relevant research where appropriate.

В дисертації вперше отримані такі нові наукові результати: 1. Запропоновано метод автоматизованої обробки послідовності термограм, отриманих у результаті активного теплового контролю багатошарових матеріалів, який використовує нейромережеві технології для аналізу температурних профілів у кожній точці об’єкту та дозволяє одночасно проводити класифікацію знайдених дефектів, вимірювати їх глибину залягання та розкрив. 2. Набув подальшого розвитку метод синтезу нейронної мережі прямого розповсюдження зі зворотним поширенням помилки, який враховує залежності достовірності контролю та точності дефектометрії від архітектури та алгоритмів навчання нейронної мережі, що дозволило обґрунтувати вибір кількості прихованих прошарків нейронної мережі, кількості нейронів у цих прошарках та оптимального за показником середньоквадратичної помилки мережі алгоритму навчання. 3. Удосконалено метод формування навчального набору даних, який враховує залежності достовірності класифікації дефектів у багатошарових матеріалах, похибок визначення їх глибини залягання і розкриву від параметрів вибірки навчальних сигналів, що дозволило мінімізувати час навчання нейронної мережі без погіршення достовірності автоматизованої класифікації дефектів та точності дефектометрії. Практичне значення одержаних в дисертаційній роботі результатів полягає в тому, що було розроблено алгоритмічне і програмне забезпечення реалізації підсистеми визначення характеристик дефектів за результатами активного ТНК із використанням вдосконаленого методу на базі нейромережевих технологій, що дозволило автоматизувати класифікацію дефектів і побудову теплових томограм, підвищити точність теплової дефектометрії і достовірність контролю у порівнянні з існуючими методами. Розроблено віртуальний інтерфейс користувача, який містить інструменти для проведення дефектометрії та аналізу теплових томограм, що дало змогу покращити ефективність аналізу результатів контролю. Для розробленої системи експериментально визначено архітектуру

Використання нейромережевих технологій при створенні експертних систем показало їх перспективність для медичного діагностування захворювань при значній кількості симптомів. Базова модель нейромережевого класифікатора зумовила використання дискримінантного аналізу для процесу класифікації. В роботі розглянуто вдосконалений варіант класифікатора на базі нейромережі Хеммінга. Вдосконалення стосується усунення одного зі зворотних латеральних зв’язків у кожного нейроподібного елемента останнього шару нейромережі. Це призвело до спрощення структури класифікатора. Імітаційне моделювання класифікаційного процесу проводилось на прикладах з медичного діагностування. Воно показало проскорення процесу класифікації майже у 2 рази у порівнянні з класичним варіантом цього процесу, Использование нейросетевых технологий при создании экспертных систем показало их перспективность для медицинского диагностирования заболеваний при значительном количестве симптомов. Базовая модель нейросетевого классификатора обусловила приминение дискриминантного анализа для процесса классификации. В работе рассмотрен усовершенствованный вариант классификатора на базе нейросети Хэмминга. Усовершенствование касается устранения одного из обратных латеральных связей у каждого нейроподобного элемента последнего слоя нейросети. Это привело к упрощению структуры классификатора. Имитационное моделирование классификационного процесса проводилось на примерах из медицинского диагностирования. Оно показало ускорение процесса классификации почти в 2 раза по сравнению с классическим вариантом этого процесса, The use of neural network technologies in the creation of expert systems has shown their promise for medical diagnosis of diseases with a significant number of symptoms. The basic model of the neural network classifier has led to the use of discriminant analysis for the classification process. The paper considers the advanced version of the classifier based on Hamming's neural network. Improvement relates to the elimination of one of the reverse lateral bonds in each neural-like element of the last layer of the neural network. This led to a simplification of the classifier's structure. Simulation modeling of the classification process was carried out on examples of medical diagnosis. It showed an acceleration of the classification process by almost 2 times compared with the classic version of this process.

Дисертація присвячена проведенню багатокласового розпізнавання стану складного просторового об’єкта шляхом вдосконалення та впровадження підсистеми прийняття рішення в систему функціональної діагностики на основі розробки нейромережевого класифікатора. Розроблено інформаційні моделі процесів формування навчальних та тестових множин вхідних векторів діагностичних ознак для багатокласового розпізнавання з метою локалізації одиничного та багатоосередкового пошкодження, моніторингу розвитку пошкоджень і моніторингу деградації конструкції. Розроблено програмне забезпечення для визначених діагностичних завдань. Розроблено узагальнену структуру багатокласового розпізнавання. Досліджено ефективність розробленого нейромережевого класифікатора для забезпечення багатокласового розпізнавання, та проведено розпізнавання технічного стану комп’ютерної та фізичної моделей резервуару. Встановлено впливи параметрів нейронної мережі та характеристик діагностичних векторів на вірогідність багатокласового розпізнавання стану об’єкта для діагностичних завдань., The thesis describes that complex spatial objects of aeronautical engineering, oil-andgas industry, special purpose objects are usually operated in difficult accessible places in zones with increased external influences and dynamic loads. It is described that multi-site damage can be aroused under such conditions of operation due to imperfection of the elements of the construction that are used under the action of complex loading. It is shown that in order to ensure the safe operation of complex spatial objects that are characterized by multi-class of possible technical states, it is necessary to carry out continuous monitoring of structural integrity and provide multi-class diagnostics. The basic principles and approaches of construction and organization a new type of intelligent multi-class monitoring systems have been considered. It is described approaches to building a network of sensitive elements. The basic methods of information processing in monitoring systems have been considered. The development tendencies and ways of improvement of newest diagnostic systems are described. It is shown diagnostic problems which are solved by intellectual monitoring systems that based on Structural Health Monitoring concept. It is shown that traditional methods of recognition are functionally limited to solving multi-class diagnostics. The basic principles of neural network approach and application features of neural networks in monitoring and diagnostic systems are considered. The general model of the neural network is given, the types of activation functions and the architectures of neural network construction are described. The basic models of training of artificial neural networks are also described. It shows that the tasks of multi-class diagnostics, estimation and future prediction of the technical condition of complex spatial objects with multi-site damage are not solved enough; the issue of methodological and algorithmic support for the development of multi-class dia, Диссертация посвящена проведению многоклассового распознавания состояния сложного пространственного объекта путем усовершенствования и внедрения подсистемы принятия решения в систему функциональной диагностики на основе разработки нейросетевого классификатора. Разработаны информационные модели процессов формирования учебных и тестовых множеств входных векторов диагностических признаков для многоклассового распознавания с целью локализации единичного и множественного повреждения, мониторинга развития повреждений и мониторинга деградации конструкции. Разработано программное обеспечение для предопределенных диагностических задач. Разработана обобщенная структура многоклассового распознавания. Исследована эффективность разработанного нейросетевого классификатора для обеспечения многоклассового распознавания, и проведено распознавание технического состояния компьютерной и физической моделей резервуара. Установлено влияние параметров нейронной сети и характеристик диагностических векторов на вероятность многоклассового распознавания состояния объекта для диагностических задач.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.11.13 «Прилади і методи контролю та визначення складу речовин». – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2018. Дисертація присвячена проведенню багатокласового розпізнавання стану складного просторового об’єкта шляхом вдосконалення та впровадження підсистеми прийняття рішення в систему функціональної діагностики на основі розробки нейромережевого класифікатора. Розроблено інформаційні моделі процесів формування навчальних та тестових множин вхідних векторів діагностичних ознак для багатокласового розпізнавання з метою локалізації одиничного та багатоосередкового пошкодження, моніторингу розвитку пошкоджень і моніторингу деградації конструкції. Розроблено програмне забезпечення для визначених діагностичних завдань. Розроблено узагальнену структуру багатокласового розпізнавання. Досліджено ефективність розробленого нейромережевого класифікатора для забезпечення багатокласового розпізнавання, та проведено розпізнавання технічного стану комп’ютерної та фізичної моделей резервуару. Встановлено впливи параметрів нейронної мережі та характеристик діагностичних векторів на вірогідність багатокласового розпізнавання стану об’єкта для діагностичних завдань., Дисертація присвячена проведенню багатокласового розпізнавання стану складного просторового об’єкта шляхом вдосконалення та впровадження підсистеми прийняття рішення в систему функціональної діагностики на основі розробки нейромережевого класифікатора. Розроблено інформаційні моделі процесів формування навчальних та тестових множин вхідних векторів діагностичних ознак для багатокласового розпізнавання з метою локалізації одиничного та багатоосередкового пошкодження, моніторингу розвитку пошкоджень і моніторингу деградації конструкції. Розроблено програмне забезпечення для визначених діагностичних завдань. Розроблено узагальнену структуру багатокласового розпізнавання. Досліджено ефективність розробленого нейромережевого класифікатора для забезпечення багатокласового розпізнавання, та проведено розпізнавання технічного стану комп’ютерної та фізичної моделей резервуару. Встановлено впливи параметрів нейронної мережі та характеристик діагностичних векторів на вірогідність багатокласового розпізнавання стану об’єкта для діагностичних завдань.

This paper proposes a novel algorithm for recognizing the shape of object which in contact with a robotic finger through the tactile pressure sensing. The developed algorithm is capable of distinguishing the contact shapes between a set of low-resolution pressure map. Within this algorithm, a novel feature extraction technique is developed which transforms a pressure map into a 512-feature vector. The extracted feature of the pressure map is invariant to scale, positioning and partial occlusion, and is independent of the sensor's resolution or image size. To recognize different contact shape from a pressure map, a neural network classifier is developed and uses the feature vector as inputs. It has proven from tests of using four different contact shapes that, the trained neural network can achieve a high success rate of over 90%. Contact sensory information plays a crucial role in robotic hand gestures. The algorithm introduced in this paper has the potential to provide valuable feedback information to automate and improve robotic hand grasping and manipulation., QC 20130114

In previous work, we established the principle of objective fabric pilling evaluation based on two-dimensional dual-tree complex wavelet transform (2DDTCWT) image reconstruction and non-linear classification using a neural network. This proof-of-principle work was performed using standard pilling test images. Here, we demonstrate the practical operation of the objective pilling evaluation method using a large set of real fabric pilling samples. We show that piling classification results from a trained multiple-layer perceptron neural network achieve a regression correlation of approximately 96% with the corresponding human expert pilling ratings.

A primitive gas recognition system which can discriminate limited species of industrial gas was designed and simulated. The 'electronic nose' consists of an array of 8 microhotplate based SnO2 thin film gas sensors with different selectivity patterns, signal collecting unit and a signal pattern recognition and decision part in programmable logic device chip. BP (Back Propagation) neural networks with Multilayer Perceptron structure was designed and implemented on FPGA (Field Programmable Gate Array), of twenty thousand gate level chip by VHDL language for processing the input signals from 8 kinds of gas sensors. The network contained eight input units, one hidden layer with 4 neurons and output with 5 regular neurons. The 'electronic nose' system successfully discriminated 5 kinds of industrial gases in computer simulation. A small application has been tested on the APS X208 FPGA test board. ©2009 IEEE.

A primitive gas recognition system which can discriminate limited species of industrial gas was designed and simulated. The 'electronic nose' consists of an array of 8 microhotplate based SnO2 thin film gas sensors with different selectivity patterns, signal collecting unit and a signal pattern recognition and decision part in programmable logic device chip. BP (Back Propagation) neural networks with Multilayer Perceptron structure was designed and implemented on FPGA (Field Programmable Gate Array), of twenty thousand gate level chip by VHDL language for processing the input signals from 8 kinds of gas sensors. The network contained eight input units, one hidden layer with 4 neurons and output with 5 regular neurons. The 'electronic nose' system successfully discriminated 5 kinds of industrial gases in computer simulation. A small application has been tested on the APS X208 FPGA test board. ©2009 IEEE.

Previously, we proposed a new method to identify fabric pilling and objectively measure fabric pilling intensity based on the two-dimensional dual-tree complex wavelet reconstruction and neural network classification. Here we further evaluate the robustness of the method. Our results indicate that the pilling identification method is robust to significant variation in the brightness and contrast of the image, rotation of the image, and 2 i (i is an integer) times dilation of the image. The pilling feature vector developed to characterize the pilling intensity is robust to brightness change but is sensitive to large rotations of the image. As long as all fabric images are adjusted to have the same contrast level and the sample is illuminated from the same direction, the pilling feature vectors are comparable and can be used to classify the pilling intensity.

A primitive gas recognition system which can discriminate limited species of industrial gas was designed and simulated. The 'electronic nose' consists of an array of 8 microhotplate based SnO2 thin film gas sensors with different selectivity patterns, signal collecting unit and a signal pattern recognition and decision part in programmable logic device chip. BP (Back Propagation) neural networks with Multilayer Perceptron structure was designed and implemented on FPGA (Field Programmable Gate Array), of twenty thousand gate level chip by VHDL language for processing the input signals from 8 kinds of gas sensors. The network contained eight input units, one hidden layer with 4 neurons and output with 5 regular neurons. The 'electronic nose' system successfully discriminated 5 kinds of industrial gases in computer simulation. A small application has been tested on the APS X208 FPGA test board. ©2009 IEEE.

Health-supportive soundscapes can best be accomplished if noise pollution is abated in harmony with creative city planning. In order to design better soundscapes in residential areas, outdoors and indoors, we have to know what sounds are discerned and what kinds of soundscapes are adverse (e.g., disturbance) or positive (e.g., tranquillity). Today regulation is limited to energetic time-averages for specific traffic (road, rail & air) and industrial noise. No information is conveyed on sound components, on structure of their composite, or the acoustic soundscape. Also the WHO health-based guideline values are grounded in longterm equivalent continuous sound levels. Such averages, based on the amount of traffic and short-term sound-levels, allow for worst-noise component approximations, but do not characterize the soundscape per se. Alternatively, a strategy is here proposed which aims at delivering prognostic design tools for perceived soundscapes. Recent research results will be presented from our residential soundscape database. It includes a dualistic soundscape similarity approach for differentiating various perceptual and acoustic qualitative aspects of soundscapes as well as a diagnostic system for soundscape certification, which builds on a neural network classifier. Both tools may be used in soundscape design and mitigation psychophysics.

Wavelets analysis is a mathematical tool that can represent a signal in terms of basis functions and thus can describe the signal on various levels of resolutions or scales corresponding to different frequency bands. They have advantages over traditional Fourier methods in analyzing nonstationary signal. In this study, a method based on wavelet packet decomposition (WPD) is proposed to process vibration signals of a structure that undergoes characteristic changes due to damage. The method decomposes the vibration signals into a data set with various levels of resolutions, hence small changes caused by structural damage become visible in some levels. The wavelet packets are used since they can produce narrower and more improved frequency resolutions as compared to the original wavelet. Based on this decomposition, component energy indices are chosen as indicators for structure health condition assessment. For illustration, a numerical simulation is performed on a three-span continuous bridge deck with different characteristic changes under impact loads. The case study shows that the component energy indices obtained from the WPD are excellent indicators for structure health condition assessment. When they are fed into well-trained neural network classifiers, structural conditions such as damage occurrence, location and severity can be identified quite accurately.

Wavelets analysis is a mathematical tool that can represent a signal in terms of basis functions and thus can describe the signal on various levels of resolutions or scales corresponding to different frequency bands. They have advantages over traditional Fourier methods in analyzing nonstationary signal. In this study, a method based on wavelet packet decomposition (WPD) is proposed to process vibration signals of a structure that undergoes characteristic changes due to damage. The method decomposes the vibration signals into a data set with various levels of resolutions, hence small changes caused by structural damage become visible in some levels. The wavelet packets are used since they can produce narrower and more improved frequency resolutions as compared to the original wavelet. Based on this decomposition, component energy indices are chosen as indicators for structure health condition assessment. For illustration, a numerical simulation is performed on a three-span continuous bridge deck with different characteristic changes under impact loads. The case study shows that the component energy indices obtained from the WPD are excellent indicators for structure health condition assessment. When they are fed into well-trained neural network classifiers, structural conditions such as damage occurrence, location and severity can be identified quite accurately.