Optimization of algorithmic normality tests based on neural networks

[М. Симић]

93 str.

Математика, Рачунарске науке - Вештачка интелигенција, Статистика Оптимизација / Mathematics, Computer Science - Artificial Intelligence, Statistics, Optimization

У овој дисертацији разматран је алгоритамски приступ тестирању нормал- ности расподела. Предложена је методологија за конструкцију неуронских мрежа за испитивање нормалности, која се заснива на примени генетских алгоритама на проблем истовремене оптимизације свих параметара који утичу на перформансе мрежа. У њих спадају параметри генерисања података, репрезентације узорака, мрежне архитектуре и тренирања мреже. Извршена је евалуација метода машинског учења помоћу којих је могуће контролисати вероватноћу грешке бинарних класификатора на изабраној класи, а предложене су и три нове методе за контролу грешке. Применом методе која је у евалуацији остварила најбоље резултате, развијена су два омнибус теста нормалности на основу једносмерних и рекурентних неуронских мрежа, као и осам усмерених тестова нормалности за основне типове дистрибуција које не припадају фамилији нормалних. Исцрпна евалуација на узорцима до 100 елемената, добијеним из разних расподела, по- казује предности мрежних тестова нормалности у односу на стандардне статистичке тестове. У готово свим случајевима, усмерени мрежни тестови имају већу моћ од усме- рених статистичких тестова при сва три уобичајена прага статистичке значајности (1%, 5% и 10%). Омнибус тест изведен из класичне једносмерне мреже има ранг бољи од стан- дардних тестова при прагу значајности од 1%, док омнибус тест изведен из рекурентне мреже са дугорочном меморијом по моћи надмашује стандардне тестове на узорцима до 30 елемената из многих типова расподела које се у литератури користе за евалуацију тестова нормалности.

In this dissertation, we examine an algorithmic approach to normality testing. We propose a methodology based on a Genetic Algorithm for the simultaneous optimization of all parameters affecting the performance of a neural network for sample classification. Those are the parameters of data generation, sample representation, network architecture, and training. We evaluated state-of-the-art machine-learning methods for controlling the chosen class-conditional error of a binary classifier and proposed three new techniques. Using the bestperforming method, we derived two omnibus normality tests from feedforward and recurrent neural networks and eight tests directed against basic non-normal distribution types. Rigorous evaluation using samples with up to 100 elements generated from various distributions shows the advantages of the network tests over the standard statistical normality tests. In almost all cases, directed network tests are more powerful than standard directed statistical tests of normality at the three most common significance thresholds (1%, 5%, and 10%). The feedforward omnibus network test outranks the statistical omnibus tests at the threshold equal to 1%. The recurrent omnibus network test is more powerful than the other tests on the samples, with up to 30 elements from many distributions typically used in the literature to evaluate normality tests.

неуронске мреже, тестови нормалности, генетски алгоритми, бинарна класификација, контрола вероватноће грешке

neural networks, normality testing, genetic algorithms, binary classification, error-rate control

004.8:519.213.1(043.3)

Tekst