Methodology for outlier detection in k-dimensional space

[Н. Миленковић]

130 листова

Техничке науке - Рачунарска статистика / Tehnical sciences - Computational statistics

Предмет истраживања ове докторске дисертације је формирање методологије за откривање мултиваријационих нестандардних опсервација кроз унапређење методе Ивановићевог одстојања. Откривање нестандардних опсервација у k-димензионом простору је подједнако важно као и њихово откривање у једној димензији. Под појмом „нестандардна опсервација” се подразумева она опсервација која је на неки начин неконзистентна са преосталима из посматраног скупа. Откривање мултиваријационих нестандардних опсервација се најчешће спроводи коришћењем методе Махаланобисовог одстојања. Ивановићево одстојање се користи у циљу мерења интензитета неке појаве, коришћењем већег броја изабраних индикатора. Унапређена метода Ивановићевог одстојања тестира значајност сваког од посматраних индикатора коришћењем одговарајуће F статистике. Кроз употребу дефинисаних процедура за елиминацију и/или селекцију индикатора, нова метода тежи формирању „оптималног” скупа индикатора, редукујући димензију посматраног комплексног проблема. Метода секвенцијалног Ивановићевог одстојања узима у обзир дискриминациону моћ сваког од коришћених индикатора. У складу с тим, формира се јединствена вредност одстојања за сваку опсервацију из посматраног скупа. Резултати истраживања показали су да се ова метода може успешно користити за откривање мултиваријационих нестандардних опсервација.

The subject of this doctoral dissertation is the development of the methodology for detecting multivariate outliers through the modification of the Ivanović (I-distance) distance method. Detecting outliers in the k-dimensional space is as important as detecting them in a single dimension. The term outlier refers to the observation which is in some way inconsistent with the rest of the observations in a data set. Multivariate outliers are most commonly detected using the Mahalanobis distance method. I-distance is used to measure the intensity of an occurrence, using a number of selected indicators. An improved method of I-distance tests the significance of each of the observed indicators using the appropriate F statistics. Through defined procedures for the elimination and /or selection of indicators, the new method seeks to form an optimal set of indicators, while reducing the dimension of the complex problem at hand. The stepwise I-distance method takes into account the discriminatory power of each of the indicators used. Accordingly, a unique I-distance value is formed for each observation from the observed set. The research results show that this method can be used to detect multivariate outliers.

нестандардне опсервације, k-димензиони простор, Ивановићево одстојање, мултиваријациона анализа, индикатори, елиминација, селекција.

outliers, k-dimensional space, Ivanović distanse, multivariate analysis, indicators, elimination, selection.

519.2(043.3)

Tekst