Moving object tracking in short-wave infrared video sequence based on correlation filters and robust Kalman filtering techniques

[M. Pavlović]

142 str.

Elektrotehnika i računarstvo - Upravljanje sistemima i obrada signala / Electrical Engineering and Computer Science - System Control and Signal Processing

Primena kamera koje rade u kratkotalasnom infracrvenom spektralnom opsegu u video sistemima može obezbediti komplementarne informacije u izazovnim uslovima propagacije u kojima su termalne i kamere koje rade u vidljivom opsegu neefikasne, a jedna od najvažnijih komponenti svih inteligentnih video sistema jeste sposobnost praćenja pokretnih objekata. U disertaciji je analiziran problem praćenja jednog pokretnog objekta u sekvenci kratkotalasnih infracrvenih slika. Cilj je postići dugotrajno praćenje pokretnog objekta u realnom vremenu u različitim izazovnim situacijama na sceni. U fokusu disertacije su metode za praćenje zasnovane na korelacionim filtrima, prvenstveno zbog svojih dobrih performansi u regularnim uslovima scene, ali i njihove računske efikasnosti. Praćenje pokretnih objekata korelacionim filtrima se zasniva na detekciji vršne vrednosti u korelacionom odzivu dobijenog korelacijom između uspostavljenog modela korelacionog filtra i prostora pretrage na svakoj slici sekvence. Ako se tokom praćenja između sukcesivnih slika sekvence objekat pomeri u odnosu na poziciju na prethodnoj slici sekvence, generisani korelacioni odziv treba da ima isti iznos pomeraja lokacije vršne vrednosti. Međutim, korelacioni filtri nisu dovoljno robusni da se nose sa izazovima poput promene veličine i orijentacije objekta, promene u osvetljenju scene, a poseban izazov je prisustvo različitih tipova okluzija. Dodatni izazov predstavlja nedostatak informacija o boji i generalno nizak kontrast kratkotalasne infracrvene slike. U okviru disertacije je formulisan nov sistem za praćenje pokretnih objekata koji primenom Kalmanovog filtra kao estimatora stanja objekta, modula za detekciju okluzija i neregularnosti u praćenju, modula za estimaciju veličine objekta, a zatim adaptivnim ažuriranjem kontekstno regularizovanog korelacionog filtra postiže značajno poboljšanje performansi praćenja u navedenim izazovnim situacijama u odnosu na sistem oslonjen samo na korelacioni filtar. Posebno, za prevazilaženje okluzija prepoznatih kao najizazovniji problem u video praćenju, u disertaciji se predlaže primena Kalmanovog filtra kao prediktora stanja objekta i metode za proširenje oblasti pretrage. Proširivanje oblasti pretrage pomaže u ponovnoj identifikaciji objekta nakon okluzije, ali i dovodi do povremene pojave grešaka u podacima merenja koje mogu dovesti do gubitka objekta i prestanka praćenja. Ove greške se mogu tretirati kao loši podaci ili autlajeri. Pojava autlajera u mernim podacima za posledicu ima loše performanse optimalnog Kalmanovog filtra, obzirom da time nije zadovoljena Gausova raspodela šuma merenja što je jedna od osnovnih pretpostavki na kojima se optimalna tehnika estimacije zasniva. U disertaciji je predstavljen dizajn tehnike robusne Kalmanove filtracije, otporne na prisustvo autlajera koji kontaminiraju Gausovu raspodelu merenja. Prvo, klasa M-robustifikovanih algoritama dinamičke stohastičke aproksimacije je izvedena minimiziranjem u svakom koraku vremenski promenljivog M-robusnog indeksa performansi, koji je opšti za porodicu razmatranih algoritama. Matrica pojačanja estimatora se izračunava u svakom koraku minimizacijom dodatnog kriterijuma aproksimativne minimalne varijanse, koristeći metod statističke linearizacije. Kombinovanjem predloženog M-robusnog estimatora sa jednokoračnom optimalnom predikcijom, u smislu minimalne srednje kvadratne greške, izvedena je nova statistički linearizovana M-robustifikovana tehnika Kalmanove filtracije. Dve jednostavne praktične verzije predloženog M-robustifikovanog estimatora iv stanja su izvedene aproksimacijom optimalnog srednje kvadratnog koeficijenta statističke linearizacije sa fiksnim i vremenski promenljivim faktorima. Međutim, povećanje robusnosti može dovesti do smanjenja efikasnosti estimatora. Kako bi se napravio balans između efikasnosti estimatora i robusnosti u odnosu na autlajere, u disertaciji je predložen nov pristup gde se funkcija uticaja robusnog estimatora prilagođava u zavisnosti od situacije na sceni, pri čemu je uspostavljena relacija između praga saturacije Huberove funkcije uticaja i vršne vrednosti korelacionog odziva evaluiranog uzorka slike korelacionim filtrom. Dodatno unapređenje sistema za praćenje je postignuto i adaptacijom statistika šuma merenja u robusnom Kalmanovom filtru. Na ovaj način je obezbeđena sveobuhvatna adaptacija robusnog sistema za praćenje pokretnih objekata uslovima na sceni, kako u regularnim, tako i u scenarijima koji se smatraju veoma izazovnim za praćenje pokretnih objekata u sekvenci slika.

The application of cameras operating in the short-wave infrared spectral range in video systems can provide complementary information in challenging propagation conditions where visible-light and thermal cameras are ineffective. Additionally, one of the most important components of intelligent video systems is the ability to track moving objects. The main research topic of this dissertation is the tracking of a single moving object in shortwave infrared video sequence. The goal is to achieve long-term tracking of a moving object in realtime in various challenging situations on the scene. The focus is on the tracking methods based on correlation filters, primarily due to their good performance under regular scene conditions, but also due to their computational efficiency. The tracking of moving object using correlation filter is based on the detection of a peak in the correlation response obtained by correlation between the established correlation filter model and the search area in each frame. If the object is moved relative to the position in the previous frame of the video sequence, the generated correlation response should have the same displacement of the peak location. However, correlation filters are not robust enough to deal with challenges such as changes in object size and orientation, changes in scene illumination conditions, and a particular challenge is the presence of different types of occlusions. An additional challenge is the lack of color information and the low contrast of the short-wave infrared image. Dissertation formulates a system for moving object tracking that applies the Kalman filter as an estimator of the object state, a module for occlusion and failure detection, a module for object size estimation, as well as adaptive updating the context-aware correlation filter and achieves a significant improvement in tracking performance in the specified challenging situations compared to a system based only on a correlation filter. In particular, to overcome occlusions, recognized as the most challenging problem in video tracking, a Kalman filter as a predictor and an extended search area were used, so that tracking can be continued even in the case of full occlusion. Although using an extended search area helps in better re-detection of the object after occlusion, it may also lead to occasional errors in the measurement data that can result in object loss. These errors can be treated as bad data or outliers. The appearance of outliers in the measurement data may cause significant deviations from the theoretically optimal performance of the Kalman filter, since the distribution of the measurement data which contain outliers does not satisfy the Gaussian distribution, which is one of the basic assumptions on which the optimal Kalman filter is based. In this dissertation, the design of a robust Kalman filtering technique that is insensitive to outliers contaminating Gaussian distributed measurements, is presented. First, a class of Mrobustified dynamic stochastic approximation algorithms is derived by minimizing at each step the time-varying M-robust performance index, which is general for the family of algorithms to be considered. The gain matrix of a particular estimator is calculated at each step by minimizing an additional criterion of the approximate minimum variance type, using the statistical linearization method. By combining the proposed M-robust estimator with one-step optimal prediction, in terms of minimum mean-square error, a new statistically linearized M-robustified Kalman filtering technique has been derived. Two simple practical versions of the proposed M-robustified state vi estimator are derived by approximating the mean-square optimal coefficient of statistical linearization with fixed and time-varying factors. However, strong robustness to outliers may decrease the estimator’s efficiency under regular conditions. To make a balance between desired estimator efficiency and robustness to outliers, a new adaptive approach was proposed in the dissertation. Influence function of the robust estimator is adjusted depending on the situation on the scene, whereby a relationship between the saturation threshold of Huber's influence function and the peak of the correlation response map has been established. Additional improvement of the tracking system was achieved by adapting the noise statistics in the robust Kalman filter. In this way, a comprehensive adaptation of a robust moving object tracking system to scene conditions is provided, both in regular and challenging video tracking scenarios.

praćenje pokretnih objekata, kratkotalasna infracrvena slika, korelacioni filtri, Kalmanov filtar, robusna estimacija, adaptivne robusne metode

moving object tracking, short-wave infrared imagery, correlation filter, Kalman filter, robust estimation, adaptive robust methods

004.932:004.42(043.3)

Tekst