Recognition of students` activity during the lecture utilizing the Internet of things

[N. Gligorić]

167 listova

Technical sciences / Informacioni sistemi i tehnologije

Tehničke nauke / Information systems and technology

Predmet ovog istraživanja je praćenje aktivnosti studenata, odnosno prepoznavanje paterna iz okruženja i njihova prezentacija posredstvom tehnologije Interneta inteligentnih uređaja. Glavna hipoteza od koje se polazi i koja je dokazana u okviru ove doktorske disertacije je da se primenom tehnologije Internetа inteligentnih uređаjа u nаstаvi može poboljšаti efikаsnost nаstаvnog procesа kroz reаlizаciju sistemа zа prаćenje аktivnosti studenаtа koji u gotovo realnom vremenu omogućava analizu parametara iz okruženja i prezentaciju obrađenih rezultata. Kako bi se sagledao broj tehnika neophodnih za realizaciju pomenutih procesa kao i da bi se opravdala potreba date studije, urađen je pregled relevantnih istraživanja na polju računarski i društvenih nauka. Pregledom je obuhvaćeno poređenje i komparativna analiza platformi pametnih učionica koje pre svega predstavljaju platforme u kojima će zaživeti nova sveobuhvatna kompjuterska rešenja sposobna da prepoznaju sociološke kontekste u momentu pojavljivanja. Društvene nauke su vrlo bitne da bi se razumela sama pozadina procesa koji se klasifikuju i prate, tako da je pregledom društvenih nauka, pre svega socioloških signala, zaokružen pregled relevantnih bibliografskih izvora i data smernica dalje moguće realizacije sistema za praćenje aktivnosti. Pregledom utvrđeni su potencijalni parametri i algoritmi koje je moguće analizirati i upotrebiti za analizu a potom je predstavljena metodologija koja je korišćena u istraživanju za sve faze studije. Pre definisanja algoritama koji se mogu koristiti i postavke arhitekture objašnjeni su zahtevi sistema koje je neophodno ispuniti da bi prepoznavanje paterna u učionici moglo efikasno obavljati. Prepoznavanje paterna se obavlja metodom mašinskog učenja za koji je preduslov postojanje klasifikatora baziranom na određenom setu podataka. Simulacija sistema je urađena pre implementacije korišćenjem seta podataka koja nisu korišćeni u procesu treniranja. Pri simulaciji sistem je pokazao prosečnu tačnost od 92.2%.

This paper proposes novel method for detecting students’ attention by utilizing Internet of Things and machine learning algorithms. The main hypotesis that has been proven in this PhD thesis is that utilization of the Internet of Things in the education can increase teaching efficiency by implementing system for detecting students’ attention that enables environmental parameters analysis and presentation of processed results. In order to provide further insight required for realization of above mentioned processes as well as to justify the need for performing featuring study, a survey on relevant computer and social science researches is done. The survey includes comparative analysis of smart classroom platforms that represents a medium for these new algorithms to rise and identificate sociological contexts in a moment of appearance. The sociological sciences are very important as they help us understand a background of sociological processes being monitored and classified; thus survey of sociological sciences and social signals above all are given to finalize a survey of relevant researches and inline a direction of further realization of the proposed system. In addition, survey has also inlined potential parameters and algorithms that can be used, followed with a methodology description for all phases of the research. Then, requirements of such system are analyzed and important features required for detection identified as well as sociological factors that influence these features. Pattern classification is done by levaraging a machine learning method that requires classificator based on a certain dataset. Before implementation, system simulation is done on a dataset which is not used in the process of training. During simulation system have shown avarage accuracy of 92.2%. After the simulation, the system was implemented and its performance evaluated by comparing a real-time annotator (i.e. the students’ feedback) with the system output during the lectures. The average accuracy of the system evaluated for three different groups of students was 81.9%.

Internet inteligentnih uređaja; obrada digitalnog signala; klasifikacija; pametne učionice; komunikacija imeđu mašina; sociološki signali

Internet of Things; Digital Signal Processing; Classification; Smart Classrooms; M2M communication; Social Signals

UDK=004.8:37(043.3)

Tekst