Korištenje regija pozornosti u dubokim neuronskim mrežama

Sažetak na hrvatskom: Jedna od glavnih značajki današnjeg doba su velike količine nestrukturiranih podataka koji su raspoloživi za korištenje, ali ne mogu se u potpunosti iskoristiti radi ograničavajućih faktora u procesima označavanja podataka. U isto vrijeme u kontekstu dubokog učenja, pokazalo se...

Full description

Permalink: http://skupni.nsk.hr/Record/fer.KOHA-OAI-FER:48253/Details
Glavni autor: Oštrek, Mirela (-)
Ostali autori: Lončarić, Sven (Thesis advisor)
Vrsta građe: Drugo
Impresum: Zagreb, M. Oštrek, 2019.
Predmet:
LEADER 04464na a2200229 4500
003 HR-ZaFER
008 160221s2019 ci ||||| m||| 00| 0 en d
035 |a (HR-ZaFER)ferid5082 
040 |a HR-ZaFER  |b hrv  |c HR-ZaFER  |e ppiak 
100 1 |a Oštrek, Mirela 
245 1 0 |a Korištenje regija pozornosti u dubokim neuronskim mrežama :  |b diplomski rad /  |c Mirela Oštrek ; [mentor Sven Lončarić]. 
246 1 |a Use of Attention Maps for Deep Neural Networks  |i Naslov na engleskom:  
260 |a Zagreb,  |b M. Oštrek,  |c 2019. 
300 |a 28 str. ;  |c 30 cm +  |e CD-ROM 
502 |b diplomski studij  |c Fakultet elektrotehnike i računarstva u Zagrebu  |g smjer: Računarska znanost, šifra smjera: 56, datum predaje: 2019-02-08, datum završetka: 2019-02-25 
520 3 |a Sažetak na hrvatskom: Jedna od glavnih značajki današnjeg doba su velike količine nestrukturiranih podataka koji su raspoloživi za korištenje, ali ne mogu se u potpunosti iskoristiti radi ograničavajućih faktora u procesima označavanja podataka. U isto vrijeme u kontekstu dubokog učenja, pokazalo se kako korištenje većih količina podataka za treniranje modela daje bolje rezultate u smislu preciznosti, uz pretpostavku da se koristi model koji ima zadovoljavajući kapacitet. Ne bi li premostili prepreku nedostatka označenih podataka tako da mogu iskoristi što više dostupnih podataka, znanstvenici se danas ponovo vraćaju klasičnim metodama računalnog vida i kombiniraju ih s principima dubokog učenja te na taj način omogućuju neuronskim mrežama da uče tek uz manju pomoć nadziranog faktora. Ovo se protivi principima potpuno nadziranog učenja gdje model treba eksplicitno naučiti funkciju koja preslikava parove ˇ (ulaz, izlaz). Ovaj rad je demonstracija kako je korištenjem anotacija za klasifikaciju slika moguce izvršiti i semanticku segmentaciju te, implicitno i lokalizaciju objekata na slici. U ovu svrhu, razvijena je nova metoda za vizualizaciju regija pozornosti u neuronskim mrežama treniranih s regijama pozornosti koja ne uzima u obzir samo regiju pozornosti posljednjeg sloja neuronske mreže, vec i regije pozornosti svih ostalih (unutrašnjih) slojeva. Prvi rezultati ukazuju kako je kombiniranjem regija pozornosti iz unutrašnjih slojeva neuronske mreže moguće dobiti regiju pozornosti veće rezolucije nego u prethodnim metodama. Rezultati su također usporedivi s trenutno vodećim metodama u slabo nadziranoj semantičkoj segmentaciji slika, čak i bez eliminacije šuma.  
520 3 |a Sažetak na engleskom: Today's era is marked by large amounts of unstructured data that is readily available, but cannot be fully utilized due to the bottlenecks in the annotation processes. Coincidentally, so far in the context of deep learning, it has been shown that the more data is used for training, the higher accuracy can be achieved, assuming that a reasonably complex model is used. To mitigate the annotation gap and make use of as much of (unannotated or weakly-annotated) data for training as possible, scientists today are reverting back to classical computer vision approaches and embedding their findings into deep learning models which are then capable of making sense of data with some help, as opposed to the fully-supervised approaches where the model is constrained to learn a mapping function given the predefined (input, output) pairs. This thesis demonstrates how image-level labels that are used for image classification can serve as weak annotations for semantic segmentation and, implicitly, object localization. For this purpose, a novel attention visualization technique for guided attention inference networks that considers the network’s inner-layer attention rather than only the penultimate convolutional layer’s attention is developed. Preliminary proof of the concept results show that combined inner-layer attention maps have higher resolution (i.e. object boundaries appear sharper in the image) than in the previous approaches and are comparable to state-of-the-art in weakly-supervised semantic segmentation even without addressing the noise issue. 
653 1 |a duboko učenje  |a računalni vid  |a neuronske mreže  |a regije pozornosti  |a semantička segmentacija  |a lokalizacija objekata  |a slabo nadzirano učenje 
653 1 |a Deep Learning  |a Computer Vision  |a Neural Networks  |a Attention Maps  |a Semantic Segmentation  |a Object Localization  |a Weakly-Supervised Learning 
700 1 |a Lončarić, Sven  |4 ths 
942 |c Y 
999 |c 48253  |d 48253