Efficient semantic image segmentation using pyramidal fusion : doctoral thesis - Oršić, Marin (M. Oršić; Fakultet elektrotehnike i računarstva, 2021)
Pojava velikih podatkovnih skupova i otpornost konvolucijskih modela omogućili su uspješno treniranje velikih modela za semantičku segmentaciju. Doduše, velik kapacitet modela uzorkuje visoku računsku složenost što onemogućuje primjene u stvarnom vremenu. Razmatramo kompaktne arhitekture koje ganjaju visoku prediktivnu moć usprkos skromnom kapacitetu. Predlažemo novi pristup za semantičku segmentaciju slika temeljenu na spajanju dijeljenih heterogenih reprezentacija izlučenih iz rezolucijske piramide. Predloženi pristup, zvan piramidna fuzija, je naročito učinkovit u gustoj predikciji na slikama velike varijance u skali zbog snažnog regularizacijskog učinka potaknutog dijeljenjem značajki preko rezolucijske piramide. Interpretacija toka donošenja odluke naslućuje kako se naš pristup ponaša kao ansambl jednostavnijih modela, te kako široko vidno polje i jak tok gradijenata pridonose visokoj točnosti. Validacijski i ablacijski eksperimenti podržavaju naše odluke i sugeriraju kako se predloženi pristup uspješno ponaša kao ansambl relativno jednostavnijih modela. Naš najbolji model postiže 76.4% mIoU na ispitnom podskupu podatkovnog skupa Cityscapes te podržava izvođenje u stvarnom vremenu na ugradbenim računalima niske potrošnje. Ova disertacija opisuje glavne dijelove sustava za semantičku segmentaciju slika temeljenog na dubokim konvolucijskim modelima. Razmatramo konvolucijske kodere za raspoznavanje te dekodere koji su neizostavni u ostvarivanju točnih rezultata. Pokazujemo obilan skup evaluacija razvijene metode u nizu javno dostupnih i domaćih podatkovnih skupova. Konačno, prikazujemo rezultate našeg sudjelovanja u natjecanju Robust Vision Challenge 2020.