Quality of experience driven video encoding adaptation for multiparty audiovisual telemeetings on mobile devices : doctoral thesis - Dunja Vučić; Skorin-Kapov, Lea (Zagreb : D. Vučić, Faculty of electrical engineering and computing, 2021)
Video conferencing is becoming increasingly popular in both leisure and business contexts, offering opportunities to communicate with family, friends, and colleagues, increase productivity, reduce costs, and share information in real time. High resolution displays, front and rear cameras, high speed mobile networks and modern technologies, such as WebRTC (Web Real-Time Communication), are contributing to making video conferencing free and available "anywhere at any time''. However, given the strict delay and high bandwidth requirements associated with video conferencing services, along with variable mobile network resource availability and limited mobile end user device capabilities, dynamic service adaptation strategies are needed to achieve acceptable end-user perceived quality. The main objective of this research is to identify and quantify the impact of various encoding, system, and network influence factors on Quality of Experience (QoE) during multiparty audiovisual telemeetings on mobile devices, with the aim to work towards QoE-driven service adaptation strategies.
Understanding and modeling the QoE of audiovisual telemeeting services is a complex multi-layered problem, whereby numerous factors impacting QoE and related to the system, context or user make it difficult to obtain reliable models and interpret results. Therefore QoE management approaches generally do not focus on a single factor, but rather need to consider a combination of factors and their joint impact on QoE. To specify key system-, contextual-, and human influence factors that impact QoE and corresponding QoE dimensions in the context of multiparty audiovisual telemeetings on mobile devices, we conducted an online survey in order to gather user feedback (reported by 272 participants). Identified factors can be used as a predictors when modeling QoE and enhance model accuracy. However, besides higher complexity, models with a large number of predictors can suffer from the problem of overfitting and can be hard to interpret, especially when predictors are correlated with each other. Hence, a good balance between accuracy and complexity has to be found.
In this thesis, we present the results of six conducted empirical subjective user studies in a leisure context that investigate the impact of system, network, and video encoding parameters (namely video bitrate, resolution, and frame rate) on perceived quality for multiparty audiovisual telemeetings on mobile devices. Different test conditions based on the video encoding parameters were rated (in terms of perceived overall, audio, and video quality) during experiments, and provided the input for proposing QoE and perceived video quality estimation models. The proposed QoE model quantifies the relationship between QoE and perceived video and audio quality, while the perceived video quality model quantifies the relationship between objective (in terms of video encoding parameters, and in terms of blurriness and blockiness) and subjective quality. Based on the derived models, we proposed QoE-driven video encoding adaptation strategies for multiparty audiovisual telemeetings on mobile devices, designed to ensure satisfactory QoE under variable system and network resource availability constraints.
Posljednjih godina video pozivi su postali popularni kako u poslovnom tako i u privatnom kontkestu, omogućavajući komunikaciju s obitelji i prijateljima te kolegama uz smanjenje operativnih troškova i brže dijeljenje informacija. Zasloni visokih relozucija, kvalitetne prednje i stražnje kamere, moderne pokretne mreže te tehnologije poput WebRTC-a (Web Real-Time Communications), omogućile su besplatne pozive velikom broju korisnika pokretnih uređaja “bilo kad i bilo gdje”. Međutim, usluga video konferencije zahtijeva kratko kašnjenje i visoku propusnost, a zbog promjenjive dostupnosti resursa pokretne mreže kao i ograničenjima pokretnih uređaja, potrebno je definirati strategije dinamičke prilagodbe usluge kako bi se postigla prihvatljiva razina iskustvene kvalitete. Glavni cilj ovog istraživanja je identificirati i kvantificirati utjecaj različitih faktora (vezanih uz proces kodiranja, sustav i mrežu) na iskustvenu kvalitetu video poziva uspostavljenog putem pokretnih uređaja, kako bi se razvile strategije temeljene na prilagodbi kodiranja videa vođenoj poboljšanjem iskustvene kvalitete.
Razumijevanje i modeliranje iskustvene kvalitete za uslugu video poziva ostvarenog putem pokretnih uređaja je višeslojni problem, pri čemu brojni faktori koji utječu na iskustvenu kvalitetu, a povezani su sa sustavom, kontekstom ili korisnikom otežavaju dobivanje pouzdanih modela i tumačenje rezultata. Pri upravljanju iskustvenom kvalitetom nije dobro usredotočiti se samo na jedan faktor, već je potrebno uzeti u obzir kombinaciju faktora i njihov zajednički utjecaj na ukupnu percipiranu kvalitetu. Kako bi se odredili ključni faktori pojedine kategorije: sustav, kontekst i čovjek te odgovarajuće dimenzije iskustvene kvalitete u kontekstu video poziva s više korisnika ostvarenog putem pokretnih uređaja, provedena je anketa putem Interneta. U anketi je sudjelovalo 272 ljudi s ciljem prikupljanja informacija o stavovima i mišljenjima vezanim uz video poziv. Faktori identificirani anketom mogu se koristiti kao nezavisne varijable (prediktori) pri modeliranju iskustvene kvalitete. Međutim, pored veće složenosti, modeli koji uključuju veliki broj prediktora ponekad mogu dati dobre rezultate samo za određene slučajeve.
U radu su predstavljeni rezultati šest korisničkih studija postavljenih u privatnom kontekstu, kojima se istražuje utjecaj parametara sustava, mreže i video kodiranja (brzine kodiranja, rezolucije i brzine okvira) na iskustvenu kvalitetu video poziva s tri korisnika, uspostavljenog putem pametnih telefona. Sudionici su ocjenjivali percipiranu audio, video i ukupnu kvalitetu u različitim testnim scenarijima, a dobiveni podatci su korišteni za modeliranje procjene iskustvene kvalitete i percipirane video kvalitete. Predložen model iskustvene kvalitete kvantificira odnos temeljen na percipiranoj kvaliteti zvuka i videa, dok se model za procjenu percipirane video kvalitete temelji na parametrima video kodiranja. Razvijeni modeli služe kao podloga za definiranje strategije prilagodbe višekorisničkih audiovizualnih daljinskih sastanaka na pokretnim uređajima. Strategije su osmišljene tako da se video kvaliteta prilagodi mrežnoj okolini u kontekstu propusnosti, ali i mogućnostima krajnjih uređaja, s ciljem osiguranja prihvatljive iskustvene kvalitete percipirane od strane krajnjeg korisnika.
Bibliografija str. 185-197.