|
Rezultate etapa 2008-1.1.B. |
|
Content-Based Semantic Retrieval of Video Documents, Application to Navigation, Research and Automatic Content Abstraction.
CNCSIS project RP-2 |
|
Obiectiv: detectia tranzitiilor de tip “fade”.
O tranzitie de tip "fade" este o tranzitie video graduala ce corespunde efectului optic prin care imaginea de interes apare progresiv dintr-o imagine constanta, de regula neagra. Acest efect este numit si "fade-in". Procesul invers, respectiv de disparitie progresiva a imaginii curente catre un fond constant, este numit "fade-out" (vezi Figura 1.3.). Deseori, cele doua tipuri de "fade" sunt folosite impreuna, unul dupa altul, pentru a forma o secventa de tip "fade-out" - "fade-in". In acest caz cele doua tranzitii se comporta ca o singura tranzitie globala numita si grup de "fade".
Figura 1.3. Exemplu de tranzitie de tip „fade-in” (prima secventa) si respectiv „fade-out” (a doua secventa, axa oX corespunde axei temporale, imagini din documentarele BBC „Planet Earth”)
Secventa de imagini ce constituie o tranzitie de tip "fade" de durata T, notata F(x,y,t), unde (x,y) reprezinta spatiul imagine iar t dimensiunea temporala, este definita matematic ca fiind transformarea intensitatilor pixelilor secventei S(x,y,t) printr-o functie monotona f(t) [Lienhart 01].
Metoda propusa:
Comparata cu varietatea de metode disponibile pentru detectia tranzitiilor abrupte de tip "cut", metodele existente pentru detectia de "fade" sunt mai putin numeroase. Acest lucru se datoreaza pe de-o parte complexitatii algoritmilor de detectie precum si a faptului ca frecventa acestora in secventa este net inferioara tranzitiilor de tip "cut". Metodele de detectie de "fade" existente sunt orientate catre trei axe principale de studiu, si anume: metode bazate pe analiza intensitatii pixelilor, metode bazate pe analiza contururilor si respectiv metode ce folosesc alte surse de informatie decat cele clasice enumerate anterior [Ren 03].
Metoda propusa se incadreaza in prima categorie de metode si se foloseste de ipoteza ca pe durata unei tranzitii de tip „fade-in” intensitatea luminoasa creste progresiv pana la sfarsitul tranzitiei cand aceasta devine aproximativ constanta. Noutatea acesteia consta in modul de fuzionare a informatiei de luminanta cu informatia de crominanta pentru imbunatatirea invariantei detectiei la prezenta zgomotului in imagine si respectiv la fluctuatiile intensitatii luminoase datorate prezentei miscarii (vezi diagrama de functionare).
Algoritmul de detectie este urmatorul. Ca si in cazul detectiei de „cuts” redundanta spatiala a imaginilor secventei este redusa prin esantionarea spatiala a acestora, astfel incat rezolutia obtinuta sa se situeze in jurul valorii de 100x100 pixeli. In acest caz nu folosim o esantionare temporala a imaginilor deoarece aceasta va avea ca efect alterarea tranzitiilor liniare ale parametrilor analizati.
Pentru imaginea curent analizata la momentul temporal k, I(k), o prima operatie consta in trecerea in spatiul de culoare YCbCr, spatiu ce permite separarea componentei de intensitate luminoasa (Y) de componenetele de crominanta (Cb, Cr). Mai departe, continutul global de culoare al imaginii va fi reprezentat cu trei parametrii, si anume: valoarea medie pe imagine a componentei Y, varianta componentei Y in imagine si respectiv diferenta absoluta dintre valorile medii pe imagine ale componentelor de crominanta Cb si Cr, parametru ce s-a dovedit a avea o sensibilitate redusa la prezenta miscarii.
Repetand procedeul pentru toate imaginile secventei vom obtine trei vectori de valori de dimensiune N. Inaintea detectiei propriu-zise, pentru a netezii micile variatii ale valorilor parametrilor, acestia sunt filtrati cu un filtru median ce are proprietatea de a pastra topologia tranzitiilor graduale. Mai departe, inceputul unei tranzitii de tip „fade-in” este detectat la momentul k daca sunt indeplinite conditiile urmatoare:
- imaginea la momentul k este o imagine constanta: varianta componentei Y este inferioara unui prag ales experimental p=5,
- imaginea la momentul k+1 nu este o imagine constanta (varianta componentei Y este superioara pragului anterior p). Aceasta conditie permite pozitionarea inceputului tranzitiei „fade-in” chiar inaintea momentului in care imaginea finala a acestuia incepe sa apara.
- D(k+2,k+1)>0.2D(k+1,k) unde D(k+2,k+1)=Y(k+2)-Y(k+1) iar Y(k) reprezinta valoarea medie pe imaginea la momentul k a componentei Y. Aceasta conditie asigura evitarea confuziei tranzitiei de tip „fade” cu o tranzitie abrupta de tip „cut” ce se traduce printr-o valoare D(k+2,k+1) redusa (imaginile la momentele k+2 si respectiv k+1 sunt similare).
Dupa ce inceputul unei posibile tranzitii de tip „fade-in” a fost detectat la momentul k, urmatoarea etapa consta in validarea acestuia. Pornind de la imaginea la momentul k+1 pentru fiecare imagine la momentul k+i, cu i>1, verificam ca valorile Y(k+i) si respectiv C(k+i)=|Cb(k+i)-Cr(k+i)| (Cb(k) si Cr(k) reprezinta valorile medii pe imagine ale componentelor Cb si respectiv Cr) au o evolutie temporala crescatoare, si anume (pentru comparatie am folosit o toleranta de 2%):
Y(k+i)>0.98Y(k+i-1) sau C(k+i)>0.98C(k+i-1)
Daca pentru o anumita imagine la momentul k+i conditia anterioara nu mai este satisfacuta, sau daca indicele i este superior duratei maximale a unei tranzitii de tip „fade” (considerata ca fiind de 20 de imagini) atunci detectia se incheie. O ultima validare a detectiei este realizata prin verificarea ca durata tranzitiei este mai mare de 3 imagini, valoare ce constituie numarul minim de imagini ce poate fi continut de o tranzitie de tip „fade”.
Cum o tranzitie de tip „fade-out” este inversul unei tranzitii de tip „fade-in”, detectia acestora se va face in mod similar doar ca analiza este efctuata in sensul negativ al axei temporale.
Rezultate experimentale:
Metoda propusa a fost testata pe o serie de secvente de imagini cu o durata totala de 102 minute si continand 37 de tranzitii de tip „fade-in” si respectiv 56 tranzitii „fade-out”. Pentru validarea detectiei, tranzitiile video au fost mai intai adnotate manual. Calitatea detectiei a fost evaluata folosind erorile clasice de detectie si anume „precision” si „recall”. Rezultatele obtinute sunt prezentate in Tabelul 1.2.
Tabelul 1.2. Rezultatele evaluarii metodei de detectie de „fade” propuse (GD=Good Detection, FD=False Detection).
Global performantele obtinute sunt foarte bune, erorile de detectie situandu-se in general deasupra valorii de 90%. Detectiile eronate (FD) au fost datorate in principal aparitiei si a deplasarii obiectelor din scena ce provoaca o variatie progresiva a intensitatii luminoase, sau a tranzitiilor abrupte de tip „cut” dintre o imagine constanta si o secventa de imagini ce implica o miscare globala. Pe de alta parte, non-detectiile sunt datorate tranzitiilor „fade” de scurta durata in care intensitatea luminoasa a imagini ajunge la 90% in doar doua imagini si apoi atinge valoarea de 100% progresiv pe parcursul a mai multe imagini.
Interfata grafica in cadrul programului “Movie Analyzer”:
Metoda de detectie a tranzitiilor de tip „fade” propusa a fost implementata software si inclusa in interfata grafica a programului de prelucrare si analiza a documentelor video „Movie Analyzer”. Aceasta este prezentata in Figura 1.4.
Figura 1.4. Programul „Movie Analyser”: detectia de „fades” (imagine din filmul „Coeur de Secours” [CITIA]).
Interfata grafica a detectiei de „fades” face parte din functionalitatea de segmentare video (Video Segmentation) si comporta doua regiuni:
zona A: permite vizualizarea in timp real, pe masura ce detectia evolueaza, a celor trei parametrii globali ai imaginii folositi la detectie, si anume: valoarea medie pe imagine a componentei Y- linia rosie, varianta pe imagine a componentei Y- linia albastra si diferenta absoluta intre valorile medii ale componentelor Cb si Cr - linia verde. Controlul de vizualizare grafica folosit permite marirea si respectiv micsorarea anumitor regiuni de interes din grafic (vezi Figura 1.4.). Mai mult, prin efectuarea unui click pe o anumita valoare a graficului, imaginea curenta a secventei (vizualizata in partea stanga) se va pozitiona pe imaginea ce corespunde acestei valori. Aceste doua functionalitati permit analiza manuala a valorilor parametrilor obtinuti in concordanta cu continutul real al secventei.
zona B: este aceeasi pentru toate metodele de detectie a tranzitiilor video. Aceasta permite mai intai alegerea portiunii din secventa in care se va realiza detectia, prin alegerea intervalului [X;Y] („from X to Y”). Tot in aceasta zona se poate specifica pasul de analiza dorit S folosit la esantionarea temporala a secventei („with a frame step of S”). Validarea optiunii „Show graph” permite activarea (sau respectiv dezactivarea) vizualizarii grafice in timp real a parametrilor. De notat este faptul ca aceasta incetineste procesul de detectie, astfel ca in anumite cazuri este de preferat dezactivarea acesteia. Detectia demareaza prin apasarea butonului „Detect...”.
Ca si in cazul anterior al detectiei tranzitiilor de tip „cut”, in implementarea grafica a detectiei tranzitiilor de tip „fades” s-a urmarit ca parametrii de reglaj ai metodei sa fie „transparenti” pentru utilizator, acestia fiind setati implicit de catre sistem la valorile optimale. |
