Compensarea globala a miscarii

Compensarea globala a miscarii

1. Prezentarea algoritmului de compensare globala a miscarii

Compensarea globala a miscarii este procesul de rasucire a intregului cadru cu o singura transformare de coordonata. Acest lucru poate fi eficient in special la compensarea miscarii globale datorate deplasarii camerei si/sau zoomului intregii scene si este adesea combinat cu compensarea standard a miscarii prin potrivirea de blocuri.

In acest demers parametrii pentru compensarea globala a miscarii sunt cuantizati si trimisi spre decodor ca informatie colaterala, astfel incat cadrele anterioare decodate sa poata fi rasucite si folosite ca referinta pentru cadrul curent predictat.

In cele ce urmeaza s-a dezvoltat un procedeu in care compensarea globala a miscarii este folosita pentru rasucirea secventei de imagini video inaintea codarii subbanda tridimensionale. Parametrii compensarii globale a miscarii sunt transmisi decodorului, pentru ca imaginile codate sa poata fi compensate inaintea afisarii.

Metodele pentru estimarea parametrilor miscarii globale pentru codarea video au fost intens studiate si ele sunt similare celor pentru estimarea miscarii pentru imagini mozaicate. Cele mai multe metode de estimare a miscarii globale sunt bazate pe tehnici de gradient. Deoarece aceste metode sunt iterative si susceptibile a determina minime locale, ele sunt mai bine folosite in cadrul optimizarii ierarhice. In cele ce urmeaza, coeficientii vor fi determinati intr-o singura iteratie folosind metoda celor mai mici patrate, pe baza corespondentelor caracteristicilor, care in esenta au aceeasi complexitate ca si estimarea miscarii pe baza potrivirii blocurilor in codarea video traditionala. In acest scop, obiectul atentiei este un model de miscare afin, dar daca posibilitatile computationale o permit, se poate folosi si o perspectiva planara sau un model de miscare mai complexa.

Fie o secventa de imagini video sau cadre, fiecare avand un sistem de coordonate in care x creste spre dreapta si y creste de sus in jos. Intre fiecare pereche de cadre si , pentru t=1,2,.,T, se realizeaza transformarea afina a coordonatelor , care contine 6 parametri.

(1)

Aceasta transforma coordonatele sistemului cadrului t in coordonatele sistemului cadrului t-1, astfel incat imaginile si sunt aliniate optim in sensul erorii patratice.

(2)

Alinierea optimala poate fi aproximata cu un cost computational mic folosind potrivirea standard de bloc pentru a stabili multimea punctelor de corespondenta si folosind o tehnica bazata pe cele mai mici patrate pentru determinarea parametrilor afini.

In figura 1 este prezentata secventa de cadre , t=1,2,.,T, si transformarile afine de compensare a miscarii , intre ele. Cu aceste transformari inversabile, se pot modifica, prin rasucire, coordonatele sistemului din fiecare cadru in coordonatele sistemului oricarui alt cadru. In particular, fie transformarea care transforma coordonatele sistemului cadrului 0. Mai mult, fie transformarea care transforma coordonatele sistemului din cadrul t in coordonatele sistemului cadrului s, pentru orice s si t=0,1,.,T.

In figura 2 sunt prezentate cadrele t=0,1,.,T dupa transformarile de coordonate in sistemul de coordonate ale unui cadru de referinta s. In secventa video ipotetica din care a rezultat aceasta figura, camera s-a deplasat spre dreapta, in timp ce s-a rotit incet in sensul acelor de ceasornic, initial marind scena, apoi micsorand-o.

Cadrul s a fost selectat drept cadru de referinta, deoarece sistemul sau de coordonate infatiseaza scena la rezolutie maxima, cand scena este micsorata. Aceasta inseamna ca rezolutia pixelului in sistemul de coordonate al cadrului s este echivalenta cu rezolutia sub-pixelului in sistemele de coordonate ale altor cadre. Mai precis, un pixel de arie unitara in cadrul s se transforma in aria a unui paralelogram din cadrul t, unde . De fapt, un mod de a alege cadrul de referinta consta in a-l alege pe acela care minimizeaza determinantul pentru un cadru arbitrar t. Alegerea lui t este irelevanta, deoarece, daca s minimizeaza , atunci este minimizat si pentru orice alt .

Fig. 1. Secventa de cadre nerasucite si transformarile afine de compensare a miscarii intre ele

Fig. 2. Secventa de cadre rasucite intr-un sistem comun de coordonate (sistemul de coordonate al cadrului s, figurat cu gri)

Odata ales cadrul de referinta s, cei 6 parametri pentru fiecare transformare de coordonate , t=0,1,.,T, trebuie cuantizati si apoi transmisi spre decodor spre a fi folositi pentru inversarea rasucirii.

O metoda de cuantizare a parametrilor care asigura robustete la eroarea de rasucire geometrica este cuantizarea scalara uniforma a coordonatelor (in sistemul de coordonate al cadrului s) a celor 3 colturi (in total 6 parametri) ai fiecarui cadru. S-a dovedit eficienta folosirea unui codor simplu cu rata fixa de 16biti/coeficient. Pentru informatia globala de miscare s-au alocat 96 biti-cadru, care reprezinta un procent mic din rata totala de bit.

In continuare este necesar a alege un contur dreptunghiular, numit cutie, care sa margineasca toate cadrele din sistemul de coordonate al cadrului de referinta. O astfel de cutie delimitatoare este figurata punctat in figura 2. Dupa calculul acesteia, poate fi stabilit un volum tridimensional de pixeli cu coordonatele

, si

care sa contina cadrele rasucite.

Fie un pixel in acest volum, astfel incat imaginea sa fie imaginea rasucita si esantionata in sistemul de coordonate al cadrului s.

Cu notatia , daca se seteaza la valoarea obtinuta prin interpolarea bicubica a punctului . In caz contrar, nu se defineste.

Pixelii definiti din volumul , si formeaza acum o regiune arbitrara de suport tridimensionala [3D, RAS] in interiorul unui volum limitat rectiliniu.

In continuare se efectueaza o descompunere subbanda sau wavelet, se cuantizeaza si se codeaza coeficientii rezultati ai transformarii, dupa care se completeaza tot volumul folosind schema de completare din standardul MPEG-4.

Se reconstruiesc imaginile nerasucite tot prin interpolare bicubica din versiunea completata a lui .

Impunand , este egal cu interpolarea bicubica a punctului .

Completarea volumului asigura ca totdeauna vor fi unele contexte pentru interpolarea biliniara de la marginile volumului [3D RAS] . In final se afiseaza secventa de imagini , t=0,1,.,T. Numarul de cadre s-a limitat la 16 si 32.

2. Rezultate experimentale

Cu ajutorul codorului propus s-au rulat doua secvente de test standard: Stefan si paza de coasta. Cadrele au fost completate de-a lungul marginilor prin replicare, pentru a inlatura liniile negre din secventa originala. Aceasta s-a efectuat pentru a preveni marginile negre artificiale din volumul rasucit codat. Aceleasi secvente de test au fost analizate si cu standardul H263+. Au fost codate primele 288 de cadre cu ambele codoare si s-a calculat PSNR pentru luminanta pentru fiecare cadru, apoi s-a mediat pentru intreaga secventa. Rezultatele sunt prezentate in Tabelele 1 si, respectiv, 2.

Tabelul 1 PSNR mediu (in dB) pentru luminanta

pentru secventa de test paza de coasta"

Tabelul 2 PSNR mediu (in dB) pentru luminanta

pentru secventa de test "Stefan"

Rezultatele arata ca pentru o rata de bit scazuta, codorul care foloseste compensarea tridimensionala a miscarii lucreaza la fel de bine ca si H263+.

In figurile 3 si 4 sunt prezentate graficele pentru PSNR pentru luminanta pentru cele doua secvente.

Fig. 3. PSNR pentru luminanta pentru "Paza de coasta" la 50 kbps

Fig. 4. PSNR pentru luminanta pentru "Stefan" la 100 kbps

Caderile abrupte ce se observa din grafic pentru codorul 3D sunt caracteristice in general codoarelor subbanda si apar din cauza efectelor de margine din transformarea temporala. Trebuie precizat ca in momentul obtinerii rezultatelor, transformarea folosita pentru regiunea arbitrara de suport a fost usor supraesantionata. In plus, toti coeficientii din volumul marginit rectangular au fost codati cu setarea coeficientilor din afara regiunii de suport la zero.

Un avantaj notabil al algoritmului 3D compensat consta in aceea ca miscarea dominanta poate fi codata cu o fidelitate crescuta fata de miscarile secundare. De fapt, compensarea miscarii dominante afecteaza frecvent codarea miscarilor secundare, prin descresterea suprapunerii spatiale dintre cadrele succesive ale obiectelor secundare. Aceasta conduce la descompunerea obiectelor secundare in semnale temporale de banda larga, cu energia distribuita intr-un numar mare de subbenzi. Desi toate subbenzile sunt cuantizate cu aceeasi marime a pasului la fiecare iteratie, obiectul dominant compensat are mai multe subbenzi care pot fi aproximate cu zero decat obiectele secundare. Asadar, obiectele secundare contin mai multe erori in ce priveste energia, din cauza contributiei erorilor de cuantizare dintr-un numar mai mare de subbenzi diferite de zero. Aceasta poate fi un efect nedorit, deoarece multe miscari secundare pot fi ale obiectelor din prim plan care prezinta interes pentru privitor.

Din punct de vedere computational, codorul si decodorul neoptimizat sunt cu cca. un ordin de marime mai lente decat implementarea rapida H263+. Prima dificultate consta in numarul mare de calcule in virgula mobila necesare obtinerii reesantionarii afine de inalta calitate folosita pentru rasucirea cadrelor. Din punct de vedere al necesitatilor de memorie sau al intarzierii, standardul H263+ necesita stocarea numai a unui sau doua cadre pentru predictie. Algoritmul 3D proceseaza toate cadrele dintr-un grup de cadre ca un singur bloc, motiv pentru care nu este potrivit pentru aplicatii ce implica intarzieri mici, precum cele de teleconferinta. Necesitatile de memorie sunt de asemenea substantiale, deoarece trebuie stocati coeficientii wavelet pentru un bloc spatio - temporal mare.

3. Concluzii

S-a demonstrat un mod de a include compensarea globala a miscarii in codarea subbanda tridimensionala a semnalului video. Codoarele video subbanda tridimensionale prezinta avantajul ca produc coduri iterative performante, dar performantele lor nu sunt deosebite comparativ cu codoarele video care compenseaza miscarea predictiv pentru secvente in care miscare este simplu compensata, cum ar fi miscarea camerei stanga - dreapta si miscarea rigida. S-a ajuns la concluzia ca pentru aceste secvente, codarea subbanda 3D cu compensarea miscarii globale este competitiva cu standardul H263+. Pentru secvente ce prezinta multiple miscari rigide, codarea subbanda 3D cu compensarea miscarii globale prezinta performante oarecum inferioare celor ale codarii video predictive standard. Acest lucru ar putea fi imbunatatit prin segmentare si codarea mai multor miscari.