Analiza eficientei algoritmilor

Vom dezvolta in acest capitol aparatul matematic necesar pentru analiza eficientei algoritmilor, incercand ca aceasta incursiune matematica sa nu fie excesiv de formala. Apoi, vom arata, pe baza unor exemple, cum poate fi analizat un algoritm. O atentie speciala o vom acorda tehnicilor de analiza a algoritmilor recursivi.

1 Notatia asimptotica

In Capitolul 1 am dat un inteles intuitiv situatiei cand un algoritm necesita un timp in ordinul unei anumite functii. Revenim acum cu o definitie riguroasa.

1.1 O notatie pentru "ordinul lui"

Fie N multimea numerelor naturale (pozitive sau zero) si R multimea numerelor reale. Notam prin N⁺ si R⁺ multimea numerelor naturale, respectiv reale, strict pozitive, si prin R multimea numerelor reale nenegative. Multimea de constante booleene o notam cu B. Fie f : N   R o functie arbitrara. Definim multimea

O( f ) = 

Cu alte cuvinte, O( f ) (se citeste "ordinul lui f ") este multimea tuturor functiilor t marginite superior de un multiplu real pozitiv al lui f, pentru valori suficient de mari ale argumentului. Vom conveni sa spunem ca t este in ordinul lui f (sau, echivalent, t este in O( f ), sau t I O( f )) chiar si atunci cand valoarea f (n) este negativa sau nedefinita pentru anumite valori n < n₀. In mod similar, vom vorbi despre ordinul lui f chiar si atunci cand valoarea t(n) este negativa sau nedefinita pentru un numar finit de valori ale lui n; in acest caz, vom alege n₀ suficient de mare, astfel incat, pentru n ³ n₀, acest lucru sa nu mai apara. De exemplu, vom vorbi despre ordinul lui n/log n, chiar daca pentru n = 0 si n = 1 functia nu este definita. In loc de t I O( f ), uneori este mai convenabil sa folosim notatia t(n) I O( f (n)), subintelegand aici ca t(n) si f (n) sunt functii.

Fie un algoritm dat si fie o functie t : N   R astfel incat o anumita implementare a algoritmului sa necesite cel mult t(n) unitati de timp pentru a rezolva un caz de marime n, n I N. Principiul invariantei (mentionat in Capitolul 1) ne asigura ca orice implementare a algoritmului necesita un timp in ordinul lui t. Mai mult, acest algoritm necesita un timp in ordinul lui f pentru orice functie f : N   R pentru care t I O( f ). In particular, t I O(t). Vom cauta in general sa gasim cea mai simpla functie f, astfel incat t I O( f ).

Proprietatile de baza ale lui O( f ) sunt date ca exercitii (Exercitiile 1-7) si este recomandabil sa le studiati inainte de a trece mai departe.

Notatia asimptotica defineste o relatie de ordine partiala intre functii si deci, intre eficienta relativa a diferitilor algoritmi care rezolva o anumita problema. Vom da in continuare o interpretare algebrica a notatiei asimptotice. Pentru oricare doua functii f , g : N   R , definim urmatoarea relatie binara: f £ g daca O( f )   O(g). Relatia "£" este o relatie de ordine partiala in multimea functiilor definite pe N si cu valori in R (Exercitiul 6). Definim si o relatie de echivalenta: f º g daca O( f ) = O(g).

In multimea O( f ) putem inlocui pe f cu orice alta functie echivalenta cu f. De exemplu, lg n º ln n º log n si avem O(lg n) = O(ln n) = O(log n). Notand cu O(1) ordinul functiilor marginite superior de o constanta, obtinem ierarhia:

O(1) Ì O(log n) Ì O(n) Ì O(n log n) Ì O(n²) Ì O(n³) Ì O(2ⁿ)

Aceasta ierarhie corespunde unei clasificari a algoritmilor dupa un criteriu al performantei. Pentru o problema data, dorim mereu sa obtinem un algoritm corespunzator unui ordin cat mai "la stanga". Astfel, este o mare realizare daca in locul unui algoritm exponential gasim un algoritm polinomial.

In Exercitiul 7 este data o metoda de simplificare a calculelor, in care apare notatia asimptotica. De exemplu,

n³ 3n² n 8 I O(n³ (3n² n 8)) = O(max(n³, 3n² n 8)) = O(n³)

Ultima egalitate este adevarata, chiar daca max(n³, 3n² n 8) ¹ n³ pentru 0 £ n £ 3, deoarece notatia asimptotica se aplica doar pentru n suficient de mare. De asemenea,

     n³ 3n² n 8 I O(n³/2 (n³/2 3n² n 8))      = O(max(n³/2, n³/2 3n² n 8))
                             = O(n³/2) = O(n³)

chiar daca pentru 0 £ n £ 6 polinomul este negativ. Exercitiul 8 trateaza cazul unui polinom oarecare.

Notatia O( f ) este folosita pentru a limita superior timpul necesar unui algoritm, masurand eficienta algoritmului respectiv. Uneori este util sa estimam si o limita inferioara a acestui timp. In acest scop, definim multimea

W( f ) = 

Exista o anumita dualitate intre notatiile O( f ) si W( f ). Si anume, pentru doua functii oarecare f, g : N   R , avem: f I O(g), daca si numai daca g I W( f ).

O situatie fericita este atunci cand timpul de executie al unui algoritm este limitat, atat inferior cat si superior, de cate un multiplu real pozitiv al aceleiasi functii. Introducem notatia

 Q( f ) = O( f )   W( f )

numita ordinul exact al lui f. Pentru a compara ordinele a doua functii, notatia Q nu este insa mai puternica decat notatia O, in sensul ca relatia O( f ) = O(g) este echivalenta cu Q( f ) = Q(g).

Se poate intampla ca timpul de executie al unui algoritm sa depinda simultan de mai multi parametri. Aceasta situatie este tipica pentru anumiti algoritmi care opereaza cu grafuri si in care timpul depinde atat de numarul de varfuri, cat si de numarul de muchii. Notatia asimptotica se generalizeaza in mod natural si pentru functii cu mai multe variabile. Astfel, pentru o functie arbitrara f : N   N   R definim

O( f ) = 

Similar, se obtin si celelalte generalizari.

1.2 Notatia asimptotica conditionata

Multi algoritmi sunt mai usor de analizat daca consideram initial cazuri a caror marime satisface anumite conditii, de exemplu sa fie puteri ale lui 2. In astfel de situatii, folosim notatia asimptotica conditionata. Fie f : N   R o functie arbitrara si fie P : N   B un predicat.

O( f | P) = 

Notatia O( f ) este echivalenta cu O( f | P), unde P este predicatul a carui valoare este mereu true. Similar, se obtin notatiile W( f | P) si Q( f | P).

O functie f : N   R este eventual nedescrescatoare, daca exista un n₀, astfel incat pentru orice n ³ n₀ avem f (n) £ f (n 1), ceea ce implica prin inductie ca, pentru orice n ³ n₀ si orice m ³ n, avem f (n) £ f (m). Fie b ³ 2 un intreg oarecare. O functie eventual nedescrescatoare este b-neteda daca f (bn) I O( f (n)). Orice functie care este b-neteda pentru un anumit b ³ 2 este, de asemenea, b-neteda pentru orice b ³ 2 (demonstrati acest lucru!); din aceasta cauza, vom spune pur si simplu ca aceste functii sunt netede. Urmatoarea proprietate asambleaza aceste definitii, demonstrarea ei fiind lasata ca exercitiu.

Proprietatea 1 Fie b ³ 2 un intreg oarecare, f : N   R o functie neteda si t : N   R o functie eventual nedescrescatoare, astfel incat

t(n) I X( f (n) | n este o putere a lui b)

unde X poate fi O, W, sau Q. Atunci, t I X( f ). Mai mult, daca t I Q( f ), atunci si functia t este neteda.

Pentru a intelege utilitatea notatiei asimptotice conditionate, sa presupunem ca timpul de executie al unui algoritm este dat de ecuatia

unde a, b I R⁺ sunt constante arbitrare. Este dificil sa analizam direct aceasta ecuatie. Daca consideram doar cazurile cand n este o putere a lui 2, ecuatia devine

Prin tehnicile pe care le vom invata la sfarsitul acestui capitol, ajungem la relatia

t(n) I Q(n log n | n este o putere a lui 2)

Pentru a arata acum ca t I Q(n log n), mai trebuie doar sa verificam daca t este eventual nedescrescatoare si daca n log n este neteda.

Prin inductie, vom demonstra ca ( n ³ 1) [t(n) £ t(n 1)]. Pentru inceput, sa notam ca

t(1) = a £ 2(a b) = t(2)

Fie n > 1. Presupunem ca pentru orice m < n avem t(m) £ t(m 1). In particular,

t( n/2û) £ t( (n 1)/2û)

t( n/2ù) £ t( (n 1)/2ù)

Atunci,

t(n) = t( n/2û) t( n/2ù) bn £ t( (n 1)/2û) t( (n 1)/2ù) b(n 1) = t(n 1)

In fine, mai ramane sa aratam ca n log n este neteda. Functia n log n este eventual nedescrescatoare si

2n log(2n) = 2n(log 2   log n) = (2 log 2)n   2n log n
              I O(n   n log n) = O(max(n, n log n)) = O(n log n)

De multe ori, timpul de executie al unui algoritm se exprima sub forma unor inegalitati de forma

si, simultan

pentru anumite constante c, d I R⁺, n₀ I N si pentru doua functii t₁, t₂ : N   R⁺. Notatia asimptotica ne permite sa scriem cele doua inegalitati astfel:

               t(n) I t( n/2û)   t( n/2ù)   O(n)
respectiv
               t(n) I t( n/2û)   t( n/2ù)   W(n)

Aceste doua expresii pot fi scrise si concentrat:

t(n) I t( n/2û)   t( n/2ù)   Q(n)

Definim functia

Am vazut ca f I Q(n log n). Ne intoarcem acum la functia t care satisface inegalitatile precedente. Prin inductie, se demonstreaza ca exista constantele v £ d, u ³ c, astfel incat

v £ t(n)/f (n) £ u

pentru orice n I N⁺. Deducem atunci

t I Q( f ) = Q(n log n)

Aceasta tehnica de rezolvare a inegalitatilor initiale are doua avantaje. In primul rand, nu trebuie sa demonstram independent ca t I O(n log n) si t I W(n log n). Apoi, mai important, ne permite sa restrangem analiza la situatia cand n este o putere a lui 2, aplicand apoi Proprietatea 1. Deoarece nu stim daca t este eventual nedescrescatoare, nu putem aplica Proprietatea 1 direct asupra inegalitatilor initiale.

2 Tehnici de analiza a algoritmilor

Nu exista o formula generala pentru analiza eficientei unui algoritm. Este mai curand o chestiune de rationament, intuitie si experienta. Vom arata, pe baza exemplelor, cum se poate efectua o astfel de analiza.

2.1 Sortarea prin selectie

Consideram algoritmul select din Sectiunea 1.3. Timpul pentru o singura executie a buclei interioare poate fi marginit superior de o constanta a. In total, pentru un i dat, bucla interioara necesita un timp de cel mult b a(n i) unitati, unde b este o constanta reprezentand timpul necesar pentru initializarea buclei. O singura executie a buclei exterioare are loc in cel mult c b a(n i) unitati de timp, unde c este o alta constanta. Algoritmul dureaza in total cel mult

unitati de timp, d fiind din nou o constanta. Simplificam aceasta expresie si obtinem

(a/2)n²   (b c a/2)n   (d c b)

de unde deducem ca algoritmul necesita un timp in O(n²). O analiza similara asupra limitei inferioare arata ca timpul este de fapt in Q(n²). Nu este necesar sa consideram cazul cel mai nefavorabil sau cazul mediu, deoarece timpul de executie este independent de ordonarea prealabila a elementelor de sortat.

In acest prim exemplu am dat toate detaliile. De obicei, detalii ca initializarea buclei nu se vor considera explicit. Pentru cele mai multe situatii, este suficient sa alegem ca barometru o anumita instructiune din algoritm si sa numaram de cate ori se executa aceasta instructiune. In cazul nostru, putem alege ca barometru testul din bucla interioara,  acest test executandu-se de n(n 1)/2 ori. Exercitiul 23 ne sugereaza ca astfel de simplificari trebuie facute cu discernamant.

2.2 Sortarea prin insertie

Timpul pentru algoritmul insert (Sectiunea1.3) este dependent de ordonarea prealabila a elementelor de sortat. Vom folosi comparatia "x < T[ j]" ca barometru.

Sa presupunem ca i este fixat si fie x = T[i], ca in algoritm. Cel mai nefavorabil caz apare atunci cand x < T[ j] pentru fiecare j intre 1 si i 1, algoritmul facand in aceasta situatie i 1 comparatii. Acest lucru se intampla pentru fiecare valoare a lui i de la 2 la n, atunci cand tabloul T este initial ordonat descrescator. Numarul total de comparatii pentru cazul cel mai nefavorabil este

I Q(n²)

Vom estima acum timpul mediu necesar pentru un caz oarecare. Presupunem ca elementele tabloului T sunt distincte si ca orice permutare a lor are aceeasi probabilitate de aparitie. Atunci, daca 1 £ k £ i, probabilitatea ca T[i] sa fie cel de-al k-lea cel mai mare element dintre elementele T[1], T[2], ., T[i] este 1/i. Pentru un i fixat, conditia T[i] < T[i 1] este falsa cu probabilitatea 1/i, deci probabilitatea ca sa se execute comparatia "x < T[ j]", o singura data inainte de iesirea din bucla while, este 1/i. Comparatia "x < T[ j]" se executa de exact doua ori tot cu probabilitatea 1/i etc. Probabilitatea ca sa se execute comparatia de exact i 1 ori este 2/i, deoarece aceasta se intampla atat cand x < T[1], cat si cand T[1] £ x < T[2]. Pentru un i fixat, numarul mediu de comparatii este

c_i = 11/i   21/i +¼+ (i 2) 1/i   (i 1) 2/i = (i 1)/2   1/i

Pentru a sorta n elemente, avem nevoie de  comparatii, ceea ce este egal cu

(n² 3n)/4   H_n I Q(n²)

unde prin H_n= I Q(log n) am notat al n-lea element al seriei armonice (Exercitiul 17).

Se observa ca algoritmul insert efectueaza pentru cazul mediu de doua ori mai putine comparatii decat pentru cazul cel mai nefavorabil. Totusi, in ambele situatii, numarul comparatiilor este in Q(n²).

Algoritmul necesita un timp in W(n²), atat pentru cazul mediu, cat si pentru cel mai nefavorabil. Cu toate acestea, pentru cazul cel mai favorabil, cand initial tabloul este ordonat crescator, timpul este in O(n). De fapt, in acest caz, timpul este si in W(n), deci este in Q(n).

2.3 Heapsort

Vom analiza, pentru inceput, algoritmul make-heap din Sectiunea3.4. Definim ca barometru instructiunile din bucla repeat a algoritmului sift-down. Fie m numarul maxim de repetari al acestei bucle, cauzat de apelul lui sift-down(T, i), unde i este fixat. Notam cu j_t valoarea lui j dupa ce se executa atribuirea "j   k" la a t-a repetare a buclei. Evident, j₁ = i. Daca 1 < t £ m, la sfarsitul celei de-a (t 1)-a repetari a buclei, avem j ¹ k si k ³ 2j. In general, j_t ³ 2j_t-1 pentru 1 < t £ m. Atunci,

n ³ j_m ³ 2j_m-1 ³ 4j_m-2 ³ . ³ 2^m-1i

Rezulta 2^m-1 £ n/i, iar de aici obtinem relatia m £ 1   lg(n/i).

Numarul total de executari ale buclei repeat la formarea unui heap este marginit superior de

,  unde a =  n/2û              ( )

Pentru a simplifica aceasta expresie, sa observam ca pentru orice k ³ 0

,  unde b = 2^k  si  c = 2^k+1 1

Descompunem expresia ( ) in sectiuni corespunzatoare puterilor lui 2 si notam d =  lg(n/2)û :

Demonstratia ultimei inegalitati rezulta din Exercitiul 26. Dar d =  lg(n/2)û implica d 1 £ lg n si d 1 ³ lg(n/8). Deci,

Din ( ) deducem ca n/2û+3n repetari ale buclei repeat sunt suficiente pentru a construi un heap, deci make-heap necesita un timp t I O(n). Pe de alta parte, deoarece orice algoritm pentru formarea unui heap trebuie sa utilizeze fiecare element din tablou cel putin o data, t I W(n). Deci, t I Q(n). Puteti compara acest timp cu timpul necesar algoritmului slow-make-heap (Exercitiul 28).

Pentru cel mai nefavorabil caz, sift-down(T[1 .. i 1], 1) necesita un timp in O(log n) (Exercitiul 27). Tinand cont si de faptul ca algoritmul make-heap este liniar, rezulta ca timpul pentru algoritmul heapsort pentru cazul cel mai nefavorabil este in O(n log n). Mai mult, timpul de executie pentru heapsort este de fapt in Q(n log n), atat pentru cazul cel mai nefavorabil, cat si pentru cazul mediu.

Algoritmii de sortare prezentati pana acum au o caracteristica comuna: se bazeaza numai pe comparatii intre elementele tabloului T. Din aceasta cauza, ii vom numi algoritmi de sortare prin comparatie. Vom cunoaste si alti algoritmi de acest tip: bubblesort, quicksort, mergesort. Sa observam ca, pentru cel mai nefavorabil caz, orice algoritm de sortare prin comparatie necesita un timp in W(n log n) (Exercitiul 30). Pentru cel mai nefavorabil caz, algoritmul heapsort este deci optim (in limitele unei constante multiplicative). Acelasi lucru se intampla si cu mergesort.

2.4 Turnurile din Hanoi

Matematicianul francez duard Lucas a propus in 1883 o problema care a devenit apoi celebra, mai ales datorita faptului ca a prezentat-o sub forma unei legende. Se spune ca Brahma a fixat pe Pamant trei tije de diamant si pe una din ele a pus in ordine crescatoare 64 de discuri de aur de dimensiuni diferite, astfel incat discul cel mai mare era jos. Brahma a creat si o manastire, iar sarcina calugarilor era sa mute toate discurile pe o alta tija. Singura operatiune permisa era mutarea a cate unui singur disc de pe o tija pe alta, astfel incat niciodata sa nu se puna un disc mai mare peste unul mai mic. Legenda spune ca sfarsitul lumii va fi atunci cand calugarii vor savarsi lucrarea. Aceasta se dovedeste a fi o previziune extrem de optimista asupra sfarsitului lumii. Presupunand ca in fiecare secunda se muta un disc si lucrand fara intrerupere, cele 64 de discuri nu pot fi mutate nici in 500 de miliarde de ani de la inceputul actiunii!

Observam ca pentru a muta cele mai mici n discuri de pe tija i pe tija j (unde 1 £ i £ 3, 1 £ j £ 3, i ¹ j, n ³ 1), transferam cele mai mici n 1 discuri de pe tija i pe tija 6 i j, apoi transferam discul n de pe tija i pe tija j, iar apoi retransferam cele n 1 discuri de pe tija 6 i j pe tija j. Cu alte cuvinte, reducem problema mutarii a n discuri la problema mutarii a n 1 discuri. Urmatoarea procedura descrie acest algoritm recursiv.

procedure Hanoi(n, i, j)
    
     if n > 0 then    Hanoi(n 1, i, 6 i j)
            write i " " j
            Hanoi(n 1, 6 i j, j)

Pentru rezolvarea problemei initiale, facem apelul Hanoi(64, 1, 2).

Consideram instructiunea write ca barometru. Timpul necesar algoritmului este exprimat prin urmatoarea recurenta:

Vom demonstra in Sectiunea 2 ca t(n) = 2ⁿ 1. Rezulta t I Q(2ⁿ).

Acest algoritm este optim, in sensul ca este imposibil sa mutam n discuri de pe o tija pe alta cu mai putin de 2ⁿ 1 operatii. Implementarea in oricare limbaj de programare care admite exprimarea recursiva se poate face aproape in mod direct.

3 Analiza algoritmilor recursivi

Am vazut in exemplul precedent cat de puternica si, in acelasi timp, cat de eleganta este recursivitatea in elaborarea unui algoritm. Nu vom face o introducere in recursivitate si nici o prezentare a metodelor de eliminare a ei. Cel mai important castig al exprimarii recursive este faptul ca ea este naturala si compacta, fara sa ascunda esenta algoritmului prin detaliile de implementare. Pe de alta parte, apelurile recursive trebuie folosite cu discernamant, deoarece solicita si ele resursele calculatorului (timp si memorie). Analiza unui algoritm recursiv implica rezolvarea unui sistem de recurente. Vom vedea in continuare cum pot fi rezolvate astfel de recurente. Incepem cu tehnica cea mai banala.

3.1 Metoda iteratiei

Cu putina experienta si intuitie, putem rezolva de multe ori astfel de recurente prin metoda iteratiei: se executa primii pasi, se intuieste forma generala, iar apoi se demonstreaza prin inductie matematica ca forma este corecta. Sa consideram de exemplu recurenta problemei turnurilor din Hanoi. Pentru un anumit n > 1 obtinem succesiv

Rezulta t(n) = 2ⁿ 1. Prin inductie matematica se demonstreaza acum cu usurinta ca aceasta forma generala este corecta.

3.2 Inductia constructiva

Inductia matematica este folosita de obicei ca tehnica de demonstrare a unei asertiuni deja enuntate. Vom vedea in aceasta sectiune ca inductia matematica poate fi utilizata cu succes si in descoperirea enuntului asertiunii. Aplicand aceasta tehnica, putem simultan sa demonstram o asertiune doar partial specificata si sa descoperim specificatiile care lipsesc si datorita carora asertiunea este corecta. Vom vedea ca aceasta tehnica a inductiei constructive este utila pentru rezolvarea anumitor recurente care apar in contextul analizei algoritmilor. Incepem cu un exemplu.

Fie functia f : N   N, definita prin recurenta

Sa presupunem pentru moment ca nu stim ca f (n) = n(n 1)/2 si sa cautam o astfel de formula. Avem

si deci, f (n) I O(n²). Aceasta ne sugereaza sa formulam ipoteza inductiei specificate partial IISP(n) conform careia f este de forma f (n) = an² bn c. Aceasta ipoteza este partiala, in sensul ca a, b si c nu sunt inca cunoscute. Tehnica inductiei constructive consta in a demonstra prin inductie matematica aceasta ipoteza incompleta si a determina in acelasi timp valorile constantelor necunoscute a, b si c.

Presupunem ca IISP(n 1) este adevarata pentru un anumit n ³ 1. Atunci,

f (n) = a(n 1)² b(n 1) c n = an² (1 b 2a)n (a b c)

Daca dorim sa aratam ca IISP(n) este adevarata, trebuie sa aratam ca f (n) = an² bn c. Prin identificarea coeficientilor puterilor lui n, obtinem ecuatiile 1 b 2a = b si a b c = c, cu solutia a = b = 1/2, c putand fi oarecare. Avem acum o ipoteza mai completa, pe care o numim tot IISP(n): f (n) = n²/2 n/2 c. Am aratat ca, daca IISP(n 1) este adevarata pentru un anumit n ³ 1, atunci este adevarata si IISP(n). Ramane sa aratam ca este adevarata si IISP(0). Trebuie sa aratam ca f (0) = a 0 b 0 c = c. Stim ca f (0) = 0, deci IISP(0) este adevarata pentru c = 0. In concluzie, am demonstrat ca f (n) = n²/2 n/2 pentru orice n.

3.3 Recurente liniare omogene

Exista, din fericire, si tehnici care pot fi folosite aproape automat pentru a rezolva anumite clase de recurente. Vom incepe prin a considera ecuatii recurente liniare omogene, adica de forma

a₀t_n   a₁t_n-1   ¼   a_kt_n-k = 0          ( )

unde t_i sunt valorile pe care le cautam, iar coeficientii a_i sunt constante.

Conform intuitiei, vom cauta solutii de forma

t_n = xⁿ

unde x este o constanta (deocamdata necunoscuta). Incercam aceasta solutie in ( ) si obtinem

 a₀xⁿ   a₁x^n-1      a_kx^n-k = 0

Solutiile acestei ecuatii sunt fie solutia triviala x = 0, care nu ne intereseaza, fie solutiile ecuatiei

 a₀x^k   a₁x^k-1      a_k = 0

care este ecuatia caracteristica a recurentei ( ).

Presupunand deocamdata ca cele k radacini r₁, r₂, , r_k ale acestei ecuatii caracteristice sunt distincte, orice combinatie liniara

este o solutie a recurentei ( ), unde constantele c₁, c₂, , c_k sunt determinate de conditiile initiale. Este remarcabil ca ( ) are numai solutii de aceasta forma.

Sa exemplificam prin recurenta care defineste sirul lui Fibonacci (din Sectiunea 1.6.4):

t_n = t_n-1   t_n-2       n ³ 2

iar t₀ = 0, t₁ = 1. Putem sa rescriem aceasta recurenta sub forma

t_n  t_n-1  t_n-2 = 0

care are ecuatia caracteristica

x²  x  1 = 0

cu radacinile r_1,2 = (1 )/2. Solutia generala are forma

Impunand conditiile initiale, obtinem

c₁   c₂      = 0         n = 0
r₁c₁   r₂c₂ = 1         n = 1

de unde determinam

c_1,2 = 

Deci, . Observam ca r₁ = f = (1)/2, r₂ = -f^-1 si obtinem

(fⁿ (-f)^-n)

care este cunoscuta relatie a lui de Moivre, descoperita la inceputul secolului XVI. Nu prezinta nici o dificultate sa aratam acum ca timpul pentru algoritmul fib1 (din Sectiunea 1.6.4) este in Q(fⁿ).

Ce facem insa atunci cand radacinile ecuatiei caracteristice nu sunt distincte? Se poate arata ca, daca r este o radacina de multiplicitate m a ecuatiei caracteristice, atunci t_n = rⁿ, t_n = nrⁿ, t_n = n²rⁿ, , t_n = n^m-1rⁿ sunt solutii pentru ( ). Solutia generala pentru o astfel de recurenta este atunci o combinatie liniara a acestor termeni si a termenilor proveniti de la celelalte radacini ale ecuatiei caracteristice. Din nou, sunt de determinat exact k constante din conditiile initiale.

Vom da din nou un exemplu. Fie recurenta

t_n = 5t_n-1  8t_n-2   4t_n-3       n ³ 3

iar t₀ = 0, t₁ = 1, t₂ = 2. Ecuatia caracteristica are radacinile 1 (de multiplicitate 1) si 2 (de multiplicitate 2). Solutia generala este:

t_n = c₁1ⁿ   c₂2ⁿ   c₃n2ⁿ

Din conditiile initiale, obtinem c₁ =  2, c₂ = 2, c₃ =  1/2.

3.4 Recurente liniare neomogene

Consideram acum recurente de urmatoarea forma mai generala

a₀t_n   a₁t_n-1      a_kt_n-k = bⁿp(n)        ( )

unde b este o constanta, iar p(n) este un polinom in n de grad d. Ideea generala este ca, prin manipulari convenabile, sa reducem un astfel de caz la o forma omogena.

De exemplu, o astfel de recurenta poate fi:

t_n   2t_n-1 = 3ⁿ

In acest caz, b = 3 si p(n) = 1, un polinom de grad 0. O simpla manipulare ne permite sa reducem acest exemplu la forma ( ). Inmultim recurenta cu 3, obtinand

3t_n  6t_n-1 = 3ⁿ⁺¹

Inlocuind pe n cu n 1 in recurenta initiala, avem

t_n+1  2t_n = 3ⁿ⁺¹

In fine, scadem aceste doua ecuatii

t_n+1  5t_n   6t_n-1 = 0

Am obtinut o recurenta omogena pe care o putem rezolva ca in sectiunea precedenta. Ecuatia caracteristica este:

x²  5x   6 = 0

adica (x 2)(x 3) = 0.

Intuitiv, observam ca factorul (x 2) corespunde partii stangi a recurentei initiale, in timp ce factorul (x 3) a aparut ca rezultat al manipularilor efectuate, pentru a scapa de parte dreapta.

Generalizand acest procedeu, se poate arata ca, pentru a rezolva ( ), este suficient sa luam urmatoarea ecuatie caracteristica:

(a₀x^k   a₁x^k-1   ¼   a_k)(x b)^d+1 = 0

Odata ce s-a obtinut aceasta ecuatie, se procedeaza ca in cazul omogen.

Vom rezolva acum recurenta corespunzatoare problemei turnurilor din Hanoi:

t_n = 2t_n-1   1       n ³ 1

iar t₀ = 0. Rescriem recurenta astfel

t_n   2t_n-1 = 1

care este de forma ( ) cu b = 1 si p(n) = 1, un polinom de grad 0. Ecuatia caracteristica este atunci (x 2)(x 1) = 0, cu solutiile 1 si 2. Solutia generala a recurentei este:

t_n = c₁1ⁿ   c₂2ⁿ

Avem nevoie de doua conditii initiale. Stim ca t₀ = 0; pentru a gasi cea de-a doua conditie calculam

t₁ = 2t₀  1

Din conditiile initiale, obtinem

t_n = 2ⁿ  1

Daca ne intereseaza doar ordinul lui t_n, nu este necesar sa calculam efectiv constantele in solutia generala. Daca stim ca t_n = c₁1ⁿ  c₂2ⁿ, rezulta t_n I O(2ⁿ). Din faptul ca numarul de mutari a unor discuri nu poate fi negativ sau constant, deoarece avem in mod evident t_n ³ n, deducem ca c₂ > 0. Avem atunci t_n I W(2ⁿ) si deci, t_n I Q(2ⁿ). Putem obtine chiar ceva mai mult. Substituind solutia generala inapoi in recurenta initiala, gasim

1 = t_n   2t_n-1 = c₁   c₂2ⁿ 2(c₁   c₂2^n-1) =  c₁

Indiferent de conditia initiala, c₁ este deci 1.

3.5 Schimbarea variabilei

Uneori, printr-o schimbare de variabila, putem rezolva recurente mult mai complicate. In exemplele care urmeaza, vom nota cu T(n) termenul general al recurentei si cu t_k termenul noii recurente obtinute printr-o schimbare de variabila. Presupunem pentru inceput ca n este o putere a lui 2.

Un prim exemplu este recurenta

T(n) = 4T(n/2)   n        n > 1

in care inlocuim pe n cu 2^k, notam t_k = T(2^k) = T(n) si obtinem

t_k = 4t_k-1   2^k

Ecuatia caracteristica a acestei recurente liniare este

(x 4)(x 2) = 0

si deci, t_k = c₁4^k   c₂2^k. Inlocuim la loc pe k cu lg n

T(n) = c₁n²   c₂n

Rezulta

T(n) I O(n² | n este o putere a lui 2)

Un al doilea exemplu il reprezinta ecuatia

T(n) = 4T(n/2)   n²        n > 1

Procedand la fel, ajungem la recurenta

t_k = 4t_k-1   4^k

cu ecuatia caracteristica

(x 4)² = 0

si solutia generala t_k = c₁4²   c₂k4². Atunci,

T(n) = c₁n²   c₂n²lg n

si obtinem

T(n) I O(n²log n | n este o putere a lui 2)

In fine, sa consideram si exemplul

T(n) = 3T(n/2)   cn       n > 1

c fiind o constanta. Obtinem succesiv

T(2^k) = 3T(2^k-1)   c2^k

t_k = 3t_k-1   c2^k

cu ecuatia caracteristica

(x 3)(x 2) = 0

t_k = c₁3^k   c₂2^k

T(n) = c₁3^lg n   c₂n

si, deoarece

a^lg b = b^lg a

obtinem

T(n) = c₁n^lg 3   c₂n

deci,

T(n) I O(n^lg 3 | n este o putere a lui 2)

In toate aceste exemple am folosit notatia asimptotica conditionata. Pentru a arata ca rezultatele obtinute sunt adevarate pentru orice n, este suficient sa adaugam conditia ca T(n) sa fie eventual nedescrescatoare. Aceasta, datorita Proprietatii 1 si a faptului ca functiile n², n log n si n^lg 3 sunt netede.

Putem enunta acum o proprietate care este utila ca reteta pentru analiza algoritmilor cu recursivitati de forma celor din exemplele precedente. Proprietatea, a carei demonstrare o lasam ca exercitiu, ne va fi foarte utila la analiza algoritmilor divide et impera din Capitolul 7.

Proprietatea 2 Fie T : N   R⁺ o functie eventual nedescrescatoare

T(n) = aT(n/b)   cn^k        n > n₀

unde: n₀ ³ 1, b ³ 2 si k ³ 0 sunt intregi; a si c sunt numere reale pozitive; n/n₀ este o putere a lui b. Atunci avem

4 Exercitii

1       Care din urmatoarele afirmatii sunt adevarate?

i)     n² I O(n³)

ii)    n³ I O(n²)

iii)  2ⁿ⁺¹ I O(2ⁿ)

iv)   (n 1)! I O(n!)

v)     pentru orice functie f : N   R ,  f I O(n) Þ [ f ² I O(n²)]

vi)   pentru orice functie f : N   R ,  f I O(n) Þ [2 ^f I O(2ⁿ)]

2       Presupunand ca f este strict pozitiva pe N, demonstrati ca definitia lui O( f ) este echivalenta cu urmatoarea definitie:

O( f ) = 

3       Demonstrati ca relatia "I O" este tranzitiva: daca f I O(g) si g I O(h), atunci f I O(h). Deduceti de aici ca daca g I O(h), atunci O(g)   O(h).

4       Pentru oricare doua functii f, g : N   R , demonstrati ca:

i)     O( f ) = O(g)        Û      f I O(g)  si  g I O( f )

ii)    O( f ) Ì O(g)       Û      f I O(g)  si  g Ï O( f )

5       Gasiti doua functii f, g : N   R , astfel incat f Ï O(g) si g Ï O( f ).

Indicatie: f (n) = n,  g(n) = n^{1+sin n}

6       Pentru oricare doua functii f, g : N   R definim urmatoarea relatie binara: f £ g daca O( f )   O(g). Demonstrati ca relatia "£" este o relatie de ordine partiala in multimea functiilor definite pe N si cu valori in R .

Indicatie: Trebuie aratat ca relatia este partiala, reflexiva, tranzitiva si antisimetrica. Tineti cont de Exercitiul

7       Pentru oricare doua functii f, g : N   R demonstrati ca

O( f g) = O(max( f, g))

unde suma si maximul se iau punctual.

8       Fie f (n) = a_mn^m . a₁n   a₀ un polinom de grad m, cu a_m > 0. Aratati ca  f I O(n^m).

9       O(n²) = O(n³ (n² n³)) = O(max(n³, n² n³)) = O(n³)

Unde este eroarea?

10     Gasiti eroarea in urmatorul lant de relatii:

11     Fie f , g : N   R⁺. Demonstrati ca:

Observatie: Implicatiile inverse nu sunt in general adevarate, deoarece se poate intampla ca limitele sa nu existe.

12     Folosind regula lui l'Hspital si Exercitiile 4, 11, aratati ca

log n I O( ),    dar     Ï O(log n)

Indicatie: Prelungim domeniile functiilor pe R⁺, pe care sunt derivabile si aplicam regula lui l'Hspital pentru log n/ .

13     Pentru oricare f, g : N   R , demonstrati ca:

 f I O(g)   Û   g I W( f )

14     Aratati ca f I Q(g) daca si numai daca

( c, d I R⁺) ( n₀ I N) ( n ³ n₀) [cg(n) £ f (n) £ dg(n)]

15     Demonstrati ca urmatoarele propozitii sunt echivalente, pentru oricare doua functii f, g : N   R .

i)     O( f ) = O(g)

ii)    Q( f ) = Q(g)

iii)         f I Q(g)

16     Continuand Exercitiul 11, aratati ca pentru oricare doua functii f, g : N   R⁺ avem:

i)      I R⁺       Þ      f I Q(g)

ii)     = 0        Þ      f I O(g)   dar   f Ï Q(g)

iii)   = +¥     Þ      f I W(g)   dar   f Ï Q(g)

17     Demonstrati urmatoarele afirmatii:

i)     log_an I Q(log_bn)   pentru oricare  a, b > 1

iv)   log n! I Q(n log n)

Indicatie: La punctul iii) se tine cont de relatia:

= ln n   g   1/2n   1/12n²   

unde g = 0,5772  este constanta lui Euler.

La punctul iv), din n! < nⁿ, rezulta log n! I O(n log n). Sa aratam acum, ca log n! I W(n log n). Pentru 0 £ i £ n 1 este adevarata relatia

(n i)(i 1) ³ n

Deoarece

(n )² = (n1) ((n ) 2) ((n 2) 3) (2 (n 1)) (1 n) ³ nⁿ

rezulta 2 log n! ³ n log n si deci log n! I W(n log n).

Punctul iv) se poate demonstra si altfel, considerand aproximarea lui Stirling:

unde e = 1,71828 .

18     Aratati ca timpul de executie al unui algoritm este in Q(g), g : N   R , daca si numai daca: timpul este in O(g) pentru cazul cel mai nefavorabil si in W(g) pentru cazul cel mai favorabil.

19     Pentru oricare doua functii f, g : N   R demonstrati ca

Q( f ) Q(g) = Q( f   g) = Q(max( f, g)) = max(Q( f ), Q(g))

unde suma si maximul se iau punctual.

20     Demonstrati Proprietatea 1. Aratati pe baza unor contraexemple ca cele doua conditii "t(n) este eventual nedescrescatoare" si "f (bn) I O( f (n))" sunt necesare.

21     Analizati eficienta urmatorilor patru algoritmi:

for i 1 to n do               for i 1 to n do
     for j 1 to 5 do                 for j 1 to i 1 do
                        

for i 1 to n do               for i 1 to n do
     for j 1 to 6 do                for j 1 to i do
          for k 1 to n do               for k 1 to n do
                    

22     Construiti un algoritm cu timpul in Q(n log n).

23     Fie urmatorul algoritm

 k 0
     for i 1 to n do
          for j 1 to T[i] do
      k k T[ j]

unde T este un tablou de n intregi nenegativi. In ce ordin este timpul de executie al algoritmului?

Solutie: Fie s suma elementelor lui T. Daca alegem ca barometru instructiunea "k   k T[ j]", calculam ca ea se executa de s ori. Deci, am putea deduce ca timpul este in ordinul exact al lui s. Un exemplu simplu ne va convinge ca am gresit. Presupunem ca T[i] = 1, atunci cand i este un patrat perfect, si T[i] = 0, in rest. In acest caz, s =  û. Totusi, algoritmul necesita timp in ordinul lui W(n), deoarece fiecare element al lui T este considerat cel putin o data. Nu am tinut cont de urmatoarea regula simpla: putem neglija timpul necesar initializarii si controlului unei bucle, dar cu conditia sa includem "ceva" de fiecare data cand se executa bucla.

Iata acum analiza detailata a algoritmului. Fie a timpul necesar pentru o executare a buclei interioare, inclusiv partea de control. Executarea completa a buclei interioare, pentru un i dat, necesita b aT[i] unitati de timp, unde constanta b reprezinta timpul pentru initializarea buclei. Acest timp nu este zero, cand T[i] = 0. Timpul pentru o executare a buclei exterioare este c b aT[i], c fiind o noua constanta. In fine, intregul algoritm necesita  unitati de timp, unde d este o alta constanta. Simplificand, obtinem (c b)n as d. Timpul t(n, s) depinde deci de doi parametri independenti n si s. Avem: t I Q(n s) sau, tinand cont de Exercitiul 19, t I Q(max(n, s)).

24     Pentru un tablou T[1 .. n], fie urmatorul algoritm de sortare:

for i   n downto 1 do
     for j   2 to i do
          if T[ j 1] > T[ j] then interschimba T[ j 1] si T[ j]

Aceasta tehnica de sortare se numeste metoda bulelor (bubble sort).

i)     Analizati eficienta algoritmului, luand ca barometru testul din bucla interioara.

ii)    Modificati algoritmul, astfel incat, daca pentru un anumit i nu are loc nici o interschimbare, atunci algoritmul se opreste. Analizati eficienta noului algoritm.

25     Fie urmatorul algoritm

for i   0 to n do
     j   i
     while j ¹ 0 do j   j div 2

Gasiti ordinul exact al timpului de executie.

26     Demonstrati ca pentru oricare intregi pozitivi n si d

Solutie:

Mai ramane sa aratati ca

27     Analizati algoritmii percolate si sift-down pentru cel mai nefavorabil caz, presupunand ca opereaza asupra unui heap cu n elemente.

Indicatie: In cazul cel mai nefavorabil, algoritmii percolate si sift-down necesita un timp in ordinul exact al inaltimii arborelui complet care reprezinta heap-ul, adica in Q( lg nû) = Q(log n).

28     Analizati algoritmul slow-make-heap pentru cel mai nefavorabil caz.

Solutie: Pentru slow-make-heap, cazul cel mai nefavorabil este atunci cand, initial, T este ordonat crescator. La pasul i, se apeleaza percolate(T[1 .. i], i), care efectueaza lg iû comparatii intre elemente ale lui T. Numarul total de comparatii este atunci

C(n) £ (n 1)  lg nû I O(n log n)

Pe de alta parte, avem

In Exercitiul 17 am aratat ca lg n! I W(n log n). Rezulta C(n) I W(n log n) si timpul este deci in Q(n log n).

29     Aratati ca, pentru cel mai nefavorabil caz, timpul de executie al algoritmului heapsort este si in W(n log n), deci in Q(n log n).

30     Demonstrati ca, pentru cel mai nefavorabil caz, orice algoritm de sortare prin comparatie necesita un timp in W(n log n). In particular, obtinem astfel, pe alta cale, rezultatul din Exercitiul 29.

Solutie: Orice sortare prin comparatie poate fi interpretata ca o parcurgere a unui arbore binar de decizie, prin care se stabileste ordinea relativa a elementelor de sortat. Intr-un arbore binar de decizie, fiecare varf neterminal semnifica o comparatie intre doua elemente ale tabloului T si fiecare varf terminal reprezinta o permutare a elementelor lui T. Executarea unui algoritm de sortare corespunde parcurgerii unui drum de la radacina arborelui de decizie catre un varf terminal. La fiecare varf neterminal se efectueaza o comparatie intre doua elemente T[i] si T[ j]: daca T[i] £ T[ j] se continua cu comparatiile din subarborele stang, iar in caz contrar cu cele din subarborele drept. Cand se ajunge la un varf terminal, inseamna ca algoritmul de sortare a reusit sa stabileasca ordinea elementelor din T.

Fiecare din cele n! permutari a celor n elemente trebuie sa apara ca varf terminal in arborele de decizie. Vom lua ca barometru comparatia intre doua elemente ale tabloului T. Inaltimea h a arborelui de decizie corespunde numarului de comparatii pentru cel mai nefavorabil caz. Deoarece cautam limita inferioara a timpului, ne intereseaza doar algoritmii cei mai performanti de sortare, deci putem presupune ca numarul de varfuri este minim, adica n!. Avem: n! £ 2^h (demonstrati acest lucru!), adica h ³ lg n!. Considerand si relatia log n! I W(n log n) (vezi Exercitiul 17), rezulta ca timpul de executie pentru orice algoritm de sortare prin comparatie este, in cazul cel mai nefavorabil, in W(n log n).

31     Analizati algoritmul heapsort pentru cel mai favorabil caz. Care este cel mai favorabil caz?

32     Analizati algoritmii fib2 si fib3 din Sectiunea 1.6.4.

Solutie:

i)    Se deduce imediat ca timpul pentru fib2 este in Q(n).

ii)   Pentru a analiza algoritmul fib3, luam ca barometru instructiunile din bucla while. Fie n_t valoarea lui n la sfarsitul executarii celei de-a t-a bucle. In particular, n₁ =  n/2û. Daca 2 £ t £ m, atunci

n_t =  n_t-1/2û £ n_t-1/2

Deci,

n_t £ n_t-1/2 £ . £ n/2^t

Fie m = 1    lg nû. Deducem:

n_m £ n/2^m < 1

Dar, n_m I N, si deci, n_m = 0, care este conditia de iesire din bucla. Cu alte cuvinte, bucla este executata de cel mult m ori, timpul lui fib3 fiind in O(log n). Aratati ca timpul este de fapt in Q(log n).

La analiza acestor doi algoritmi, am presupus implicit ca operatiile efectuate sunt independente de marimea operanzilor. Astfel, timpul necesar adunarii a doua numere este independent de marimea numerelor si este marginit superior de o constanta. Daca nu mai consideram aceasta ipoteza, atunci analiza se complica.

33     Rezolvati recurenta t_n   3t_n-1   4t_n-2 = 0, unde n ³ 2, iar t₀ = 0, t₁ = 1.

34     Care este ordinul timpului de executie pentru un algoritm recursiv cu recurenta t_n = 2t_n-1   n.

Indicatie: Se ajunge la ecuatia caracteristica (x 2)(x 1)² = 0, iar solutia generala este t_n = c₁2ⁿ  c₂1ⁿ  c₃n1ⁿ. Rezulta t I O(2ⁿ).

Substituind solutia generala inapoi in recurenta, obtinem ca, indiferent de conditia initiala, c₂ =  2 si c₃ =  1. Atunci, toate solutiile interesante ale recurentei trebuie sa aiba c₁ > 0 si ele sunt toate in W(2ⁿ), deci in Q(2ⁿ).

Scrieti o varianta recursiva a algoritmului de sortare prin insertie si determinati ordinul timpului de executie pentru cel mai nefavorabil caz.

Indicatie: Pentru a sorta T[1 .. n], sortam recursiv T[1 .. n 1] si inseram T[n] in tabloul sortat T[1 .. n

Determinati prin schimbare de variabila ordinul timpului de executie pentru un algoritm cu recurenta T(n) = 2T(n/2)   n lg n, unde n > 1 este o putere a lui 2.

Indicatie: T(n) I O(n log²n | n este o putere a lui 2)

37     Demonstrati Proprietatea 2, folosind tehnica schimbarii de variabila.