Rachunek prawdopodobieñstwa - podstawowe definicje.

Rachunek prawdopodobieñstwa - podstawowe definicje.

Niech E bædzie pewnym niepustym zbiorem - w dalszym ciàgu bædziemy go nazywaã przestrzenià zdarzeñ elementarnych. Elementy eIE bædziemy nazywaã zdarzeniami elementarnymi.

W E wyróýniamy pewnà rodzinæ S jego podzbiorów, speùniajàcà pewne warunki (omówione poniýej), które stwierdzajà ýe S jest tak zwanym s-ciaùem (lub inaczej: s-algebrà) podzbiorów przestrzeni E. Elementy A naleýàce do S (AIS) nazywamy zdarzeniami losowymi lub po prostu - zdarzeniami. (Tak wiæc, w szczególnoúci, zdarzenia losowe sà podzbiorami zbioru E, zaú elementami zdarzeñ losowych sà zdarzenia elementarne.) Warunki definicji s-ciaùa moýemy nieco nieúciúle wyraziã stwierdzeniem, ýe na zdarzeniach moýemy dokonywaã operacji sumy, iloczynu, róýnicy, dopeùnienia, a takýe sumy i iloczynu przeliczalnej iloúci zdarzeñ i w wyniku nadal otrzymujemy zdarzenia. Dokùadnie, S nazywamy s-ciaùem podzbiorów przestrzeni E, jeýeli

(i)  S 2^E, tzn. A E gdy AIS

(ii)  IS;

(iii) Jeýeli A_iIS dla i=1,2,3, oraz A=A₁ A₂ A₃ (suma przeliczalnej iloúci zdarzeñ), to AIS.

(iv) Jeýeli AIS, to A’ =EAIS

Jeýeli zbiór E jest skoñczony lub przeliczalny, to za S przyjmujemy na ogóù rodzinæ wszystkich podzbiorów przestrzeni E (S=2^E). Jeýeli E jest zbiorem nieprzeliczalnym, to okazuje siæ, ýe aby w ogóle moýna byùo okreúliã pewnà funkcjæ prawdopodobieñstwa (czyli tzw. miaræ unormowanà) P na S, S nie moýe siæ skùadaã ze wszystkich - lecz jedynie z niektórych podzbiorów przestrzeni E (zwanych niekiedy podzbiorami mierzalnymi). Waýnym, lecz nietrywialnym przykùadem jest s-ciaùo zbiorów Borelowskich na prostej - jest to najmniejsze s-ciaùo zbiorów, do którego naleýà wszystkie przedziaùy otwarte (a w konsekwencji, wszystkie zbiory otwarte, a wiæc i wszystkie zbiory domkniæte, dalej - przeliczalne przeciæcia zbiorów otwartych, przeliczalne sumy zbiorów domkniætych itd.).

P - funkcja prawdopodobieñstwa (miara unormowana) jest funkcjà P:S <0,1>, speùniajàcà nastæpujàce warunki (stwierdzajàce w istocie, ýe P jest miarà unormowanà):

(i)   P:S <0,1>, czyli P jest okreúlone na zdarzeniach (czyli zbiorach A naleýàcych do S) i 0 P(A) 1 dla kaýdego AIS

(ii) P(

(iii) Jeýeli A_iIS dla i=1,2,3, przy czym A_i A_j= dla i j (zbiory A_i sà parami rozùàczne), to P(A₁ A₂ A₃ )= P(A₁)+P(A₂)+P(A₃)+ (przeliczalna addytywnoúã prawdopodobieñstwa dla zbiorów parami rozùàcznych)

(iv) P(E)=1.

Wùasnoúci s-ciaùa (s-algebry) S oraz funkcji prawdopodobieñstwa P.

Definicja prawdopodobieñstwa warunkowego: niech P(B)>0, BIS

P(A|B)=P(A B)/P(B)  (AIS).

Tak wiæc P(A B)=P(A|B)P(B)  (takýe P(A B)=P(B|A)P(A), jeýeli P(A)>0)

Wzór na prawdopodobieñstwo caùkowite, wzór Bayesa:

Jeýeli A_j IS (i=1,2,,n) sà parami rozùàczne, P(A_i)>0  i A₁ A₂ A_n=E oraz BIS, to

P(B)=P(B|A₁)P(A₁)+ P(B|A₂)P(A₂)++ P(B|A_n)P(A_n).

Ponadto wtedy

P(A_k|B)=P(B|A_k)P(A_k)/P(B),

gdzie P(B) jest dane poprzednim wzorem.

Zmienne losowe.

Niech X:E R lub X:E R (tzw. rozszerzona funkcja rzeczywista, tzn. mogàca przyjmowaã takýe wartoúci – oraz + ). Mówimy, ýe funkcja X jest zmiennà losowà, jeýeli

(i)   Dla kaýdego przedziaùu P, zbiór jest zdarzeniem losowym, czyli naleýy do rodziny S; w szczególnoúci, jest okreúlone prawdopodobieñstwo tego zbioru, tzn. prawdopodobieñstwo, ýe zmienna losowa przyjmie wartoúã z przedziaùu P : P(), oznaczane w skrócie przez P(XIP

(ii)  P()=P()=0

Bædziemy zajmowaã siæ tylko zmiennymi losowymi dwóch nastæpujàcych typów (choã istniejà zmienne, które nie sà ýadnego z tych typów):

a) typu skokowego: zmienna, przyjmujàca skoñczonà lub przeliczalnà iloúã wartoúci, powiedzmy x_i z prawdopodobieñstwami odpowiednio p_i (suma wszystkich p_i jest równa 1);

b) typu ciàgùego: zmienna, dla której istnieje tzw. funkcja gæstoúci (krótko: gæstoúã) f, tzn. funkcja taka, ýe 1) f 0; 2) dla dowolnych a, b, P(a X b)=. Na to, aby funkcja f byùa gæstoúcià pewnej zmiennej losowej X potrzeba i wystarcza, aby f byùa nieujemna i .

Dystrybuanta zmiennej losowej jest to funkcja F:(– R, okreúlona przez warunek F(x)=P(X<x)=P(). (Kaýda zmienna losowa ma dystrybuantæ; nie kaýda zmienna losowa ma gæstoúã - tylko zmienna losowa typu ciàgùego ma gæstoúã.)

Dla zmiennej X typu skokowego, F(x) jest równe sumie tych prawdopodobieñstw p_i, dla których odpowiednie x_i speùniajà warunek x_i<x. Jeýeli zmienna losowa przyjmuje skoñczonà iloúã wartoúci (lub nieskoñczonà iloúã, ale odizolowanych od siebie wartoúci), to jej dystrybuanta jest funkcjà schodkowà.

Dla zmiennej losowej X typu ciàgùego o gæstoúci f mamy F(x)= . Wtedy F jest ciàgùa, ponadto F’(x)=f(x) w punktach ciàgùoúci funkcji f (wiæcej, nawet „prawie wszædzie”, tzn. wszædzie z wyjàtkiem byã moýe pewnego zbioru miary zero). Ponadto, wtedy P(X=x)=0 dla kaýdego x, tak ýe wszystkie prawdopodobieñstwa

P(a X<b), P(a X b), P(a<X<b), P(a<X b)

sà sobie równe (i równe caùce ).

Wùasnoúci dystrybuanty dowolnej zmiennej losowej X:

0 F(x) (jako prawdopodobieñstwo);

F - niemalejàca (oczywiste - zob. wùasnoúã 9 prawdopodobieñstwa);

jeýeli x dàýy do minus nieskoñczonoúci, to F(x) dàýy do 0;

jeýeli x dàýy do plus nieskoñczonoúci, to F(x) dàýy do 1;

F jest lewostronnie ciàgùa (wynika z wùasnoúci 6) prawdopodobieñstwa).

Wyraýenie prawdopodobieñstw przyjmowania wartoúci z pewnego przedziaùu przez zmiennà losowà za pomocà dystrybuanty:

P(a X<b)=F(b)–F(a)  P(a X b)=F(b+)–F(a)

P(a<X<b)=F(b)–F(a+) P(a<X b)=F(b+)–F(a+)

W szczególnoúci

P(X<a)=F(a), zgodnie z definicjà dystrybuanty; P(X a)=F(a+);

P(X a)=1–F(a);  P(X a)=1–F(a+).

Najwaýniejsze rozkùady prawdopodobieñstwa zmiennych losowych.

1) Rozkùad dwupunktowy: P(X=1)=p (0<p<1); P(X=0)=q=1–p

2) Rozkùad dwumianowy, czyli rozkùad Bernoulli’ego:

[ta definicja jest poprawna, gdyý ].

Rozkùad dwupunktowy jest oczywiúcie szczególnym przypadkiem rozkùadu Bernoulliego, z n=2. Iloúã sukcesów w n niezaleýnych eksperymentach, jeýeli prawdopodobieñstwo sukcesu w pojedynczym eksperymencie jest równe p , ma  rozkùad Bernoulliego. Zmiennà losowà o rozkùadzie Bernoulliego moýna traktowaã jako sumæ n niezaleýnych zmiennych losowych o rozkùadzie dwupunktowym: X=X₁+X₂+ +X_n (wynika to z prostego faktu, ýe suma wyrazów ciàgu, skùadajàcego siæ z samych zer i jedynek, jest równa wùaúnie iloúci jedynek w tym ciàgu.

3) Rozkùad Poissona: .

Rozkùad Poissona jest granicznym przypadkiem rozkùadu dwumianowego: gdy X_n majà rozkùad dwumianowy o parametrach n, p_n odpowiednio, n dàýy do nieskoñczonoúci, a prawdopodobieñstwa p_n dàýà do zera w ten sposób, ýe np_n dàýy do l, to prawdopodobieñstwa P(X_n=k) przy dowolnym k dàýà do odpowiednich prawdopodobieñstw w rozkùadzie Poissona. Rozkùad Poissona jest stablicowany.

4) Rozkùad normalny (Gaussa). Jest to rozkùad typu ciàgùego o gæstoúci

gdzie m (dowolne) i s>0 sà ustalonymi parametrami (ich sens zostanie wyjaúniony póêniej - okaýe siæ wtedy, ýe m jest wartoúcià oczekiwanà, zaú s - odchyleniem standardowym tej zmiennej). To, ýe podana funkcja jest rzeczywiúcie gæstoúcià, wynika z podstawowej caùki

.

Jeýeli zmienna losowa X ma rozkùad normalny o parametrach (m,s), to piszemy X~N(m,s). Jeýeli X~N(m,s), to zmienna ma rozkùad N(0,1), który jest stablicowany. Istniejà tablice gæstoúci (których uýywaã bædziemy rzadziej) oraz najwaýniejsze - które wystæpujà w dwóch wariantach: albo sà to bezpoúrednio tablice dystrybuanty F rozkùadu normalnego N(0,1) - charakteryzujà siæ tym, ýe F(0)=0,5 (np. tablice w skrypcie Eugenii Ciborowskiej - Wojdygi), albo teý tablice pomocniczej funkcji

(te tablice charakteryzujà siæ tym, ýe F(0)=0; mamy F(–x)=–F(x), F(x)=0,5+F(x); dla x<0 stosujemy F(x)=0,5–F(|x|)).

Funkcje zmiennych losowych.

Jeýeli X jest zmiennà losowà i jeýeli g:R R jest funkcjà takà, ýe g(X) jest równieý zmiennà losowà (jest tak na przykùad, gdy g jest funkcjà monotonicznà lub ciàgùà, lub - jeszcze ogólniej, tzw. funkcjà Baire’a, tj. takà, ýe dla dowolnego przedziaùu postaci (– ,a) jego przeciwobraz przy odwzorowaniu g jest równieý zbiorem borelowskim). Wtedy rozkùad zmiennej Y=g(X) moýemy znaleêã w sposób nastæpujàcy:

1) Jeýeli X jest zmiennà typu skokowego, przyjmujàcà wartoúci x_i z prawdopodobieñstwami odpowiednio p_i , to Y jest równieý zmiennà typu skokowego, przyjmujàcà wartoúci y_i =g(x_i) z prawdopodobieñstwami q_i , gdzie q_i jest równe sumie tych wszystkich p_j , ýe g(x_j)=y_i. (moýe siæ bowiem zdarzyã, ýe dla róýnych x_j ich obrazy przy g sà takie same.)

2) Dystrybuantæ F_Y zmiennej losowej Y=g(X) moýemy zawsze wyznaczyã poprzez dystrybuantæ F_X zmiennej losowej X: mamy F_Y(y)=P(Y<y)=P(g(X)<y), a dalszy proces obliczania F_Y zaleýy od tego, jakà postaã ma rozwiàzanie nierównoúci g(X)<y wzglædem X - musimy P(g(X)<y) wyraziã w postaci P(XIA_y), gdzie A_y jest pewnym zbiorem zaleýnym od y; jeýeli jest to suma przedziaùów, moýemy to prawdopodobieñstwo wyraziã za pomocà dystrybuanty F_X zmiennej X.

3) Jeýeli X jest typu ciàgùego o gæstoúci f_X, to zwiàzek pomiædzy gæstoúciami f_Y i f_X   otrzymujemy poprzez róýniczkowanie odpowiedniego zwiàzku pomiædzy dystrybuantami. Istnieje pewien wzór na zaleýnoúã pomiædzy gæstoúciami, ale niestety waýny tylko w przypadku, gdy g jest monotoniczna. Ogólnie rzecz bioràc, musimy rozpatrywaã róýne przypadki w zaleýnoúci od postaci rozwiàzania wspomnianych wyýej nierównoúci.

Zmienne losowe wielowymiarowe.

Niech (X,Y) bædzie dwuwymiarowà zmiennà losowà. Dla zmiennych typu skokowego, rozkùad jest wyznaczony przez podanie liczb p_ij=P(X=x_i,Y=y_j). Dla zmiennych typu ciàgùego istnieje gæstoúã, tzn. funkcja nieujemna f taka, ýe dla dowolnych a<b, c<d

P(a X b, c Y d)=. Oczywiúcie, .

Dla dwuwymiarowej zmiennej losowej moýemy zawsze wprowadziã dystrybuantæ F(x,y)=P(X<x,Y<y). Tak wiæc np.

P(a X<b, c Y<d)=F(b,d)–F(b,c)–F(a,d)+F(a,c).

Podanie rozkùadu dwuwymiarowego zmiennej (X,Y) okreúla, w szczególnoúci, rozkùady samych zmiennych X i Y - czyli tzw. rozkùady brzegowe. Dla zmiennych typu skokowego rozkùad X jest wyznaczony przez liczby p_i S_j p_ij , zaú rozkùad zmiennej Y jest wyznaczony przez liczby p _j S_i p_ij .

Mamy wtedy równieý F_X(x)=F_(X,Y)(x,+ ), F_Y(y)==F_(X,Y)(+ ,y).

Dla zmiennych typu ciàgùego, rozkùad (brzegowy) zmiennej X jest wyznaczony przez gæstoúã i analogicznie, rozkùad (brzegowy) zmiennej Y przez jej gæstoúã .

Mówimy, ýe zmienne losowe X i Y sà niezaleýne, jeýeli dla dowolnych przedziaùów P P zachodzi P(XIP ,YIP )=P(XIP ) P(YIP ). Jest to równowaýne temu, ýe

F_(X,Y)(x,y)=F_X(x)F_Y(y) dla dowolnych x, y.

Dla zmiennych typu ciàgùego mamy nastæpny równowaýny warunek: f_(X,Y)(x,y)=f_X(x)f_Y(y) dla dowolnych x, y.

Wartoúã oczekiwana i inne parametry zmiennej losowej

Wartoúcià oczekiwanà (lub wartoúcià úrednià) zmiennej losowej X nazywamy:

1) w przypadku zmiennej losowej typu skokowego, przyjmujàcej wartoúci x_i z prawdopodobieñstwami odpowiednio p_i - liczbæ

2) w przypadku zmiennej losowej typu ciàgùego o gæstoúci f - liczbæ

Definicje te moýemy uogólniã na przypadek, gdy dana jest pewna funkcja g zmiennej losowej X, i w konsekwencji mamy do czynienia z nowà zmiennà losowà Y=g(X). Jeýeli chcemy obliczyã jej wartoúã oczekiwanà E(Y)=E(g(X)), to z definicji musielibyúmy policzyã najpierw rozkùad (tzn. odpowiednie wartoúci y_i oraz ich prawdopodobieñstwa q_i dla zmiennej Y=g(X) albo teý odpowiednià gæstoúã f_Y zmiennej losowej Y) a nastæpnie zastosowaã odpowiedni z powyýszych wzorów. Okazuje siæ jednak, ýe wartoúã oczekiwanà zmiennej g(X) moýemy teý obliczyã bezpoúrednio, a mianowicie:

1) w przypadku zmiennej losowej typu skokowego, przyjmujàcej wartoúci x_i z prawdopodobieñstwami odpowiednio p_i -mamy

2) w przypadku zmiennej losowej typu ciàgùego o gæstoúci f - mamy

W szczególnoúci, moýemy okreúliã tzw. momenty (zwykùe) wyýszych rzædów (rzædu k):

1) w przypadku zmiennej losowej typu skokowego, przyjmujàcej wartoúci x_i z prawdopodobieñstwami odpowiednio p_i - mamy

2) w przypadku zmiennej losowej typu ciàgùego o gæstoúci f - mamy

Co wiæcej, wzory na E(g(X)) uogólniajà siæ nawet na przypadek funkcji dwóch lub wiæcej zmiennych losowych, np.

1) gdy (X,Y) jest dwuwymiarowà zmiennà losowà typu skokowego, p_ij=P(X=x_i,Y=y_j), to

2) gdy (X,Y) jest dwuwymiarowà zmiennà losowà typu ciàgùego o gæstoúci f(x,y), to

Wùasnoúci wartoúci oczekiwanej zmiennej losowej:

E(X+Y)=E(X)+E(Y);

E(aX)=aE(X).

Jeýeli zmienne losowe X i Y sà niezaleýne, to E(XY)=EX EY.

Wariancja i odchylenie standardowe zmiennej losowej

Niech X bædzie zmiennà losowà, przy czym zakùadamy, ýe istnieje jej wartoúã oczekiwana m=EX. Przez wariancjæ zmiennej losowej X rozumiemy liczbæ, oznaczanà przez D²X, WX lub VX, mianowicie

D²X=WX=VX=E[(X–m)²].

Tak wiæc, mamy

wzglædnie

odpowiednio dla zmiennej losowej typu skokowego oraz ciàgùego. Proste przeliczenie daje wzór WX = E(X²)–(EX)² . Odchyleniem standardowym zmiennej losowej X, oznaczanym przez s(X), nazywamy pierwiastek kwadratowy z wariancji zmiennej X.

Wùasnoúci wariancji:

W(aX)=|a|²WX;

W(X+Y)=WX+WY+2(E(XY)–(EX)(EY));

w szczególnoúci,  jeýeli X i Y sà niezaleýne, to W(X+Y)=WX+WY.

Analogicznie do wariancji, moýemy okreúliã tzw. moment centralny rzædu k jako

m_k(X) = E[(X–m)^k], gdzie m=EX jak poprzednio.

Parametry podstawowych rozkùadów.

Centralne twierdzenie graniczne (Lindenberga-Levy’ego).

Niech X₁,X₂, - bædzie ciàgiem niezaleýnych zmiennych losowych o jednakowym rozkùadzie, posiadajàcym wartoúã oczekiwanà m i odchylenie standardowe s. Niech

Niech

;

Y_n jest wiæc normalizacjà sumy X₁+X₂++X_n, przez odjæcie od niej jej wartoúci oczekiwanej (tzn. nm) i podzielenie jej przez jej odchylenie standardowe (tzn. ), co zapewnia, ýe E(Y_n)=0, s(Y_n)=1; ostatnià postaã otrzymujemy z kolei, dzielàc licznik i mianownik przez n.

Wtedy rozkùad zmiennej Y_n dàýy przy n do rozkùadu normalnego N(0,1) w tym sensie, ýe jego dystrybuanta dàýy (punktowo) do dystrybuanty F_N(0,1) rozkùadu normalnego N(0,1), tzn.

(„+” gdy y 0; „–” gdy y<0). Oznacza to, ýe dla duýych n zmienna losowa Y_n ma w przybliýeniu rozkùad normalny N(0,1). W praktyce przyjmujemy, ýe przybliýenie to jest wystarczajàco dobre dla n