Základní pojmy z teorie informace – množství informace, entropie, entropická funkce, redundance, vzájemná informace, binární kanál, kapacita kanálu

Základní pojmy z teorie informace – množství informace, entropie, entropická funkce, redundance, vzájemná informace, binární kanál, kapacita kanálu

Množství informace

je dána mírou neurčitosti, kterou má příjemce před přijetím zprávy. Množství informace je rovno entropii(= míra neurčitosti) daného jevu za předpokladu, že neurčitost je po přijetí plně odstraněna.

I(X) = H(X)

… míra neurčitosti

Determinované systémy mají nulovou entropii (neurčitost) a zprávy o jejich stavech nesou nulovou informaci. Naopak největší neurčitost má systém, jehož stavy nejsou stejně pravděpodobné tj. při rovnoměrném rozdělení pravděpodobnosti. Neurčitost systému (entropie) závisí tedy na počtu stavů systému i na jejich pravděpodobnosti.

Máme-li zprávu o n znacích se stejným množstvím průměrné informace na znak (se stejnou pravděpodobností výskytů jednotlivých znaků s), je průměrná informace zprávy o n znacích:

Jsou-li pravděpodobnosti výskytů jednotlivých stavů stejné, má zpráva maximální entropii.

Máme-li zprávu kde každý prvek má různou pravděpodobnost stavů použijeme:

Redundance

Je-li skuteční entropie H menší než maximální entropie H_max, znamená to, že zdroj nevyužívá plně své abecedy. Nevyužití abecedy se kvantitativně hodnotí redundancí neboli nadbytečností zdroje:

Redundance je z hlediska přenosu zpráv kanálem s rušením v podstatě žádoucí vlastností zdroje. Dává určitou možnost příjemci zpráv přijaté zpráva opravit (např. telegram s chybami). Na druhé straně je většinou původní nadbytečnost nevýhodná, neboť oprava chyb by vyžadovala složité zpracování. Je proto výhodnější původní nadbytečnost odstranit a místo ní zavést nadbytečnost novou, která efektivně zabezpečuje zprávy při přenosu hlukovým kanálem.

Vzájemná informace

Vzájemná informace je mírou množství informace, kterou obsahuje jedna náhodná proměnná o druhé.

Binární kanál

Kanálem rozumíme souhrn prostředků sloužících k přenosu signálu od zdroje k příjemci signálu. Binární kanál je určen pro přenos dvojkových signálů.

informační kanál - je popsán vstupní abecedou x, výstupní abecedou y a soborem podmíněných pravděpodobností p pro všechny i a j. p —> pravděpodobnost jevu, kdy bude na výstupu symbol y_j když na vstupu bude x_j.

zdroj informace - generuje na výstup a odtud do přenosového kanálu informaci přenosovou v_p  při známé v_m a H_max

informační kapacita c - schopnost kanálu přenášet maximální množství informace za jednotku času

Kapacita kanálu

Schopnost kanálu přenášet informaci se popisuje veličinou nazývanou propustnost neboli kapacita kanálu. Propustností kanálu rozumíme maximální množství informace, které je kanál schopen v průměru přenést jedním prvkem, nebo které je kanál schopen v průměru přenést za jednotku času.

[bit∙s^-1]

kde b - šířka pásma

p - signál

n - šum

- Odstup signál - šum

p

n