Žinių pagrindai

Tarpusavio informacija matuoja statistinę priklausomybę bitais.

Entropija riboja nepriklausomų ir vienodai pasiskirsčiusių simbolių šaltinio asimptotinį glaudinimą.

Pralaidumas yra didžiausia asimptotiškai patikimo perdavimo sparta.

Pakankamas atstumas tarp kodinių žodžių leidžia atkurti pradinius duomenis, kai simbolių klaidų skaičius neviršija nustatytos ribos.

Protokolų sluoksniai paskirsto ryšio funkcijas.

TCP užtikrina baitų eiliškumą ir pakartotinai perduoda duomenis, kurių praradimas aptiktas.

Baigtiniams X,Y galioja H(X|Y)=Σy p(y)H(X|Y=y) ir H(X,Y)=H(Y)+H(X|Y).

Baigtiniams skirstiniams p,q galioja D(p‖q)=Σx p(x)log₂[p(x)/q(x)]≥0, o lygybė galioja tada ir tik tada, kai p=q.

Jei baigtinių reikšmių atsitiktiniai dydžiai X→Y→Z sudaro Markovo grandinę, t. y. Z yra sąlygiškai nepriklausomas nuo X, kai žinomas Y, tai I(X;Z)≤I(X;Y).

Dvejetainiame prefiksiniame kode nė vienas visas kodinis žodis nėra kito kodinio žodžio pradinis segmentas, todėl galima iš karto nuosekliai dekoduoti.

Pakartotinai sujunkite du mažiausią tikimybę turinčius šaltinio simbolius arba jau sudarytus mazgus, tada dvi šakas pažymėkite 0 ir 1; žymų sekos kelyje nuo šaknies iki lapo yra kodiniai žodžiai.

Baigtinės abėcėlės nepriklausomiems vienodai pasiskirsčiusiems X₁,…,Xₙ dydis −n⁻¹log₂p(X₁,…,Xₙ) konverguoja pagal tikimybę į H(X₁).

Entropijos sparta yra limₙ H(X₁,…,Xₙ)/n, kai ši riba egzistuoja.

Realiųjų skaičių aibėje apibrėžtam tikimybės tankiui f, kai integralas apibrėžtas, h(X)=−∫f(x)log₂f(x)dx.

Kai Y=X+Z, o Z∼N(0,N) yra nepriklausomas nuo įėjimo realusis Gauso triukšmas, kurio reikšmės nepriklausomos ir vienodai pasiskirsčiusios, N>0, ir vidutinė įėjimo galia E[X²]≤P, kanalo pralaidumas yra C=(1/2)log₂(1+P/N) bitų vienam kanalo panaudojimui.

Virš F₂ imkime H=[A|Iₘ] ir G=[Iₙ₋ₘ;A].

Gautam r=c+e, kai Hc=0, sindromas yra Hr=He.

Diskrečiajame be atminties dviejų siuntėjų MAC kanale su nepriklausomais pranešimais pralaidumo sritis yra spartų, kurias riboja I(X1;Y|X2,Q), I(X2;Y|X1,Q) ir I(X1,X2;Y|Q), uždarinys, imant skirstinius p(q)p(x1|q)p(x2|q)p(y|x1,x2).

Fiziškai degraduotame be atminties transliavimo kanale X→Y1→Y2 nepriklausomų privačių pranešimų spartos pasiekiamos superpoziciniu kodavimu, kai R2≤I(U;Y2) ir R1≤I(X;Y1|U), sujungiant sritis visiems p(u,x) skirstiniams.

Diskrečiajame be atminties kanale su retransliatoriumi, aprašomame skirstiniu p(y2,y3|x1,x2), decode-forward strategija pasiekia didžiausią min{I(X1,X2;Y3),I(X1;Y2|X2)} reikšmę, imant p(x1,x2) skirstinius.

Taikant decode-forward, retransliatorius turi atkurti pranešimą arba jo sluoksnį prieš persiųsdamas bendradarbiavimo kodinius žodžius; silpnas šaltinio ir retransliatoriaus ryšys gali riboti šios strategijos spartą.

Kai poros (X,Y) yra nepriklausomos ir vienodai pasiskirsčiusios (iid), o X ir Y koreliuoti, X stebinčio koduotuvo ir Y stebinčio dekoderio spartos ir iškraipymo funkcija yra min[I(X;U)−I(Y;U)], esant U−X−Y ir atkūrimui x-hat(U,Y), tenkinančiam iškraipymo ribą.

Dviejų naudotojų kanaluose su trukdžiais du pranešimai turi būti dekoduojami atitinkamuose jų imtuvuose pagal jungtinį dėsnį p(y1,y2|x1,x2).

Dvejetainiam simetriniam kanalui, kurio simbolio apvertimo tikimybė yra 0<p<1/2, esant fiksuotai tikslinei bloko klaidos tikimybei 0<epsilon<1, geriausia sparta turi normaliąją aproksimaciją C−sqrt(V/n) Q-inverse(epsilon)+O(log(n)/n).

Nepriklausomai kartojant baigtinės abėcėlės jungtinį skirstinį p(x,y), koduotuvas, stebintis X, ir dekoderis, turintis Y, gali atkurti X su į nulį artėjančia bloko klaidos tikimybe, kai sparta viršija H(X|Y); mažesnė sparta neįmanoma.

Nepriklausomam ir vienodai pasiskirsčiusiam šaltiniui, kurio skirstinys yra p(x), ir nurodytam iškraipymui d(x,x-hat), R(D) minimizuoja abipusę informaciją pagal atkūrimo skirstinio pasirinkimą, laikantis iškraipymo matematinio vidurkio ribos D.

Arıkan transformacija rekursyviai paverčia dvejetainės įvesties kanalą be atminties sintetiniais kanalais, kurių patikimumai poliarizuojasi.

Stacionariam baigtinės abėcėlės procesui bloko entropija vienam simboliui artėja prie entropijos spartos; dėl koreliacijų ji gali būti mažesnė už atskiro simbolio entropiją.

IP adresai nurodo tinklo paskirties vietas; IP negarantuoja pristatymo.

UDP perduoda adresuotus pranešimus, nesuteikdamas patikimo srauto pristatymo.