Žinių pagrindai

Jei X yra integruojamas kvadratu, Var(X)=E[Var(X|Y)]+Var(E[X|Y]).

M_X(t)=E[eᵗˣ] yra momentus generuojanti funkcija (MGF), jei ji yra baigtinė atvirame intervale, apimančiame nulį.

Taikant formos ir intensyvumo parametrizaciją, Gamma(α,β) tankis yra βᵅxᵅ⁻¹e⁻ᵝˣ/Γ(α), kai x>0, α,β>0.

Parametro θ įvertinio T poslinkis yra EθT−θ, o vidutinė kvadratinė paklaida (MSE) yra Eθ[(T−θ)²]=Varθ(T)+bias².

Įvertinių seka Tₙ yra pagrįsta parametro θ atžvilgiu, kai Pθ(|Tₙ−θ|>ε)→0 kiekvienam ε>0.

Diferencijuojamame vienmačiame nepriklausomų ir vienodai pasiskirsčiusių stebinių modelyje, kurio skoro funkcija yra sθ=∂θlog fθ(X), Fišerio informacija yra I(θ)=Eθ[sθ²].

Kai X yra fiksuota matrica, kurios stulpelių rangas pilnas, ir Y=Xβ+ε, kur Eε=0 ir Cov ε=σ²I, mažiausiųjų kvadratų metodu gaunama β̂=(XᵀX)⁻¹XᵀY, Eβ̂=β ir Cov β̂=σ²(XᵀX)⁻¹.

Kai Yᵢ yra nepriklausomi Bernulio atsitiktiniai dydžiai, logistinėje regresijoje daroma prielaida log[pᵢ/(1−pᵢ)]=xᵢᵀβ.

Deterministinį baigtinį automatą sudaro baigtinė būsenų aibė Q, baigtinė abėcėlė Σ, visur apibrėžta perėjimo funkcija δ:Q×Σ→Q, pradinė būsena q₀ ir priimančiųjų būsenų aibė F.

Reguliariosios išraiškos, sudarytos iš raidžių, tuščiojo žodžio ir tuščiosios kalbos taikant sąjungą, konkatenaciją ir Kleene žvaigždę, aprašo tiksliai tas kalbas, kurias atpažįsta DFA arba NFA.

Bekontekstę gramatiką sudaro baigtinė kintamųjų aibė, terminalinių simbolių abėcėlė, taisyklės A→w, kurių kairėje pusėje yra vienas kintamasis, ir pradinis kintamasis.

Nedeterministinis dėklinis automatas papildo baigtinį valdymo mechanizmą vienu neriboto dydžio dėklu, kuriame paskutinis įdėtas elementas išimamas pirmas.

Atpažintuvas priima kiekvieną savo kalbos žodį, tačiau gavęs kalbai nepriklausantį žodį gali veikti be galo.

Kiekvienai netrivialiai kalbos savybei klausimas, ar Tiuringo mašinos atpažįstama kalba ją turi, yra algoritmiškai neišsprendžiamas pagal mašinos aprašą.

Baigtiniams X,Y galioja H(X|Y)=Σy p(y)H(X|Y=y) ir H(X,Y)=H(Y)+H(X|Y).

Baigtiniams skirstiniams p,q galioja D(p‖q)=Σx p(x)log₂[p(x)/q(x)]≥0, o lygybė galioja tada ir tik tada, kai p=q.

Jei baigtinių reikšmių atsitiktiniai dydžiai X→Y→Z sudaro Markovo grandinę, t. y. Z yra sąlygiškai nepriklausomas nuo X, kai žinomas Y, tai I(X;Z)≤I(X;Y).

Dvejetainiame prefiksiniame kode nė vienas visas kodinis žodis nėra kito kodinio žodžio pradinis segmentas, todėl galima iš karto nuosekliai dekoduoti.

Pakartotinai sujunkite du mažiausią tikimybę turinčius šaltinio simbolius arba jau sudarytus mazgus, tada dvi šakas pažymėkite 0 ir 1; žymų sekos kelyje nuo šaknies iki lapo yra kodiniai žodžiai.

Baigtinės abėcėlės nepriklausomiems vienodai pasiskirsčiusiems X₁,…,Xₙ dydis −n⁻¹log₂p(X₁,…,Xₙ) konverguoja pagal tikimybę į H(X₁).

Entropijos sparta yra limₙ H(X₁,…,Xₙ)/n, kai ši riba egzistuoja.

Realiųjų skaičių aibėje apibrėžtam tikimybės tankiui f, kai integralas apibrėžtas, h(X)=−∫f(x)log₂f(x)dx.

Kai Y=X+Z, o Z∼N(0,N) yra nepriklausomas nuo įėjimo realusis Gauso triukšmas, kurio reikšmės nepriklausomos ir vienodai pasiskirsčiusios, N>0, ir vidutinė įėjimo galia E[X²]≤P, kanalo pralaidumas yra C=(1/2)log₂(1+P/N) bitų vienam kanalo panaudojimui.

Tolydžiajai realiajai funkcijai f, kai f(a)f(b)<0, patikrinkite intervalo vidurio tašką ir palikite tą intervalo pusę, kurios galuose funkcijos reikšmių ženklai priešingi, nebent vidurio taškas yra šaknis.

Skirtinguose mazguose t₀,…,tₙ daugianaris p(x)=Σyₖℓₖ(x), ℓₖ(x)=∏_(i≠k)(x−tᵢ)/(tₖ−tᵢ), yra vienintelis ne aukštesnio kaip n laipsnio interpoliacinis daugianaris.

Diferencijuojamos funkcijos gradientas vidiniame lokaliojo ekstremumo taške yra lygus nuliui.

C¹ klasės realiosioms funkcijoms f,g lokalusis sąlyginis f ekstremumas, kai g(x)=c, taške, kuriame ∇g≠0, turi tenkinti ∇f=λ∇g kartu su g=c.

Atviroje iškiloje srityje diferencijuojama funkcija yra iškiloji tada ir tik tada, kai visiems srities taškams galioja f(y)≥f(x)+∇f(x)·(y−x).

Kai f₀,fᵢ yra diferencijuojamos iškilosios funkcijos erdvėje Rⁿ, o lygybiniai apribojimai Ax=b yra afininiai, leistinasis x yra optimalus, jei λ≥0, λᵢfᵢ(x)=0 ir ∇f₀(x)+Σλᵢ∇fᵢ(x)+Aᵀν=0.

Glodžiai sparčiai mažėjančiai funkcijai f, kurios išvestinės taip pat mažėja sparčiau už bet kurį laipsnį, apibrėžkime f̂(ξ)=∫Rⁿe⁻ⁱˣ·ξf(x)dx.