Santykinė entropija
Baigtiniams skirstiniams p,q galioja D(p‖q)=Σx p(x)log₂[p(x)/q(x)]≥0, o lygybė galioja tada ir tik tada, kai p=q.
Esminės žinios
Baigtiniams skirstiniams p,q galioja D(p‖q)=Σx p(x)log₂[p(x)/q(x)]≥0, o lygybė galioja tada ir tik tada, kai p=q. Santykinė entropija yra nesimetriška; jei p yra teigiamas ten, kur q lygus nuliui, divergencija yra begalinė.
Sąlygos ir taikymo ribos
- Narys, kuriame p=0, pagal ribinę reikšmę yra lygus nuliui.
- Divergencija nėra atstumo metrika.
Šaltiniai · 1
Šaltiniai
Šaltiniai išlaiko savo taikymo ribas. Vien nuoroda nepatvirtina kiekvieno teiginio patikrinimo.
Pagrindimas ir peržiūra
Paskaita 2, apibrėžimas 4 ir santykinės entropijos neneigiamumas.
2026-10-10 · Nepriklausoma DI redakcinė peržiūra: perskaityti visi glaustai suformuluoti teiginiai (241), hipotezės, pateiktos lygtys ir susitarimai bei visos kilmės semantinės sąsajos (596); peržiūrėta visa autoriaus sudaryta 241 įrašo tikslių šaltinių patikros matrica ir deklaruoti apribojimai. Siekiant aprėpti visą įrašų rinkinį, perskaityti 105 ankstesni faktiškai paveldėti matematikos ir informacijos įrašai. Toliau išvardyti tikslingai ir nepriklausomai peržiūrėti pirminių šaltinių skyriai; tuo NETEIGIAMA, kad kiekvieno cituojamo šaltinio visas tekstas ar kiekvienas įrodymas buvo nepriklausomai perskaitytas iš naujo. Tai DI atlikta informacinio turinio peržiūra, o ne žmogaus eksperto patvirtinimas atitinkamoje mokslo srityje, išsamus vadovėlio atkūrimas ar eksperimentinis pakartojimas. Peržiūros įrašas: mathematics-information-independent-content-review.1.
Įrašo informacija
Nuolatinė nuoroda į šį įrašą ↗- Įrašo identifikatorius
- info-relative-entropy
- Versija
- university-core.1
- Struktūruotas žinyno įrašas
- Universitetinių pagrindų plėtra