GLOBAL KNOWLEDGE ARK

Žinynas

Žinių pagrindai

Tyrinėkite sąvokas, dėsnius, lygtis ir metodus, jų taikymą ir šaltinius. Pasirinkite pažinimo sritį arba raskite konkretų žinyno įrašą.

Daugiau filtrų

Žinyno įrašai

Rodoma įrašų: 1–30 iš 204

Fizika · Informacija · MatavimasMokslinių tyrimų įrašai

Sukurkite patikrinamą fizikos tyrimo įrašą, patikrinkite ir patikslinkite vežimėlio modelį su apibrėžtomis ribomis, išsaugokite duomenų apdorojimo istoriją ir suplanuokite, kaip užtikrinti duomenų surandamumą bei tinkamas dalijimosi sąlygas.

MetodasMatematika ir logika · InformacijaKlasikiniai teiginiai ir loginės jungtys

Klasikinė logika jungia tiesos vertes turinčius teiginius apibrėžtomis loginėmis jungtimis.

ApibrėžimasMatematika ir logika · InformacijaAibės, priklausymas ir pagrindinės operacijos

Aibė nusako elementų priklausymą, neatsižvelgiant į pakartotinį tų pačių elementų išvardijimą.

ApibrėžimasMatematika ir logika · InformacijaFunkcijos, apibrėžimo sritis ir kodomenas

Funkcija kiekvienam savo apibrėžimo srities elementui priskiria lygiai vieną reikšmę.

ApibrėžimasMatematika ir logika · InformacijaMatematinė indukcija

Indukcijos bazė ir bendrasis indukcijos žingsnis leidžia įrodyti, kad predikatas teisingas visiems neneigiamiems sveikiesiems skaičiams.

MetodasMatematika ir logika · InformacijaKompleksiniai skaičiai

Kompleksinis skaičius turi realiąsias koordinates a ir b bei menamąjį vienetą, tenkinantį lygybę i²=−1.

ApibrėžimasMatematika ir logika · Informacija · FizikaTiesiniai atvaizdžiai ir jų matricinis vaizdavimas

Tiesinis atvaizdis išsaugo tiesinius darinius ir, pasirinkus bazes, turi matricą.

ApibrėžimasMatematika ir logika · InformacijaTikimybinė erdvė ir aksiomos

Tikimybė įvykiams priskiria neneigiamus, normuotus svorius; poromis nesutaikomų įvykių skaičiosios sąjungos svoris yra tų įvykių svorių suma.

ApibrėžimasMatematika ir logika · InformacijaSąlyginė tikimybė ir nepriklausomumas

Sąlygojant apsiribojama teigiamos tikimybės įvykiu.

ApibrėžimasMatematika ir logika · InformacijaDiskrečiojo atsitiktinio dydžio matematinė viltis

Matematinė viltis – tai galimų reikšmių suma, kurioje kiekvienos reikšmės svoris yra jos tikimybė.

ApibrėžimasInformacija · Matematika ir logikaBitai ir dvejetainis kodavimas be ženklo

Bitas turi dvi galimas būsenas; fiksuoto ilgio dvejetainis žodis be ženklo koduoja sveikąjį skaičių.

ApibrėžimasInformacija · Matematika ir logikaDiskrečiojo skirstinio Šenono entropija

Šenono entropija matuoja neapibrėžtį nurodytame tikimybių skirstinyje.

ApibrėžimasInformacijaAlgoritmas ir sprendimo procedūra

Algoritmas nusako efektyviai įvykdomus žingsnius; sprendimo procedūra turi baigti darbą su kiekviena leistina įvestimi.

MetodasInformacija · Matematika ir logikaSustojimo problemos neišsprendžiamumas

Bendrajame skaičiavimo modelyje nėra visur apibrėžto algoritmo, kuris nustatytų, ar programa sustos, kiekvienai programai ir įvesčiai.

Matematinis teiginysInformacija · Matematika ir logikaAsimptotiniai viršutiniai rėžiai ir didysis O

Didysis O nusako augimo viršutinį rėžį: nuo tam tikro įvesties dydžio nagrinėjama funkcija neviršija pastoviu daugikliu padaugintos palyginamosios funkcijos.

ApibrėžimasInformacijaBaigtinių abėcėlių tarpusavio informacija

Tarpusavio informacija matuoja statistinę priklausomybę bitais.

ApibrėžimasInformacijaBeveik be nuostolių atliekamo šaltinio kodavimo slenkstis

Entropija riboja nepriklausomų ir vienodai pasiskirsčiusių simbolių šaltinio asimptotinį glaudinimą.

Matematinis teiginysInformacijaDiskrečiojo kanalo be atminties pralaidumas

Pralaidumas yra didžiausia asimptotiškai patikimo perdavimo sparta.

Matematinis teiginysInformacijaHamingo atstumas ir klaidų taisymas

Pakankamas atstumas tarp kodinių žodžių leidžia atkurti pradinius duomenis, kai simbolių klaidų skaičius neviršija nustatytos ribos.

Matematinis teiginysInformacijaInterneto protokolų sluoksniai

Protokolų sluoksniai paskirsto ryšio funkcijas.

ApibrėžimasInformacijaTCP patikimas baitų srauto perdavimas

TCP užtikrina baitų eiliškumą ir pakartotinai perduoda duomenis, kurių praradimas aptiktas.

MetodasInformacijaŠifravimas, maišos funkcijos ir pranešimų autentifikavimas

Kriptografiniai primityvai skirti skirtingoms saugumo savybėms užtikrinti.

ApibrėžimasInformacijaViešojo rakto skaitmeniniai parašai

Pasirašymo ir tikrinimo raktai atlieka skirtingus vaidmenis.

ApibrėžimasInformacijaApskaičiuojamieji suvedimai ir neišsprendžiamumas

Suvedimo kryptis lemia, kuris neįmanomumo rezultatas perkeliamas.

Matematinis teiginysInformacijaSprendimo uždavinių klasės P ir NP

Sprendimas per polinominį laiką ir tikrinimas per polinominį laiką skiriasi.

ApibrėžimasInformacijaNP sunkumas ir NP pilnumas

NP pilnumas sujungia patikrinamumą ir redukcijomis nusakomą sunkumą.

ApibrėžimasInformacijaAtsitiktiniai skaičiavimai su ribota klaidos tikimybe

Atsitiktiniai pasirinkimai leidžia turėti nurodytą klaidos tikimybę.

ApibrėžimasInformacijaBaigtiniai grafai ir medžiai

Grafai vaizduoja porinius ryšius; medžiams taikoma acikliškumo sąlyga.

ApibrėžimasInformacijaDuomenų struktūrų sąsajos ir operacijų sąnaudos

Sąsaja apibrėžia operacijas; įgyvendinimas lemia sąnaudas.

MetodasInformacijaCiklo invariantai ir visiškas korektiškumas

Invariantas nustato korektiškumą tik įvykdžius jam taikomas įrodymo pareigas.

Metodas
ApibrėžimasPatikrinta pagal šaltinius

Diskrečiojo skirstinio Šenono entropija

InformacijaMatematika ir logika

Šenono entropija matuoja neapibrėžtį nurodytame tikimybių skirstinyje.

Esminės žinios

Baigtinio diskrečiojo skirstinio su tikimybėmis pᵢ Šenono entropija yra −Σᵢ pᵢ log₂ pᵢ, matuojama bitais. Nulinės tikimybės dėmens indėlis pagal jo ribinę vertę yra nulis.

Vertės ir lygtys

H(X) = −Σᵢ pᵢ log₂ pᵢ

X
Diskretusis atsitiktinis dydis, įgyjantis baigtinį skaičių reikšmių
pᵢ
Baigties i tikimybė
H(X)
Shannono entropija bits

Sąlygos ir taikymo ribos

  • pᵢ≥0 ir Σᵢpᵢ=1; logaritmo pagrindas 2 nustato matavimo vienetą – bitus.
  • Tai skirstinio neapibrėžtis, o ne semantinė prasmė, tiesa ar naudingumas.
  • Diferencialinei entropijai ir priklausomų sekų entropijos spartai reikia atskirų apibrėžčių.
Šaltiniai · 7

Šaltiniai

Šaltiniai išlaiko savo taikymo ribas. Vien nuoroda nepatvirtina kiekvieno teiginio patikrinimo.

  1. A Mathematical Theory of Communication (1948), §6: Choice, uncertainty and entropyClaude E. Shannon, Bell Telephone Laboratories; reprint hosted by Yale UniversityMokslinis straipsnis · PDFcs.yale.eduSkaityti šaltinį
  2. MA261 notes, chapter 27, Definition 145: EntropySiddhartha Gadgil / Indian Institute of SciencePaskaitų medžiagamath.iisc.ac.inSkaityti šaltinį
  3. John Duchi, Stanford University2 šaltiniai
    1. Lecture Notes on Statistics and Information Theory (2023), §2.1.1: EntropyJohn Duchi, Stanford UniversityPaskaitų medžiaga · PDFstanford.eduSkaityti šaltinį
    2. Lecture Notes on Statistics and Information Theory (2023), Chapter 11: Zero-term conventionJohn Duchi, Stanford UniversityPaskaitų medžiaga · PDFstanford.eduSkaityti šaltinį
  4. A Mathematical Theory of Communication (1948)Claude E. Shannon / Bell System Technical JournalMokslinis straipsnis · PDFcs.yale.eduSkaityti šaltinį
  5. Statistics 311 lecture notes, entropy and relative entropyStanford UniversityPaskaitų medžiaga · PDFweb.stanford.eduSkaityti šaltinį
  6. Entropy, Diversity and MagnitudeEmily Roff, University of EdinburghMokomoji medžiaga · PDFmaths.ed.ac.ukSkaityti šaltinį

Pagrindimas ir peržiūra

Baigtinio skirstinio entropija, logaritmo pagrindą 2 atitinkantys vienetai ir nulinės tikimybės susitarimas.

2026-10-10 · Shannono apibrėžtis palyginta su IISc pateikta formule ir Stanfordo nulinio nario susitarimu; išlaikytas pradinis minuso ženklas, kurio trūko iš originalaus straipsnio išgautame tekste.

Pagrindinių žinių peržiūra

2026-10-10 · Fresh primary-source inspection of the complete compact record, including every statement, equation, quantity and material condition, followed by independent AI editorial review. This check does not certify all linked lessons or every passage of every cited publication.

Šaltiniai iš kitų vietų

Skiriasi taikymo ribos ar susitarimas

Finite-distribution Shannon entropy, with zero terms omitted.

The source leaves its logarithm base unstated and its examples match base 10; the repository explicitly defines base 2 and bits.

Susiję žinyno įrašai

Tyrinėkite ryšius šioje pažinimo srityje ir jos sąsajas su kitomis sritimis.

Rodomi 1–6 iš 6 ryšių

Mokslinių žinių ryšiai · 6 / 6

Ryšio tipas nusako santykį. Susieti teiginiai, šaltiniai ir sąlygos apibrėžia jo taikymo ribas.

  1. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtinio diskrečiojo skirstinio su tikimybėmis pᵢ Šenono entropija yra −Σᵢ pᵢ log₂ pᵢ, matuojama bitais. Nulinės tikimybės dėmens indėlis pagal jo ribinę vertę yra nulis.
  2. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtiniams atsitiktiniams dydžiams X,Y tarpusavio informacija yra I(X;Y)=Σₓ,ᵧ p(x,y)log₂[p(x,y)/(p_X(x)p_Y(y))]=H(X)−H(X|Y). Ji neneigiama ir lygi nuliui tada ir tik tada, kai X ir Y nepriklausomi.
  3. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtinės abėcėlės šaltiniui, kurio simboliai nepriklausomi ir vienodai pasiskirstę, taikant fiksuoto ilgio blokinio kodavimo schemas didesne nei H(X) bitų vienam simboliui sparta, bloko klaidos tikimybė gali artėti prie nulio. Esant fiksuotai mažesnei nei H(X) spartai, bloko klaidos tikimybė artėja prie vieneto.
  4. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtiniams X,Y galioja H(X|Y)=Σy p(y)H(X|Y=y) ir H(X,Y)=H(Y)+H(X|Y). Sąlygojimas negali padidinti šios suvidurkintos diskrečiosios entropijos: H(X|Y)≤H(X), o lygybė galioja tada ir tik tada, kai X ir Y nepriklausomi.
  5. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtiniams skirstiniams p,q galioja D(p‖q)=Σx p(x)log₂[p(x)/q(x)]≥0, o lygybė galioja tada ir tik tada, kai p=q. Santykinė entropija yra nesimetriška; jei p yra teigiamas ten, kur q lygus nuliui, divergencija yra begalinė.
  6. Susiję su
    Ryšio šaltiniai · 2

    Susieti teiginiai

    • Von Neumann entropija yra −tr rho log2 rho ir lygi tankio operatoriaus tikrinių verčių Shannon entropijai. Ansambliui {p-x,rho-x} matavimu prieinama klasikinė abipusė informacija apribota dydžiu chi=S(sum p-x rho-x)−sum p-x S(rho-x). Neortogonalios būsenos riboja atskiriamumą. Supynimas ir sąlyginė kvantinė entropija sukuria elgseną, kurios nėra įprastoje klasikinėje sąlyginėje entropijoje; viena formulė negali pakeisti visų kvantinių išteklių talpų.

    The eigenvalue distribution gives a classical entropy expression.

Įrašo informacijaNuolatinė nuoroda į šį įrašą ↗
Įrašo identifikatorius
info-shannon-entropy
Versija
core.1
Struktūruotas žinyno įrašas
Esminiai pagrindai · pirmasis rinkinys