GLOBAL KNOWLEDGE ARK

Žinynas

Žinių pagrindai

Tyrinėkite sąvokas, dėsnius, lygtis ir metodus, jų taikymą ir šaltinius. Pasirinkite pažinimo sritį arba raskite konkretų žinyno įrašą.

Daugiau filtrų

Žinyno įrašai

Rodoma įrašų: 31–60 iš 1709

Fizika · MatavimasCezio-133 apibrėžiamasis dažnis

ΔνCs žymi netrikdomo cezio-133 atomo pagrindinės būsenos hipersmulkiosios sandaros šuolio dažnį. Jo skaitinė vertė SI vienetais yra tiksliai fiksuota.

ApibrėžimasMatematika ir logika · InformacijaKlasikiniai teiginiai ir loginės jungtys

Klasikinė logika jungia tiesos vertes turinčius teiginius apibrėžtomis loginėmis jungtimis.

ApibrėžimasMatematika ir logikaAksiomos, dedukcija ir matematinis įrodymas

Matematiniu įrodymu išvada išvedama remiantis nurodytomis prielaidomis ir taisyklėmis.

MetodasMatematika ir logika · InformacijaAibės, priklausymas ir pagrindinės operacijos

Aibė nusako elementų priklausymą, neatsižvelgiant į pakartotinį tų pačių elementų išvardijimą.

ApibrėžimasMatematika ir logika · InformacijaFunkcijos, apibrėžimo sritis ir kodomenas

Funkcija kiekvienam savo apibrėžimo srities elementui priskiria lygiai vieną reikšmę.

ApibrėžimasMatematika ir logika · InformacijaMatematinė indukcija

Indukcijos bazė ir bendrasis indukcijos žingsnis leidžia įrodyti, kad predikatas teisingas visiems neneigiamiems sveikiesiems skaičiams.

MetodasMatematika ir logika · MatavimasEuklidiniai statieji trikampiai ir Pitagoro teorema

Euklidinio stačiojo trikampio statinių ilgių kvadratų suma lygi įžambinės ilgio kvadratui.

Matematinis teiginysMatematika ir logika · FizikaSinusas, kosinusas ir vienetinis apskritimas

Sinusas ir kosinusas yra vienetinio apskritimo taško koordinatės, kurių kvadratų suma lygi vienetui.

Matematinis teiginysMatematika ir logika · InformacijaKompleksiniai skaičiai

Kompleksinis skaičius turi realiąsias koordinates a ir b bei menamąjį vienetą, tenkinantį lygybę i²=−1.

ApibrėžimasMatematika ir logika · Informacija · FizikaTiesiniai atvaizdžiai ir jų matricinis vaizdavimas

Tiesinis atvaizdis išsaugo tiesinius darinius ir, pasirinkus bazes, turi matricą.

ApibrėžimasMatematika ir logikaRealiųjų reikšmių funkcijos riba

Baigtinė riba leidžia kontroliuoti funkcijos reikšmės paklaidą, kai argumento atstumas yra pakankamai mažas.

ApibrėžimasMatematika ir logika · FizikaIšvestinė taške

Išvestinė yra baigtinė vietinių skirtuminių santykių riba.

ApibrėžimasMatematika ir logika · FizikaApibrėžtinis integralas ir kaupimas su ženklu

Apibrėžtinis integralas yra mažų įnašų kaupimo su ženklu ribinė vertė.

ApibrėžimasMatematika ir logika · FizikaPagrindinė matematinės analizės teorema

Tolydumas susieja diferencijavimą ir integravimą.

Matematinis teiginysMatematika ir logika · InformacijaTikimybinė erdvė ir aksiomos

Tikimybė įvykiams priskiria neneigiamus, normuotus svorius; poromis nesutaikomų įvykių skaičiosios sąjungos svoris yra tų įvykių svorių suma.

ApibrėžimasMatematika ir logika · InformacijaSąlyginė tikimybė ir nepriklausomumas

Sąlygojant apsiribojama teigiamos tikimybės įvykiu.

ApibrėžimasMatematika ir logika · InformacijaDiskrečiojo atsitiktinio dydžio matematinė viltis

Matematinė viltis – tai galimų reikšmių suma, kurioje kiekvienos reikšmės svoris yra jos tikimybė.

ApibrėžimasMatematika ir logika · MatavimasPopuliacijos vidurkio pasikliautinasis intervalas

Pasikliovimo lygmuo nusako, kokia dalis pakartotinai sudaromų imčių intervalų, gautų taikant intervalų sudarymo procedūrą, apima parametrą.

MetodasInformacija · Matematika ir logikaBitai ir dvejetainis kodavimas be ženklo

Bitas turi dvi galimas būsenas; fiksuoto ilgio dvejetainis žodis be ženklo koduoja sveikąjį skaičių.

ApibrėžimasInformacija · Matematika ir logikaDiskrečiojo skirstinio Šenono entropija

Šenono entropija matuoja neapibrėžtį nurodytame tikimybių skirstinyje.

ApibrėžimasInformacijaAlgoritmas ir sprendimo procedūra

Algoritmas nusako efektyviai įvykdomus žingsnius; sprendimo procedūra turi baigti darbą su kiekviena leistina įvestimi.

MetodasInformacija · Matematika ir logikaSustojimo problemos neišsprendžiamumas

Bendrajame skaičiavimo modelyje nėra visur apibrėžto algoritmo, kuris nustatytų, ar programa sustos, kiekvienai programai ir įvesčiai.

Matematinis teiginysInformacija · Matematika ir logikaAsimptotiniai viršutiniai rėžiai ir didysis O

Didysis O nusako augimo viršutinį rėžį: nuo tam tikro įvesties dydžio nagrinėjama funkcija neviršija pastoviu daugikliu padaugintos palyginamosios funkcijos.

ApibrėžimasMatavimasPagrindiniai SI vienetai

Septyni pavadinimus turintys pagrindiniai vienetai sudaro SI dydžių sistemos pagrindą.

ApibrėžimasMatavimasSI dešimtainiai priešdėliai

Priešdėlių simboliai nurodo dešimtainius mastelio daugiklius.

ApibrėžimasMatavimasMetrologinė sietis

Susieti rezultatą su atskaitos pagrindu per dokumentuotus kalibravimus.

ApibrėžimasMatavimas · Matematika ir logikaPirmosios eilės neapibrėžties sklidimas

Sujungti įėjimo dydžių neapibrėžtis taikant matavimo modelį.

MetodasMatavimas · Fizika · Matematika ir logikaDimensijų suderinamumas

Naudokite dimensijas neįmanomoms fizikinių dydžių lygtims aptikti.

MetodasFizika · Žemė ir kosmosasNiutono gravitacija

Taškinių masių trauką modeliuoja jėga, atvirkščiai proporcinga atstumo kvadratui.

ModelisFizikaDažnis, bangos ilgis ir fazinis greitis

Susieti periodinės bangos pasikartojimą erdvėje ir laike.

Apibrėžimas
ApibrėžimasPatikrinta pagal šaltinius

Diskrečiojo skirstinio Šenono entropija

InformacijaMatematika ir logika

Šenono entropija matuoja neapibrėžtį nurodytame tikimybių skirstinyje.

Esminės žinios

Baigtinio diskrečiojo skirstinio su tikimybėmis pᵢ Šenono entropija yra −Σᵢ pᵢ log₂ pᵢ, matuojama bitais. Nulinės tikimybės dėmens indėlis pagal jo ribinę vertę yra nulis.

Vertės ir lygtys

H(X) = −Σᵢ pᵢ log₂ pᵢ

X
Diskretusis atsitiktinis dydis, įgyjantis baigtinį skaičių reikšmių
pᵢ
Baigties i tikimybė
H(X)
Shannono entropija bits

Sąlygos ir taikymo ribos

  • pᵢ≥0 ir Σᵢpᵢ=1; logaritmo pagrindas 2 nustato matavimo vienetą – bitus.
  • Tai skirstinio neapibrėžtis, o ne semantinė prasmė, tiesa ar naudingumas.
  • Diferencialinei entropijai ir priklausomų sekų entropijos spartai reikia atskirų apibrėžčių.
Šaltiniai · 7

Šaltiniai

Šaltiniai išlaiko savo taikymo ribas. Vien nuoroda nepatvirtina kiekvieno teiginio patikrinimo.

  1. A Mathematical Theory of Communication (1948), §6: Choice, uncertainty and entropyClaude E. Shannon, Bell Telephone Laboratories; reprint hosted by Yale UniversityMokslinis straipsnis · PDFcs.yale.eduSkaityti šaltinį
  2. MA261 notes, chapter 27, Definition 145: EntropySiddhartha Gadgil / Indian Institute of SciencePaskaitų medžiagamath.iisc.ac.inSkaityti šaltinį
  3. John Duchi, Stanford University2 šaltiniai
    1. Lecture Notes on Statistics and Information Theory (2023), §2.1.1: EntropyJohn Duchi, Stanford UniversityPaskaitų medžiaga · PDFstanford.eduSkaityti šaltinį
    2. Lecture Notes on Statistics and Information Theory (2023), Chapter 11: Zero-term conventionJohn Duchi, Stanford UniversityPaskaitų medžiaga · PDFstanford.eduSkaityti šaltinį
  4. A Mathematical Theory of Communication (1948)Claude E. Shannon / Bell System Technical JournalMokslinis straipsnis · PDFcs.yale.eduSkaityti šaltinį
  5. Statistics 311 lecture notes, entropy and relative entropyStanford UniversityPaskaitų medžiaga · PDFweb.stanford.eduSkaityti šaltinį
  6. Entropy, Diversity and MagnitudeEmily Roff, University of EdinburghMokomoji medžiaga · PDFmaths.ed.ac.ukSkaityti šaltinį

Pagrindimas ir peržiūra

Baigtinio skirstinio entropija, logaritmo pagrindą 2 atitinkantys vienetai ir nulinės tikimybės susitarimas.

2026-10-10 · Shannono apibrėžtis palyginta su IISc pateikta formule ir Stanfordo nulinio nario susitarimu; išlaikytas pradinis minuso ženklas, kurio trūko iš originalaus straipsnio išgautame tekste.

Pagrindinių žinių peržiūra

2026-10-10 · Fresh primary-source inspection of the complete compact record, including every statement, equation, quantity and material condition, followed by independent AI editorial review. This check does not certify all linked lessons or every passage of every cited publication.

Šaltiniai iš kitų vietų

Skiriasi taikymo ribos ar susitarimas

Finite-distribution Shannon entropy, with zero terms omitted.

The source leaves its logarithm base unstated and its examples match base 10; the repository explicitly defines base 2 and bits.

Susiję žinyno įrašai

Tyrinėkite ryšius šioje pažinimo srityje ir jos sąsajas su kitomis sritimis.

Rodomi 1–6 iš 6 ryšių

Mokslinių žinių ryšiai · 6 / 6

Ryšio tipas nusako santykį. Susieti teiginiai, šaltiniai ir sąlygos apibrėžia jo taikymo ribas.

  1. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtinio diskrečiojo skirstinio su tikimybėmis pᵢ Šenono entropija yra −Σᵢ pᵢ log₂ pᵢ, matuojama bitais. Nulinės tikimybės dėmens indėlis pagal jo ribinę vertę yra nulis.
  2. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtiniams atsitiktiniams dydžiams X,Y tarpusavio informacija yra I(X;Y)=Σₓ,ᵧ p(x,y)log₂[p(x,y)/(p_X(x)p_Y(y))]=H(X)−H(X|Y). Ji neneigiama ir lygi nuliui tada ir tik tada, kai X ir Y nepriklausomi.
  3. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtinės abėcėlės šaltiniui, kurio simboliai nepriklausomi ir vienodai pasiskirstę, taikant fiksuoto ilgio blokinio kodavimo schemas didesne nei H(X) bitų vienam simboliui sparta, bloko klaidos tikimybė gali artėti prie nulio. Esant fiksuotai mažesnei nei H(X) spartai, bloko klaidos tikimybė artėja prie vieneto.
  4. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtiniams X,Y galioja H(X|Y)=Σy p(y)H(X|Y=y) ir H(X,Y)=H(Y)+H(X|Y). Sąlygojimas negali padidinti šios suvidurkintos diskrečiosios entropijos: H(X|Y)≤H(X), o lygybė galioja tada ir tik tada, kai X ir Y nepriklausomi.
  5. Remiasi apibrėžimu
    Ryšio šaltiniai · 1

    Susieti teiginiai

    • Baigtiniams skirstiniams p,q galioja D(p‖q)=Σx p(x)log₂[p(x)/q(x)]≥0, o lygybė galioja tada ir tik tada, kai p=q. Santykinė entropija yra nesimetriška; jei p yra teigiamas ten, kur q lygus nuliui, divergencija yra begalinė.
  6. Susiję su
    Ryšio šaltiniai · 2

    Susieti teiginiai

    • Von Neumann entropija yra −tr rho log2 rho ir lygi tankio operatoriaus tikrinių verčių Shannon entropijai. Ansambliui {p-x,rho-x} matavimu prieinama klasikinė abipusė informacija apribota dydžiu chi=S(sum p-x rho-x)−sum p-x S(rho-x). Neortogonalios būsenos riboja atskiriamumą. Supynimas ir sąlyginė kvantinė entropija sukuria elgseną, kurios nėra įprastoje klasikinėje sąlyginėje entropijoje; viena formulė negali pakeisti visų kvantinių išteklių talpų.

    The eigenvalue distribution gives a classical entropy expression.

Įrašo informacijaNuolatinė nuoroda į šį įrašą ↗
Įrašo identifikatorius
info-shannon-entropy
Versija
core.1
Struktūruotas žinyno įrašas
Esminiai pagrindai · pirmasis rinkinys