Informatsiooniteooria: erinevus redaktsioonide vahel
Eemaldatud sisu Lisatud sisu
P teised keeled |
Resümee puudub |
||
5. rida:
Kaasaegse informatsiooniteooria leiutas [[Claude Shannon]] oma [[1948]] aastal avaldatud artiklis [http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html ''A Mathematical Theory of Communications''].
Tema järgi on informatsiooniks ainult need sõnumid, milles vastuvõtja ei ole kindel. Teates leiduva info hulk võrdne nende [[bitt|bittide]] minimaalse hulgaga, mida läheb vaja teate kõikvõimalike väärtuste kodeerimiseks. Seda eeldades, et kõik teated on võrdse tõenäosusega. Näiteks andmebaasis läheb nädalapäevade tähistamiseks vaja kolme bitti:
:000 = esmaspäev
:001 = teisipäev
:010 = kolmapäev
:011 = neljapäev
:100 = reede
:110 = laupäev
:101 = pühapäev
:111 = seda ei kasutata
Kui seda kõike esitada tavaliste tähejadade abil, siis läheb nende säilitamiseks rohkem ruumi, kuid rohkem infot need ei sisaldaks.
Formaalselt mõõdetakse teates <math>\mbox{M}</math> sisalduva info hulka selle entroopiaga <math>\mbox{H(M)}</math>. Üldjuhul sõnumi entroopia (bittides)
:<math>\mbox{H(M)} = log_2n</math>,
kus n on sõnumi võimalike väärtuste arv. Seejuures eeldatakse kõikide väärtuste puhul nende esinemise võrdset tõenäosust.
== Välislingid ==
*David MacKay [http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference and Learning Algorithms].
{{Täienda}}
[[de:Informationstheorie]]
| |||