osnovni pojmi teorije uvedena v štiridesetih letih dvajsetega stoletja, Shannon.Teorija informacij - je študija procesov prenosa, shranjevanja in priklica podatkov v fizičnih, tehničnih in socialnih sistemov.Veliko uporabnih znanstvenih področjih, kot so računalništvo, jezikoslovje, kriptografije, teorije nadzora, obdelavo slik, genetike, psihologije, ekonomije, organizacije proizvodnih metod se uporablja ta znanost.
V sodobnih razmerah je teorija informacij zelo tesno povezana z kodiranja teorijo, obravnava najpogostejše probleme korespondence med signalom in sporočilom in teorije obdelavo signalov, ki proučuje kvantizacije in obnovili signalov, kot tudi spektralno in primerjalno analizo le-teh.
Informacijska teorija obravnava osnovni koncept "informacij" za večino del količinsko, ne da bi pri tem upošteva svojo vrednost, in včasih občutek.S tem pristopom bo stran besedilo vsebuje približno enako količino podatkov, ki je določena le s številom znakov in simbolov, in ni odvisna od dejstva, da, strogo gledano, pa je natisnjena, čeprav je popolnoma nesmiselno in kaotično nabor nekaterih simbolov.
Ta pristop je upravičen, vendar le za simulacijo komunikacijskih sistemov, saj imajo za pravilno posredovanje informacij preko komunikacijskih kanalov, ki jih lahko v katerikoli nabor znakov in simbolov lahko zastopane.Potem, ko je potrebno, da se upošteva vrednost in pomen podatkov, kvantitativni pristop je nesprejemljiv.Takšne razmere zahtevajo večje omejitve na področjih morebitno uporabo te teorije.
Osnove teorije informacij vključuje razmislek o različnih vprašanjih, vključno s tistimi, ki so neposredno povezane s prenosom in sprejem podatkov.Osnovna shema komunikacije, ki se kaže v naukih, kot sledi.Teorija informacij in šifrirnih meni, da so ti vir sporočil, kar je beseda ali niz besed, nekaterih črk abecede pisno.Vir sporočila lahko besedilo v vseh naravnih ali umetnih jezikov, človeški govor, podatkovne baze in nekateri matematični modeli, ki ustvarja zaporedje črk.Oddajnik pretvori sporočilo v signal, ki ustreza fizikalnih lastnosti komunikacijskega kanala - medij za prenos signala.Med prehodom, kot je do motenj, ki uvajajo izkrivljanja pri vrednosti parametrov informacij.Sprejemnik obnovi izvirno sporočilo od prejetega popačen signal.Sporočilo v okrnjeni obliki pride do naslovnika - neke osebe ali tehničnih naprav.
Vir napoti statistične narave, to je pojav vsakega sporočila določena z določeno verjetnostjo.Informacije Teorija Shannon meni, da je, če je verjetnost sporočila enotnost, njegov nastop bistveno, in ne obstaja negotovost, razmislite o tem, da ne opravlja nobenih informacij.
Eden od pomembnih problemov informacijske teorije meni, da je usklajevanje komunikacijskega kanala in lastnosti vira informacijskih sporočil.Prepustnost je definirana v enoti 1 bit na sekundo.
En problem s komunikacijskimi sistemi so poseg na želeni poti signala.Shannon, žal, ne nam posebne metode za obravnavo teh.Najlažji način odpraviti, ki se večkrat ponovi sporočila niso zelo učinkovit, saj zamuden, za prenos podatkov.Veliko večja učinkovitost omogoča uporabo oznak, ki vam omogočajo odkrivanje in popravljanje napak prenosa podatkov.
