základné pojmy z teórie zavedené v štyridsiatych rokoch dvadsiateho storočia, Shannon.Teória informácie - je štúdium procesov prenosu, ukladanie a vyhľadávanie dát v prírodných, technických a spoločenských systémoch.Mnoho aplikovanej vedecké odbory, ako sú počítačové vedy, lingvistiky, kryptografie, teórie riadenia, spracovanie obrazu, genetika, psychológia, ekonómia, organizácia výrobných metód používa túto vedu.
V moderných podmienkach teórie informácií je veľmi pevne spojené s teórie kódovania, pojednáva o najčastejších problémov korešpondencie medzi signálom a posolstvo a teórie spracovanie signálu, ktorá študuje kvantizacia a obnoviť signály, rovnako ako spektrálne a korelačné analýzy týchto látok.
Teória informácie skúma základný koncept "informácie" z väčšej časti kvantitatívne, bez toho, aby boli zohľadnené jeho hodnotu, a niekedy aj zmysel.S týmto prístupom, text stránka obsahuje približne rovnaké množstvo dát, je určený iba počtom znakov a symbolov, a nezávisí na tom, že prísne vzaté, tam je vytlačená, a to aj v prípade, že je úplne nezmyselné a chaotické sada niekoľkých symbolov.
Tento prístup je odôvodnené, ale iba pre simuláciu komunikačných systémov, pretože majú správne odovzdávať informácie prostredníctvom komunikačných kanálov, ktoré môžu byť reprezentované ľubovoľné sady znakov a symbolov.Potom, keď je potrebné vziať do úvahy hodnoty a význam dát, kvantitatívny prístup je neprijateľný.Takéto okolnosti stanovujú podstatné obmedzenie na oblasti možného použitia tejto teórie.
Základy teórie informácie zahŕňa posúdenie rôznych otázok, vrátane tých, ktoré priamo súvisia s vysielanie a príjem dát.Základná schéma komunikácie, ktorý je vidieť v učení, a to nasledovne.Teória informácie a kódovania sa domnieva, že to sú zdrojom správ, čo je slovo alebo súbor slov, niektoré písmená abecedy písomné.Zdrojom správy môže byť text v akýchkoľvek prírodných alebo umelých jazykov, ľudská reč, databázy a niektoré matematické modely, vytvárať poradie písmen.Snímač prevádza správy na signál, zodpovedajúce fyzikálne povahe komunikačného kanála - médium na prenos signálu.Pri priechode taká podlieha rušeniu, ktoré zavádzajú narušenie v hodnote informačných parametrov.Prijímač obnoví pôvodnú správu z prijatého skresleného signálu.Odkaz v redukovanej podobe príde adresátovi - nejakú osobu alebo technických zariadení.
Source zaúčtuje štatistickej povahy, tj vzhľad každej správy je určený určitou pravdepodobnosťou.Information Theory Shannon sa domnieva, že v prípade, že pravdepodobnosť, že správy je jednota, to znamená, že jeho vzhľad významne, a nie je neistota, sa domnievajú, že to nenesie žiadne informácie.
Jedným z dôležitých problémov teórie informácie sa domnieva, že koordinácia komunikačného kanála a vlastnosti zdroje informačných správ.Priepustnosť je definovaná v jednotkách 1 bit za sekundu.
Jeden problém s komunikačnými systémami zásah do požadovanej signálové cesty.Shannon, bohužiaľ, nie je nám špecifické metódy pre zaobchádzanie s tými.Najjednoduchší spôsob, ako odstrániť, čo sa mnohokrát opakuje správy nie sú veľmi účinné, pretože časovo náročné na prenos informácií.Omnoho vyššiu účinnosť umožňuje použitie kódov, ktoré umožňujú odhaliť a opraviť chyby prenosu informácií.
