основни понятия от теорията въведена през четиридесетте години на ХХ век, Шанън.Теория на информацията - е изучаването на процесите на пренос, съхранение и извличане на данни в областта на естествените, техническите и социалните системи.Много приложни научни области като компютърни науки, лингвистиката, криптографията, теория на управлението, обработка на изображения, генетика, психология, икономика, организация на производствените методи се използват тази наука.
В съвременните условия на теорията на информацията е много здраво свързан с теорията на кодирането, се обсъждат най-честите проблеми на съответствието между сигнал и съобщението и теорията за обработка на сигнала, която изучава квантуването и възстановяване на сигнали, както и спектрална и корелационен анализ за това.
Информация теория разглежда основната концепция на "информация" за по-голямата част в количествено, без да взема предвид стойността си, а понякога усещам.С този подход, текстовата страница ще съдържа приблизително същото количество данни се определя само от броя на знаци и символи, и не зависи от факта, че, строго погледнато, там е отпечатан, дори ако това е абсолютно безсмислено и хаотичен набор от някои символи.
Този подход е оправдан, но само за симулация на комуникационни системи, тъй като те имат правилно да предава информация чрез комуникационни канали, които могат да бъдат представени от всеки набор от знаци и символи.След това, когато е необходимо да се вземе предвид стойността и значението на данните, количествен подход е неприемлив.Такива обстоятелства налагат значителни ограничения върху области на възможно приложение на тази теория.
Основи на теорията на информацията включва разглеждане на различни въпроси, включително тези, пряко свързани с предаване и приемане на данни.Основната схема на комуникация, която се вижда в ученията, както следва.Теория на информацията и кодиране смята, че те са източник на съобщения, която е дума или набор от думи, някои букви от азбуката написана.Източникът на съобщението може да бъде текстова във всички естествени или изкуствени езици, човешката реч, база данни и някои математически модели, създаване на последователност от букви.Предавателят преобразува съобщението в сигнал, съответстващ на физическата природа на комуникационния канал - средство за предаване на сигнал.По време на преминаването на такава тя е обект на смущения, които въведе деформации в стойността на параметрите на информация.Приемникът се възстанови първоначалното съобщение от получената изкривен сигнал.Писмо в редуцирана форма идва на адресата - някои лице или технически устройства.
Източник поства статистически характер, т.е. появата на всяко съобщение се определя от определена степен на вероятност.Теория на информацията Shannon вярва, че ако вероятността на съобщението е единство, което е значително по външния му вид, и не съществува несигурност, смятат, че тя не носи никаква информация.
Един от най-важните проблеми на теорията на информацията счита координирането на комуникационния канал и свойствата на източника на информационни съобщения.Пропускателна способност се определя в звеното на 1 бит в секунда.
Един проблем с комуникационните системи са смущения на желания сигнал пътя.Шанън, за съжаление, не ни дава специфични методи за справяне с тях.Най-лесният начин да се елиминират, което е многократно повтарян съобщения, не са много ефективни, защото отнема много време за прехвърляне на информация.Много по-голяма ефективност позволява използването на кодове, които ви позволяват да се открие и вярна информация грешки при изпращане.
