podstawowe pojęcia teorii wprowadzonej w latach czterdziestych XX wieku, Shannon.Informacje Teoria - to nauka o procesach przekazywania, przechowywania i udostępniania danych w systemach przyrodniczych, technicznych i społecznych.Wiele Zastosowane pola naukowych, takich jak informatyka, lingwistyka, kryptografii, teorii sterowania, przetwarzania obrazu, genetyki, psychologii, ekonomii, organizacji metod produkcji są wykorzystywane tę naukę.
W nowoczesnych warunkach teorii informacji jest bardzo ściśle związana z teorii kodowania, omawia najczęstsze problemy korespondencji między sygnałem i wiadomości oraz teorii przetwarzania sygnałów, która bada kwantyzacji i przywrócić sygnały, jak również analizę widmową oraz korelacji z nich.
Teoria Informacji analizuje podstawowe pojęcia "informacji" dla większości ilościowo, nie biorąc pod uwagę jego wartość, a czasami wyczuć.Przy takim podejściu, strona tekst zawiera w przybliżeniu taką samą ilość danych jest określana tylko przez liczbę znaków i symboli, i nie zależy na tym, że ściśle biorąc, nie jest drukowana, nawet jeśli nie jest to absolutnie bez sensu i chaotyczne zestaw kilku symboli.
Podejście to jest uzasadnione, ale tylko dla symulacji systemu komunikacji, ponieważ muszą one prawidłowo przekazywać informacji za pomocą kanałów komunikacyjnych, które mogą być reprezentowane przez dowolny zestaw znaków i symboli.Wtedy, gdy jest to konieczne, aby uwzględnić wartość i znaczenia danych, podejście ilościowe jest nie do przyjęcia.Takie okoliczności narzucają znaczące ograniczenia w zakresie możliwości zastosowania tej teorii.
Podstawy teorii informacji wymaga rozważenia różnych kwestii, w tym bezpośrednio związane z transmisji i odbioru danych.Podstawowy schemat komunikacji, co jest widoczne w naukach, w następujący sposób.Teoria informacji i kodowania uważa, że są one źródłem wiadomości, które to słowo lub zestaw słów, niektórych liter alfabetu pisemnej.Źródłem wiadomości może być tekst w dowolnych językach naturalnych lub sztucznych, ludzkiej mowy, bazy danych, a niektóre modele matematyczne, tworząc sekwencję liter.Nadajnik przetwarza komunikat w sygnał odpowiadający natury fizycznej kanału komunikacyjnego - nośnik do transmisji sygnałów.Podczas przejścia takie jest podatne na zakłócenia, które wprowadzają zakłócenia w wartości parametrów informacyjnych.Odbiornik odzyskuje oryginalną wiadomość od odbieranego sygnału zniekształconego.Wiadomość w ograniczonej formie dochodzi do adresata - Niektóre osoby lub urządzeń technicznych.
Źródło księguje statystycznej natury, to pojawienie się każdego komunikatu jest określony przez określonym prawdopodobieństwem.Informacje Theory Shannon uważa, że jeżeli prawdopodobieństwo przesłania jest jedności, to jest, jego wygląd znacznie, i nie ma wątpliwości, należy rozważyć, że nie zawierają żadnych informacji.
Jednym z ważnych problemów teorii informacji uważa koordynacji kanału komunikacji i właściwości źródła komunikatów informacyjnych.Wydajność określa się w jednostce 1 bit na sekundę.
Jeden problem z systemów komunikacyjnych są zakłócenia na żądaną ścieżkę sygnału.Shannon, niestety, nie daje nam konkretne sposoby radzenia sobie z tym.Najprostszym sposobem, aby wyeliminować, które jest powtarzane wielokrotnie wiadomości nie są bardzo skuteczne, bo czasochłonne do przesyłania informacji.Znacznie większa wydajność pozwala na stosowanie kodów, które pozwalają na wykrycie i prawidłowe informacje błędy transmisji.
