conceitos básicos da teoria introduzida nos anos quarenta do século XX, Shannon.Teoria da Informação - é o estudo dos processos de transporte, de armazenamento e recuperação de dados em sistemas naturais, técnicas e sociais.Muitas áreas científicas aplicadas, tais como ciência da computação, linguística, criptografia, teoria de controle, processamento de imagem, genética, psicologia, economia, organização de métodos de produção são utilizados desta ciência.
Em condições modernas da teoria da informação é muito bem ligado a teoria do código, discute os problemas mais comuns da correspondência entre o sinal e mensagem ea teoria de processamento de sinal, que estuda a quantização e restaurar sinais, bem como análise espectral e correlação dos mesmos.
Teoria da Informação examina o conceito básico de "informação" para a maior parte quantitativamente, sem levar em conta o seu valor, e às vezes sentir.Com esta abordagem, a página de texto irá conter aproximadamente a mesma quantidade de dados é determinado apenas pelo número de sinais e símbolos, e não depende do fato de que, estritamente falando, não é impresso, mesmo que seja absolutamente conjunto absurda e caótica de alguns símbolos.
Esta abordagem justifica-se, mas apenas para simulação de sistemas de comunicação, como eles têm para transmitir corretamente a informação através dos canais de comunicação que podem ser representados por qualquer conjunto de caracteres e símbolos.Então, quando é necessário ter em conta o valor e sentido dos dados, uma abordagem quantitativa é inaceitável.Tais circunstâncias impõem restrições significativas em áreas de possível aplicação desta teoria.
Fundamentos da teoria da informação envolve a consideração de várias questões, incluindo aqueles diretamente relacionados com a transmissão e recepção de dados.O esquema básico de comunicação, o que é visto nos ensinamentos, como se segue.Teoria da Informação e Codificação acredita que estes são a fonte de mensagens, que é uma palavra ou conjunto de palavras, certas letras do alfabeto escrito.A origem da mensagem pode ser um texto em qualquer idioma, naturais ou artificiais, fala humana, base de dados e alguns modelos matemáticos, criando uma seqüência de letras.O transmissor converte a mensagem para um sinal correspondente à natureza física do canal de comunicação - um meio para a transmissão de sinal.Durante a passagem de tal que é sujeita a interferências, que introduzir distorções no valor dos parâmetros de informação.O receptor recupera a mensagem original a partir do sinal recebido distorcido.Mensagem em uma forma reduzida vem ao destinatário - alguma pessoa ou dispositivos técnicos.
Fonte posta uma natureza estatística, ou seja o aparecimento de cada mensagem é determinada por uma certa probabilidade.Teoria da Informação Shannon considera que, se a probabilidade de a mensagem é a unidade, isto é, a sua aparência de forma significativa, e não há incerteza, considerar que não contêm quaisquer dados.
Um dos problemas importantes da teoria da informação considera a coordenação do canal de comunicação e as propriedades da fonte de mensagens de informação.O rendimento é definido na unidade de 1 bit por segundo.
Um problema com sistemas de comunicação são interferência ao percurso de sinal desejado.Shannon, infelizmente, não nos dá métodos específicos para lidar com aqueles.O método mais fácil de eliminar, o que é repetida muitas vezes as mensagens não são muito eficazes, pois consome muito tempo para transferir informações.Muito maior eficiência permite o uso de códigos que permitem detectar e corrigir erros de transmissão de informações.
