konsep dasar teori diperkenalkan di empat puluhan abad kedua puluh, Shannon.Informasi Teori - adalah studi tentang proses transmisi, penyimpanan dan pengambilan data di sistem alam, teknis dan sosial.Banyak bidang ilmiah terapan seperti ilmu komputer, linguistik, kriptografi, teori kontrol, pengolahan gambar, genetika, psikologi, ekonomi, organisasi metode produksi yang digunakan ilmu ini.
Dalam kondisi modern teori informasi sangat terkait erat dengan coding teori, membahas masalah yang paling umum dari korespondensi antara sinyal dan pesan dan teori pemrosesan sinyal, yang mempelajari kuantisasi dan memulihkan sinyal, serta spektral dan analisis korelasi tersebut.
Teori Informasi meneliti konsep dasar "informasi" untuk sebagian besar kuantitatif, tanpa memperhitungkan nilai, dan kadang-kadang merasakan.Dengan pendekatan ini, halaman teks akan berisi sekitar jumlah yang sama dari data yang ditentukan hanya oleh sejumlah tanda-tanda dan simbol-simbol, dan tidak tergantung pada kenyataan bahwa, tegasnya, ada dicetak, bahkan jika itu benar-benar tidak masuk akal dan kacau set beberapa simbol.
Pendekatan ini dibenarkan, tetapi hanya untuk simulasi sistem komunikasi, karena mereka harus benar mengirimkan informasi melalui saluran komunikasi yang dapat diwakili oleh set karakter dan simbol.Kemudian, bila diperlukan untuk memperhitungkan nilai dan makna dari data, pendekatan kuantitatif tidak dapat diterima.Keadaan seperti memberlakukan pembatasan yang signifikan pada bidang yang mungkin penerapan teori ini.
Dasar-dasar teori informasi melibatkan pertimbangan berbagai isu, termasuk yang berhubungan langsung dengan transmisi dan penerimaan data.Skema dasar komunikasi, yang terlihat dalam ajaran, sebagai berikut.Teori informasi dan Coding percaya bahwa ini adalah sumber pesan, yang merupakan kata atau kumpulan kata-kata, huruf tertentu dari alfabet tertulis.Sumber pesan dapat berupa teks dalam bahasa alami atau buatan, ucapan manusia, database dan beberapa model matematika, menciptakan urutan huruf.Pemancar mengubah pesan menjadi sinyal yang sesuai dengan sifat fisik dari saluran komunikasi - media untuk transmisi sinyal.Selama berjalannya seperti itu mengalami gangguan, yang memperkenalkan distorsi nilai parameter informasi.Penerima pulih pesan asli dari sinyal terdistorsi yang diterima.Pesan dalam bentuk dikurangi datang ke alamat yang dituju - beberapa orang atau perangkat teknis.
Sumber posting yang bersifat statistik, yaitu penampilan setiap pesan ditentukan oleh probabilitas tertentu.Teori informasi Shannon percaya bahwa jika probabilitas pesan adalah kesatuan, yaitu, penampilannya secara signifikan, dan tidak ada ketidakpastian, menganggap bahwa itu tidak membawa informasi apapun.
Salah satu masalah penting dari teori informasi menganggap koordinasi saluran komunikasi dan sifat dari sumber pesan informasi.Throughput yang didefinisikan dalam unit 1 bit per detik.
Satu masalah dengan sistem komunikasi yang gangguan terhadap jalur sinyal yang diinginkan.Shannon, sayangnya, tidak memberi kita metode khusus untuk menangani mereka.Cara termudah untuk menghilangkan, yang diulang berkali-kali pesan tidak sangat efektif karena memakan waktu untuk mentransfer informasi.Banyak efisiensi yang lebih besar memungkinkan penggunaan kode yang memungkinkan Anda untuk mendeteksi dan benar informasi kesalahan transmisi.
