מושגים בסיסיים של התאוריה הציגה בשנתי הארבעים של המאה העשרים, שאנון.מידע תיאורית - הוא המחקר של התהליכים של העברת, אחסון ואחזור של נתונים במערכות טבעיות, טכניות וחברתיות.תחומים מדעיים Applied רבים כגון מדעי מחשב, בלשנות, קריפטוגרפיה, תורת בקרה, עיבוד תמונה, גנטיקה, פסיכולוגיה, כלכלה, ארגון של שיטות ייצור משמשים מדע זה.
בתנאים מודרניים התאוריה של מידע קשורה מאוד הדוק לתאורית הקידוד, דנה בבעיות הנפוצות ביותר של ההתכתבות בין האות וההודעה ותיאורית עיבוד אותות, החוקרת את קוונטיזציה ולשחזר אותות, כמו גם ניתוח ספקטרלי ומתאמה.
מידע התיאוריה בוחנת את הרעיון הבסיסי של "מידע" על פי רוב כמותית, מבלי לקחת בחשבון הערך שלה, ולפעמים חשה.עם גישה זו, דף הטקסט יכיל בערך אותה הכמות של נתונים נקבעת רק על ידי מספר הסימנים וסמלים, ואינו תלוי בעובדה ש, בעצם, יש מודפס, גם אם זה בהחלט סט חסר טעם והכאוטי של כמה סמלים.
גישה זו מוצדקת, אבל רק לסימולציה של מערכות תקשורת, כפי שהם צריכים להעביר בצורה נכונה מידע דרך ערוצי תקשורת שיכולה להיות מיוצג על ידי כל קבוצה של דמויות וסמלים.לאחר מכן, כאשר יש צורך לקחת בחשבון את הערך ומשמעות של נתונים, גישה כמותית אינה מקובלת.נסיבות כאלה להטיל מגבלות משמעותיות על תחומי יישום אפשרי של תאוריה זו.
מקור הודעות טבע סטטיסטי, כלומר את המראה של כל הודעה נקבע על ידי הסתברות מסוימת.מידע התיאוריה שאנון מאמין שאם ההסתברות של ההודעה היא אחדות, כלומר, המראה שלו באופן משמעותי, ולא קיים אי ודאות, רואה כי זה לא נושא כל מידע.
אחת הבעיות החשובות של תורת אינפורמציה רואה תיאום של ערוץ תקשורת ואת המאפיינים של המקור של הודעות מידע.התפוקה מוגדרת ביחידה של 1 ביט לשנייה.
בעיה אחת עם מערכות תקשורת היא הפרעה לנתיב האות הרצוי.שאנון, למרבה הצער, לא נותן לנו שיטות ספציפיות להתמודדות עם אלה.השיטה הקלה ביותר כדי לחסל, שהוא פעמים רבות הודעות חוזרות ונשנות הן לא מאוד יעילות, כי נדרש זמן רב כדי להעביר מידע.הרבה יותר יעילות מאפשר השימוש בקודים שיאפשר לך לזהות ומידע שגיאות שידור נכון.
