Математичні основи інформатики. Основи теорії інформації.

Теóрія інформáції — це розділ математики, який досліджує процеси

• зберігання
• перетворення
• передачі

інформації.

Теорія інформації тісно пов'язана з такими розділами математики як теорія ймовірностей і математична статистика.

---

• Визначення. Кількість інформації.

  На сьогодні існують кілька підходів до вирішення питання про вимірювання кількості інформації.

  Згідно з одним із них, кількість інформації взагалі не можна виміряти. Нагадаємо, що інформація - це відомості про об’єкти і явища, які підвищують рівень обізнаності. А підвищення рівня обізнаності є більше якісною характеристикою, ніж кількісною. І ніяка формула не допоможе дати відповідь на питання: яку кількість інформації отримає людина, прочитавши роман Олеся Гончара «Собор», подивившись фрески Мікеланджело, послухавши сигнали дзвонів, яка кількість інформації міститься в генетичному коді людини? Одна й та сама інформація може по-різному підвищувати рівень обізнаності різних людей. Це залежить від попе­редніх знань людини, її здатності сприйняти цю інформацію саме в даний момент і ще від багатьох об’єктивних і суб’єктивних факторів. Саме з цих причин кількість інформації виміряти неможливо.

  Згідно з іншим підходом, кількість інформації виміряти можна. Цей підхід базується на такому визначенні одиниці вимірювання кількості інформації: 1 біт — це кількість інформації, що міститься у повідомленні, яке вдвічі зменшує невизначеність знань про що-небудь.

  Наприклад, якщо ви чекаєте автобус на зупинці, то вас може цікавити, чи під’їде він протягом найближчих 5 хв. Повідомлення про це зменшує невизначеність ваших знань з цього питання удвічі, і тому містить 1 біт інформації.

  Американський інженер Ральф Хартлі (1888-1970) запропонував таке правило для визначення кількості інформації: якщо маємо N рівноможливих випадків, то кількість інформації (І) визначається з формули N = 2^і.

  Наприклад, нехай кулька знаходиться в одній із чотирьох скриньок. Тобто маємо 4 рівноможливих випадки (N = 4). Тоді, за формулою Хартлі, 4 = 2^і.

  Звідси

  1 = 2

  Отже, повідомлення про те, в якій саме скриньці знаходиться кулька, містить два біти інформації.

  Для нерівноможливих випадків американський вчений, один із творців теорії інформації, Клод Шенон (1916-2001), запропонував значно складнішу формулу, в якій використовуються поняття ймовірності й логарифма.

  Зауважимо, що досить часто довжину двійкового коду повідомлення ототожнюють з кількістю інформації, що несе це повідомлення. Це принципово неправильно. Адже повідомлення може бути закодоване, але не нести інформацію. Довге повідомлення може нести значно менше інформації, ніж коротке!

• Одиниці вимірювання інформації

  Змістовний підхід (ймовірнісний) дозволив запровадити одиницю виміру кількості інформації — біт. За допомогою змістового підходу можна виміряти інформацію в повідомленні, тільки якщо зрозуміти зміст повідомлення та визначити кількість можливих подій, а це не завжди можливо.
  Кількість інформації I, що міститься в повідомленні, визначається за формулою:
  
  I = log N
  
  Логарифм можна брати за довільною основою, що еквівалентно вибору одиниці виміру інформації.

  Алфавитний підхід ґрунтується на тому, що інформацією з точки зору роботи техніки є будь-яка послідовність сигналів, подана у вигляді знаків (символів).
  Kоли процес одержання інформації розглядається як вибір одного повідомлення із заданої наперед скінченої множини з N повідомлень, ймовірність яких може бути різною. Нехай P_i – ймовірність одержання i-го повідомлення. Тоді кількість інформації I , що міститься в повідомленні, визначається за формулою Шенона:
  

  ---

• Тест

p 8.

ч 7

ч 5

• 1
• 2