Одиниці виміру інформації та їх розрахунок

Нині термін "біт" в інформатиці, обчислювальній та імпульсній техніці використовується не тільки як одиниця кількості інформації, але і для визначення числа двійкових символів 0 i 1, оскільки вони переважно рівноімрвірні і кожний із них несе 1 біт інформації. У цьому новому значенні біт - це мінімально можлива порція (квант) числа 0 або 1, у двійковій послідовності біт є цілим додатнім числом.

Більшість реальних джерел видають повідомлення з різними імовірностями. Наприклад, у тексті букви А, Е, О зустрічаються досить часто, а Ж, Щ, Ф - рідко. У разі різних імовірностей повідомлення несуть різну кількість інформації, а для вирішення більшості практичних задач має значення середня кількість інформації в одному повідомленні. Ця середня кількість інформації обчислюється як математичне очікування і, згідно з формулою (3.1) при загальній кількості повідомлень джерела M_a визначається як:

(3.2)

У теорії інформації цей термін і спосіб обчислення (за формулою (3.2)) введено в 1948 p. K. Шенноном, а далі більш чітко визначено математиками ОЛ.Хінчиним та А.М.Колмогоровим. Величина Н(А) дістала назву ентропії джерела незалежних повідомлень; вимірюється в бітах на повідомлення, скорочено - біт/пов. Фізично інформаційна ентропія Н(А) відбиває середню невизначеність стану джерела повідомлень і є об'єктивною інформаційною характеристикою джерела. Ентропія, як і інформація, завжди додатня й дістає максимального значення H_max(A) = log₂M_a для М_a рівноімовірних повідомлень.

Приклад. Джерело незалежних повідомлень має в своєму алфавіті шість повідомлень з імовірностями 0,3; 0,2; 0,15; 0,1; 0,03; 0,01. Обчислити ентропію джерела.