Свойства взаимной информации

1. I(X,Y) = I(Y,X). Взаимная информация симметрична.
2. I(X,Y) ≥ 0. Взаимная информация всегда положительна.
3. I(X,Y) = 0 тогда и только тогда, когда ансамбли Хи Yнезависимы.
4. I(X,Y) = H(X) – H(Y/X) = H(Y) – H(X/Y) = H(X) + H(Y) – H(X,Y), т. е. в случае наступления совместного события H(X) + H(Y) = H(X,Y) взаимная информация отсутствует.
5. I(X,Y) ≤ min{H(X),H(Y)}. Взаимная информация не может быть больше информации о каждом ансамбле в отдельности.
6. I(X,Y) ≤ min{log|X|,log|Y|}. Логарифмическая мера каждого из ансамблей в отдельности больше или равна взаимной информации.
7. Взаимная информация I(X,Y) имеет максимум (является выпуклой функцией распределения вероятностей).

Користуючись поняттям умовної ентропії, можна отримати вираз для обчислення ентропії джерела з пам’яттю, яке має алфавіт . Якщо глибина пам’яті такого джерела дорівнює , а потужність алфавіту , то можна вважати, що перед генерацією чергового символу джерело знаходиться в одному з станів, де під станом розуміємо одну з можливих послідовностей попередніх символів довжиною на його виході.

Тоді частинна умовна ентропія при умові, що джерело перебуває в s-му стані

де – умовна ймовірність появи символу , якщо джерело перебуває в s-му стані.

Усереднюючи по усіх станах, отримаємо вираз для ентропії марковського джерела:

тут – ймовірність перебування джерела в s-му стані.

Якщо статистичні зв’язки мають місце лише між двома суміжними символами (тобто джерело має глибину пам’яті ), стан джерела визначається тільки попереднім символом ; в цьому разі ентропія джерела обчислюється за таким виразом:

Для джерела з глибиною пам’яті стан визначається парою символів , а ентропія:

Аналогічно можна отримати вирази для ентропії марковських джерел при більш глибоких статистичних зв’язках.