Условная  энтропия и взаимная информация. 

 Пусть

и - случайные величины с множеством возможных значений    

Условной  энтропией величины при наблюдении величины называется

 

Справедливы соотношения:

 

 

Взаимной  информацией  величин и называется

 

Справедливы следующие  соотношения:

 

 

 

   

Если  и независимы, то =0.

 

Пример 1.

Дана матрица

, .

Определить:

Решение.

По формуле  полной вероятности имеем:

 

Следовательно,

 

По теореме  умножения 

 

 

 

Следовательно,

Аналогично 

   
 
 
 
 

Количество  информации и избыточность 

   Количество  информации  при наблюдении случайной величины

 с распределением вероятностей  задается формулой Шеннона: 

 

   Единицей  измерения количества информации является бит, который представляет собой количество информации, получаемое при наблюдении случайной величины, имеющей два равновероятных значения. 

   При равномерном распределении  количество информации задается формулой Хартли: 

   

 

   Справедливы следующие соотношения:

   

   если  и - независимы 

   Избыточностью называется

   

   Пусть 
 

    поэтому 
 
 
 
 
 

     
 
 

   Аддитивность  информационной меры

 

   Рассмотрим  два источника информации: 

   

При одновременном  наблюдении

 
 
 
 
 
 
 

     
 

Мера  Хартли:                      

 
 

Мера  Шеннона

 

Пусть А и  В независимы, тогда