Контрольная работа по "Основам теории информации"

Государственное образовательное учреждение высшего  профессионального образования

"Балтийский  институт экономики и финансов (БИЭФ)" 
 
 

Кафедра прикладной информатики 

Контрольная работа

По дисциплине ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ 
 

                                                                                                        Шиндяпин Сергей Викторович

                                                                                        Группа/курс  2918/4

                                                                   Вариант 6

                                                                                                          Дата сдачи _______________

                                                                                                          Дата проверки ____________                                                                                     

                                                                                             Профессор Карлов А.М. 
 
 
 
 
 
 
 

г. Калининград

2011 г. 

План 

1. Задача  №1………………………………………………………………………………………………………………стр.3
2. Задача №2………………………………………………………………………………………………………………стр.6
3. Задача №3………………………………………………………………………………………………………………стр.9
4. Задача №4………………………………………………………………………………………………………………стр.13
5. Задача №5………………………………………………………………………………………………………………стр.17
6. Задача №6………………………………………………………………………………………………………………стр.22

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
---

     Задача 1. Энтропия некоррелированного источника дискретных сообщений.

     Определить  энтропию и коэффициент избыточности некоррелированного источника дискретных сообщений, закон распределения  вероятностей которого приведен в табл. 1.

     Таблица 1

 

     Решение

 

X_i– элемент источника дискретных сообщений

I(x_i) – количество информации

H(x) – энтропия источника дискретных сообщений

P(x_i) – вероятность появления элемента в сообщении

Количество  информации, содержащейся в элементе сообщения дискретного источника, измеряемого в двоичных единицах количества информации, будем определять по формуле: 

Энтропия  источника дискретных сообщений  можно определить по формуле: 

Где:

L – число элементов источника дискретных сообщений

Получим:

H(x) = (-0.05×log₂0.05) + (-0.149×log₂0.149) + (-0.174×log₂0.174) + (-0.192×log₂0.192) + (-0.16×log₂0.16) + (-0.1×log₂0.1) + (-0.052×log₂0.052) + (-0.033×log₂0.033) + (-0.09×log₂0.09)

Используя свойство логарифмов с×log_аb = log_аb^с запишем:

H(x) = log₂0.05^-0.05 + log₂0.149^-0.149 + log₂0.174^-0.174 + log₂0.192^-0.192 + log₂0.16^-0.16 + log₂0.1^-0.1 + log₂0.052^-0.052 + log₂0.033^-0.033 + log₂0.09^-0.09

H(x) = log₂1.1616 + log₂1.3280 + log₂1.3556 + log₂1.3728 + log₂1.3407 + log₂1.2589 + log₂1.1662 + log₂1.1192 + log₂1.2420

Используя свойство логарифмов log_аb + log_ac = log_a(b×c) запишем:

H(x) = log₂(1.1616 × 1.3280 × 1.3556 × 1.3728 × 1.3407 × 1.2589 × 1.1662 × 1.1192 × 1.2420)

H(x) = log₂7.8545 = 2,974

Для того, чтобы  определить коэффициент избыточности источника сообщения R_изб, определим максимальное значение энтропии по формуле:

H_max = log₂L

H_max = log₂9

H_max = 3.17

Для характеристики алфавита источника сообщений представляет интерес сравнения энтропии H(x) с максимальной при данном алфавите энтропии H_max. По результатам этого сравнения определим коэффициент избыточности источника сообщения R_изб по формуле: 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

     Задача 2. Оптимальное статистическое кодирование.

     По  заданному закону распределения  вероятностей дискретного источника  информационных сообщений (табл. 1) провести оптимальное статистическое кодирование  источника сообщений по методу Хаффмена.

Определить  коэффициент избыточности закодированного  источника дискретных информационных сообщений и скорость передачи информации при использовании полученного  кода. При расчете скорости передачи информации длительность элементарной посылки принять равной 5 мксек. 

Решение

Исходя из своего варианта, будем решать задачу по методу Хаффмена:

Для этого  воспользуемся таблицей 1 задачи №1

Используя код Хаффмена построим таблицу элементов источника x_i в порядке убывания их вероятностей p_i. 
 

 
 
 
 
 

 

Элементы  алфавита X_i располагаем в порядке убывания их вероятностей. Граф кода Хоффмена начинаем строить с 2-х элементов алфавита, имеющих наименьшие вероятности. Одному из этих элементов алфавита, а именно верхнему, присваиваем «единичный» символ кодовой комбинации, а нижнему – «нулевой» символ. Далее эти два символа объединяем в промежуточный элемент с вероятностью, равной сумме вероятностей исходных элементов. Затем в ансамбле оставшихся элементов алфавита вместе с промежуточными вновь находим два элемента с наименьшими вероятностями и проделываем предыдущую процедуру. Эту процедуру проделываем до тех пор, пока не исчерпаем весь алфавит источника,, то есть, получим промежуточный символ с вероятностью равной единице. Считывание кодовой комбинации осуществляем с конца графа Хоффмена по стрелкам.

Рассчитаем  среднюю длительность кодовой комбинации: 
 
 
 
 

Найдем коэффициент  избыточности закодированного источника  дискретных информационных сообщений  по формуле: 

Для расчета  возьмем энтропию дискретных сообщений  H(x) из предыдущей задачи (задача №1):