Каналы с непрерывным временем. Обратная теорема кодирования

 
 
 
 
 
 
 
 
 

Курсовая  работа по теории информации на тему:

 «Каналы  с непрерывным временем. Обратная  теорема кодирования» 
 
 
 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

2008г

Содержание

 

Введение                                                                                                                3 

Классификация и характеристики каналов связи                                                  4                                                               

Каналы с непрерывным  временем                                                                         4 

Передача информации по непрерывному каналу                                                      7                                                     

Обратная теорема  кодирования                                                                             9 

Заключение                                                                                                          11 

Список литературы                                                                                              11 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 
 
 
 
 
 
 
 
 
 
 
 
 

1. Введение: 

  В данной курсовой работе я буду классифицировать и давать характеристику каналам связи. Главным образом, будут рассматриваться непрерывные каналы по входу и выходу с непрерывным временем и простая модель непрерывного канала. Это ограничение обусловлено, с одной стороны, тем, что результаты для нее могут быть получены достаточно простыми средствами, а с другой стороны – тем, что изучение именно этой простой модели позволяет наиболее наглядно пояснить постановку задачи и основные результаты, относящиеся к кодированию в непрерывных каналах. 

  Далее рассмотрим понятия и определения, которые  потребуются для дальнейшего  рассмотрения моей темы:

   Сначала  рассмотрим понятия и определения  которые потребуются для рассмотрения темы:

  Автокорреляционной  функцией случайного процесса z (t) называется      функция двух действительных переменных, определяемая  равенством

  Случайный процесс называется стационарным, если его автокорреляционная функция является функцией только

  Средняя взаимная информация между входом и  выходом на интервале (0,T), если она существует, определяется равенствами

  

    является неявной функцией  T и . Пропускная способность канала на единицу времени определяется равенством

  Где , а верхняя грань берётся по всем входным распределениям вероятностей, согласующимся с ограничениями на входе канала. Величина в скобках это максимум взаимной информации, которая может быть передана за время T. Но при данный предел может не существовать, и пропускная способность определена лишь в том случае когда этот предел существует.

  Неравенство Фано.

  Устанавливает связь между ненадёжностью передачи и средней вероятностью ошибки декодирования для кода G(n, R).    

  Две функции  и называются ортогональными, если

    где - функция, комплексно-сопряженная с .  Функция называется нормированной, если ее энергия

    равна 1. Ортонормальное множество определяется как

  множество функций  , ... , каждая из которых нормирована и

  каждая  пара которых ортогональна; таким  образом, для всех ,

  из множества  имеем 

    где  для и в других случаях.

    2.Классификация и характеристики каналов связи. 

    В системах передачи сообщений канал  связи, представляемый в самом общем виде, включает любую совокупность технических средств. Поэтому наряду с физической средой, предназначенной для распространения электромагнитных колебаний, к блокам канала связи относят кодеры, модуляторы, антенные устройства передатчика и т.д.  В зависимости от конкретного набора блоков системы и соответственно формы и характеристик входных и выходных сигналов канала передачи возникает необходимость в введении специальной классификации каналов.

    Абстрагируясь от конкретной физической природы сигналов и шумов на входе и на выходе различных блоков канала, введем следующие определения.

1. Канал называется дискретным по входу (по выходу), если множество входных (выходных) сигналов является счетным;
2. Канал называется непрерывным по входу (по выходу), если множество входных (выходных) сигналов является континуумом;
3. Канал называется дискретным по входу и непрерывный по выходу – если множество входных сигналов конечно, а множество выходных сигналов несчетно. Такие каналы называют еще полунепрерывными.
4. Канал носит название с дискретным временем, если сигналы на его входе и выходе представляют собой конечные или бесконечные последовательности некоторых ансамблей.

    4а.  Дискретный по входу и выходу  канал с дискретным временем  называется дискретным каналом.

5. Канал называется каналом с непрерывным временем – если сигналы на его входе и выходе являются непрерывными функциями времени.

     5а.   Непрерывный по входу и выходу  канал с непрерывным временем  называют непрерывным каналом. 

       3.Каналы с непрерывным временем

     Рассмотрим общую модель канала связи без предположений о наличии дискретизирующих устройств, как в реальных сигналах непрерывного канала, где они подвержены некоторой промежуточной обработке (т.е. дискретизации).

    Определение 3.1: Непрерывным каналом с непрерывным временем (или просто непрерывным каналом) называется канал, входные и выходные сигналы которого могут быть произвольными функциями времени. Если на входе канала фиксирована некоторая функция х(t) (некоторая реализация из множества входных сигналов канала), то выход канала является случайным процессом Y_х(t), статистические характеристики которого зависят от фиксированной функции х (t).

    Вообще  говоря, множество возможных входных  сигналов канала бесконечно и несчетно. Поэтому задание непрерывного канала в общем случае требует задания несчетного множества случайных процессов Y_х(t). Далее мы будем рассматривать так называемые каналы с аддитивным шумом, которые имеют существенно более простое описание.

    Определение 3.2: Непрерывным каналом с аддитивным шумом называется такой непрерывный канал, процесс Y_х(t) на выходе которого при любой фиксированной функции х(t) на  его входе определяется соотношением

    Y_x(t) = x(t) + Z(t),                                  (3.1)

где Z(t) — случайный процесс, не зависящий от х(t). Этот процесс называется шумовым процессом или просто шумом.

    Таким образом, непрерывный канал с  аддитивным шумом полностью определяется только одним случайным процессом, а именно шумом. При любой фиксированной  функции х(t), принадлежащей множеству входных сигналов канала, выходной сигнал отличается от шумового процесса только математическим ожиданием. Очевидно, что случайный процесс Y_х(t) имеет математическое ожидание, равное х(t), если шум Z(t) имеет нулевое математическое ожидание. В дальнейшем всегда предполагается, что шум имеет нулевое математическое ожидание. В противном случае, если m_z(t) ∆ M Z(t) ≠ 0, то можно полагать, что входным сигналом канала является функция х(t) + m_z(t), и тем самым перейти к случаю, когда шум в канале имеет пулевое среднее.

    Введем  теперь понятие кода для непрерывного канала непрерывного времени.

    Определение 3.3: Пусть u_i = u_i(t), i= 1,…,M, 0≤ t ≤ T — произвольные интегрируемые с квадратом функции, заданные на интервале [0,Т] (кодовые слова). Пусть Y^T —множество всех сигналов на выходе канала, образованное функциями у(t), заданными на том же интервале [О, Т], и A₁, …, A_M — непересекающиеся подмножества множества Y^T (решающие области). Кодом для непрерывного канала будем называть множество пар {u₁,A₁ ;…; u_M,A_M}. Если для каждого кодового слова u_i(t) имеет место неравенство:

                                       (3.2)

то будем  говорить, что код удовлетворяет ограничению P на среднюю мощность кодовых слов. Число

                                                 (3.3)

    называется  скоростью равномерного кодирования источника посредством кода с М кодовыми словами, при разбиении последовательности сообщений на блоки длины кода Т. Код длины T со скоростью R обозначается: G (T, R).

    Кодовые слова представляют собой сигналы, с помощью которых передаются сообщения, а множества А₁, …, А_М задают правило декодирования: если сигнал y(t) на выходе канала принадлежит множеству А_i, то принимается решение о том, что передавалось кодовое слово u_i.

    Для каждого кода определена вероятность ошибки при передаче слова u(t):

                                   (3.4)

Здесь определены средняя λ  и максимальная Λ.

    Пропускная  способность С  непрерывного канала при ограничении  на среднюю мощность сигналов на входе определяется аналогично пропускной способности непрерывных каналов с дискретным временем.

    Определение 3.4: Пропускной способностью непрерывного канала с дискретным временем при ограничении P на среднюю мощность входных сигналов называется максимальное число С такое, что для любого сколь угодно малого положительного δ и любого R < C существует код G (n, R), все слова которого удовлетворяют ограничению

                                          (3.5)

и максимальная вероятность ошибки которого удовлетворяет неравенству Λ ≤ δ.

    Дадим определение информационной емкости  канала, не вдаваясь в детали. Более  подробное обсуждение будет дано в случае каналов с аддитивным белым гауссовским шумом с  ограничением на полосу частот.

    Определение 3.5: Пусть Х_Т(t) — случайный процесс, заданный на интервале [0, Т]. Пусть для случайного процесса Х_т(t) на входе определена величина средней взаимной информации      в   единицу    времени     между случайными процессами на входе Х_T(t)) и на выходе Y_T(t), 0 ≤ t ≤ T, канала, соответственно. Число

                          (3.6)

где верхняя  грань разыскивается по всем T и по всем случайным процессам X_T (t),  обладающим ограниченной средней мощностью, т. е. таким, что:

                                           (3.7)

называется  информационной емкостью непрерывного канала при ограничении P на среднюю мощность входных сигналов. После того как мы дали определение информационной емкости, мы можем сформулировать и доказать обратную теорему кодирования.

    Докажем теперь, обратную теорему кодирования. Основным инструментом для её доказательства является неравенство Фано, которое  справедливо для различных каналов:

                          (3.8)

4. Передача информации по непрерывному каналу 
 

<