Каналы с непрерывным временем. Обратная теорема кодирования

p>     Линии связи, основанные на использовании  аналоговых сигналов, имеют весьма широкую область практического  применения - это радио- и телевизионная связь, телефон и модем, различные телеметрические каналы и пр.  
 

 

Рис.1. Схема непрерывного канала передачи информации 

    Непрерывные  сигналы, поступающие в канал  связи из передатчика описываются  некоторой непрерывной функцией  времени Z(t). Ограничения на значения этой функции задаются величиной средней мощности передаваемых сигналов PZ. Другой характеристикой непрерывного канала, как и канала дискретного, является полоса пропускания – интервал частот сигналов, которые могут распространяться в данном канале n_min – n_max. Если по своему физическому смыслу Z является напряжением или силой электрического тока, то при неизменном электрическом сопротивлении канала связи PZ ~ <Z2>, т.е. мощность сигнала определяет его амплитуду и средний квадрат значения параметра сигнала.  

    Сигналы  на выходе канала Z'(t), поступающие  в приемник, также являются аналоговыми  и формируются они в результате  сложения сигналов на входе  канала и помех - их можно  описать некоторой непрерывной  функцией времени x(t); в результате:  

Z'(t) = Z(t) + x(t)                                                 (4.1) 

    Явный  вид функции помех заранее  неизвестен. Поэтому для количественного  описания прохождения сигналов  по непрерывному каналу приходится  принимать ту или иную модель  помех и модель канала. Наиболее распространенной является модель гауссовского канала: принимается, что помехи, будучи непрерывными случайными величинами, подчиняются нормальному (гауссовскому) статистическому распределению с математическим ожиданием (средним значением) равным нулю (m_x = 0):  

                                           (4.2) 

    Эта  функция имеет единственный параметр sx, квадрат которого называется  дисперсией sx2 = Dx и имеет смысл  средней мощности помех в канале  с единичным электрическим сопротивлением, т.е.  

                                                 

                                                                (4.3)             

    Если при этом выполняется условие, что в пределах полосы пропускания средняя мощность помех оказывается одинаковой на всех частотах, а вне этой полосы она равна нулю, то такие помехи называются белым шумом.  

    Не  в даваясь в математическую  сторону вывода, укажем, что основываясь  на аппарате, описывающем непрерывные  случайные величины, можно получить  выражение для информации, связанной с отдельным аналоговым сигналом, а на его основе вывести формулу для пропускной способности непрерывного канала. В частности, для принятой модели гауссовского канала с белым шумом получается выражение, которое также называется формулой Шеннона:

                                              (4.4)

где P_z– средняя мощность сигнала; P_x – средняя мощность помех, v_m - наибольшая частота в полосе пропускания.  

    Замечание.  Из (формулы 4.4) следует, что при фиксированной v_m пропускная способность определяется только отношением мощностей сигнала и помех. Ограничение пропускной способности непрерывного канала связано с тем, что любые используемые для связи сигналы имеют конечную мощность.  

    C = 0 только при P_z = 0. Т.е. непрерывный канал обеспечивает передачу информации даже в том случае, если уровень шумов превышают уровень сигнала – это используется для скрытой (неперехватываемой) передачи.  

    Повысить  пропускную способность непрерывного  канала можно за счет расширения  полосы пропускания.  

    Приведем  характеристики некоторых каналов  связи.  
 
 
 
 
 
 

Таблица 1. Характеристики некоторых каналов связи  

Из сопоставления  данных видно, что пропускная способность  телефонного канала связи совпадает  с пропускной способностью органов  слуха человека. Однако она существенно  выше скорости обработки информации человеком, которая составляет не более 50 бит/с. Другими словами, человеческие каналы связи допускают значительную избыточность информации, поступающей в мозг.  

    Мы  коснулись лишь одной (хотя  и наиболее часто применяемой)  модели непрерывного канала. В реальных каналах действие помех на входные сигналы может быть гораздо сложнее и, соответственно, гораздо хуже поддаваться математическому описанию.

5. Обратная теорема кодирования

 

    Теорема 1 (обратная теорема кодирования для непрерывных каналов при ограничении на среднюю мощность сигналов на входе).

    Пусть С*  - информационная емкость непрерывного канала при ограничении P на среднюю мощность сигналов на входе. Пусть  ε – произвольное положительное число  и R = C* + ε . Тогда найдется положительное число δ, зависящее от R, такое, что для всякого T и всякого кода G (T, R), удовлетворяющего ограничению P (см. формулу 3.2), средняя вероятность ошибки λ ≥ δ.

Доказательство:  Зафиксируем Т и рассмотрим некоторый код G (Т, R) при R = C* + ε, ε > 0, все слова которого удовлетворяют условию (см. формулу 3.2). Рассмотрим случайный процесс XT(t) на входе канала, для которого с вероятностью единица в качестве реализаций появляются кодовые слова u_i(t), i = 1, …, M; M = 2^RT, рассматриваемого кода. Будем считать, что вероятность каждой такой реализации равна 2^-RT. Так как каждая реализация процесса Х_T(t) удовлетворяет условию

                                     (5.1)

то и  сам процесс Хт(t) удовлетворяет  условию (3.7).           

Из определения информационной емкости имеем

                               (5.2)

                                                     

где U — ансамбль кодовых слов с равномерным распределением вероятностей, a W — ансамбль решений, для которого вероятности  

 

определены заданием канала. Второе неравенство есть следствие  невозрастания средней взаимной информации при преобразованиях. Теперь можно воспользоваться неравенством Фано, которое выполняется для  любого кода и для любого распределения вероятностей р(х) на кодовых словах.   

    Обозначим через λ_0n наименьший корень уравнения  

                                                  (5.3) 

    Тогда из неравенства Фано следует, что  средняя вероятность ошибки R для  кода G (T, R) удовлетворяет неравенству λ ≥ λ_0n. Легко увидеть, что λ_0n стремится к ε/R при n → ∞. Из свойств функции φ(λ) следует, что при M ≥ 1 число λ_0n остается положительным при всех n и λ_0n ≥ λ₀₁ > 0. Полагая λ₀₁ = δ, получим, что λ ≥ δ для любого кода G (T, R).  Теорема доказана.

 

    Наша  цель состоит в том, чтобы показать, что по крайней мере в некоторых  случаях, пропускная способность непрерывного какала равна его информационной емкости, а также в том, чтобы  указать метод вычисления информационной емкости. Для упрощения доказательств и для получения наглядных результатов ограничимся рассмотрением одного частного вида каналов, а именно непрерывных каналов с аддитивным белым гауссовским шумом и ограничением на полосу частот.

 

                

7. Заключение

 

      Я рассмотрели непрерывные каналы по входу и выходу с непрерывным временем и простую модель непрерывного канала.

 
 
 

8.Список литературы:

 

В.Д. Колесников, Г.Ш. Полтырев

«Курс теории информации»

Москва  «Наука» 1982  (п.4.3*)

 

А.С. Котоусов (стр.32-41)

«Теория информации»

«Радио  и связь» Москва 2003

 

С.И.Баскаков

«Радиотехнические цепи и сигналы»

Москва  «Высшая школа» 2000 (стр.170-181)