Измерение информации

Реферат на тему: Измерение информации.

          Объемный и вероятностный  подход. 
 
 
 
 
 

      

Выполнил: ученик 10^а класса                                                                                                             

                                                                                                                     Школы №52

                                                                                      Ибрагимов Орхан.

Содержание.

    Введение………………………………………….3

    Вероятностный подход………………………….4

        Таблица. Частотность букв русского языка…... 5

        Объемный подход……………………………….6

    Список  используемой литературы……………..7

                        

                           Введение.

 

     Определить  понятие «количество информации»  довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу.

 

                                              
 
 
 
 
 
 
 
 
 
 
 
 
 
 

                             Вероятностный подход 

     Рассмотрим  в качестве примера опыт, связанный  с бросанием правильной игральной .кости, имеющей N граней (наиболее распространенным является случай шестигранной кости: N = 6). Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1,2,... N.

     Введем  в рассмотрение численную величину, измеряющую неопределенность -энтропию (обозначим ее Н). Величины N и Н связаны между собой некоторой функциональной зависимостью: 

     H = f (N),       (1.1) 

     а сама функция f является возрастающей, неотрицательной и определенной (в рассматриваемом нами примере) для N = 1, 2,... 6.

     Рассмотрим  процедуру бросания кости более  подробно:

     1) готовимся бросить кость; исход  опыта неизвестен, т.е. имеется  некоторая неопределенность; обозначим ее H1;

     2) кость брошена; информация об исходе данного опыта получена; обозначим количество этой информации через I;

     3) обозначим неопределенность данного  опыта после его осуществления  через H2. За количество информации, которое получено в ходе осуществления опыта, примем разность неопределенностей «до» и «после» опыта: 

     I = H1 - H2       (1.2) 

     Очевидно, что в случае, когда получен  конкретный результат, имевшаяся неопределенность снята (Н2 = 0), и, таким образом, количество полученной информации совпадает с первоначальной энтропией. Иначе говоря, неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта. Заметим, что значение Н2 могло быть и не равным нулю, например, в случае, когда в ходе опыта следующей выпала грань со значением, большим «З».

     Следующим важным моментом является определение  вида функции f в формуле (1.1). Если варьировать число граней N и число бросаний кости (обозначим эту величину через М), общее число исходов (векторов длины М, состоящих из знаков 1,2,.... N) будет равно N в степени М: 

     X=N^M.       (1.3) 

     Так, в случае двух бросаний кости с  шестью гранями имеем: Х = 6² = 36. Фактически каждый исход Х есть некоторая пара (X1, X2), где X1 и X2 - соответственно исходы первого и второго бросаний (общее число таких пар - X). 
 
 
 
 
 
 
 

Таблица 1.3. Частотность букв русского языка 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

                                        Объемный подход  

     В двоичной системе счисления знаки 0 и 1 будем называть битами (от английского выражения Binary digiTs - двоичные цифры). Отметим, что создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).

     Для удобства использования введены  и более крупные, чем бит, единицы  количества информации. Так, двоичное слово из восьми знаков содержит один, байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта - мегабайт (Мбайт), а 1024 мегабайта - гигабайт (Гбайт).

     Между вероятностным и объемным количеством  информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обязательно совпадают, при этом кибернетическое количество информации не может быть больше объемного.

     В дальнейшем тексте данного учебника практически всегда количество информации понимается в объемном смысле. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

    Список  используемой литературы. 
 

    Учебник Информатики и  ИКТ 10-11 класс ( И.Г.Семакин, Е.К.Хеннер)

    Сайт   http://www.sitereferatov.ru