Количественные характеристики информации

Образовательное учреждение Московская банковская школа (колледж)

Центрального  Банка Российской Федерации 
 
 
 
 

Реферат

по  предмету: «Информационные системы профессиональной деятельности»

на  тему «Количественные характеристики информации» 
 
 
 
 
 
 
 

Специальность: 080108 «Банковское дело»

Выполнил студент 411-П группы

Пискарев Александр  Вадимович 
 
 
 
 
 
 
 
 

                                      Москва, 2011

     Введение:

     В 1988 г. известным ученым, математиком, академиком А. П. Ершовым информатика определялась как: «находящаяся в становлении наука, изучающая законы и методы накопления, передачи и обработки информации»

     Сегодня информатика, не только общепризнанная наука и сфера деятельности, но и имеет огромные достижения и  стремительно развивается.

     При этом базовые понятия, в силу разных причин, не всегда имеют общепринятые определения.

     Практически в любое из имеющихся определений  информатики входит понятие «информация». Воспользуемся определением А.В. Могилева, Н.И. Пака, Е.К. Хеннера:

     «Информатика – комплекс научно-практических дисциплин, изучающих все аспекты получения, хранения, преобразования, передачи и использования информации»

     Поэтому, базовым понятием информатики является «информация». Сложность заключается не только в том, что имеется более 400 определений этого термина, но постоянно идут споры о сущности явления, которое представляет термин «информация». От понимания термина «информация» зависят значения всех производных терминов: «информационная технология», «информационная система», «информационный процесс», «информационное общество» и др. и даже понимание предмета самой науки. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Информация как  результат отражения одного объекта  другим выявляет степень соответствия их состояний, а поэтому важными  оказываются именно количественные характеристики информации. Некоторое  количество информации можно рассматривать  с трех основных точек зрения:

• с поведенческой точки зрения создание порции информации осуществляется по некоторой причине, а получение этой информации может привести к некоторому результату (наблюдаемому действию или мыслительной операции);
• с математико-лингвистической точки зрения порция информации может быть описана путем соотнесения ее с другой информацией, указания ее смысла и структуры;
• с физико-технической точки зрения рассматриваются физические аспекты проявления информации - ее материальный носитель, разрешающая способность и точность, с которыми она фиксирует, количество информации, которое производится, передается или принимается и т.д.

На  сегодняшний день мы имеем хорошо разработанную теорию количественного  описания информации. В ее основе лежит  вероятностно-статистический подход К.-Э. Шеннона, но данная теория не учитывает  содержательной и ценностной стороны  информации.

• Синтаксический подход был решением проблем теории связи.

Вероятностный подход достаточно популярно описан во многих изданиях по информатике, поэтому  мы более подробно остановимся на других теориях, менее популярных, но, думаем, что не менее интересных. Существуют еще комбинаторный, алгоритмический, топологический подходы.

Комбинаторный подход Хартли рассматривает конечное множество элементов и не зависит от каких-либо вероятностных допущений. Если переменная х способна принимать значения, принадлежащие конечному множеству X, которое состоит из N элементов, говорят, что энтропия переменного равна:

• H(x) = log₂N.

Указывая  определенное значение переменного X, например X=А, мы «снимаем» эту неопределенность, сообщая информацию:

• I = log₂N.

Во  многих учебниках по информатике  данный подход часто называют объемным.

Понятие энтропии тесно связано с количеством информации. Пусть ситуация характеризовалась энтропией N1. После изменения ситуации энтропия уменьшилась до N2. Тогда количество информации может быть найдено как I = N.

Алгоритмический метод измерения информации был предложен нашим соотечественником А.Н.Колмогоровым. Он особо подчеркивал, что «информация по своей природе - не специально вероятностное понятие», и предложил не вероятностный способ определения количества информации. Он подчеркивал, что «реальные объекты, подлежащие нашему изучению, очень (неограниченно) сложны, но связи между двумя реально существующими объектами исчерпываются при более простом схематизированном их описании. Если географическая карта дает нам значительную информацию об участке земной поверхности, то все же микроструктура бумаги и краски, нанесенной на бумагу, никакого отношения не имеет к микроструктуре изображенного участка земной поверхности».

Не затрагивая математических выкладок А.Н. Колмогорова, доказывающих его гипотезу, можем  сказать, что для описания некоторого объекта X с позиции объекта Z существует определенная последовательность команд (алгоритм), позволяющая выделить необходимое  количество информации о рассматриваемом  объекте, когда незнакомый объект X преобразуется в знакомый объект Y. Тогда информативность объекта X будет зависеть от сложности созданного алгоритма. Чем сложнее алгоритм, тем большее количество информации содержится в объекте X.

Топологический  подход, или голографический принцип, существующий пока на уровне теории, предложен авторами Е. Winfree, К. Fleischer, А. Вагг и др. Данная теория утверждает, что существует некое максимальное количество информации, содержащееся в областях, прилегающих к той или иной поверхности. Следовательно, вопреки интуитивному представлению количество информации, содержащееся в комнате, зависит не от объема комнаты, а от площади ограничивающих ее стен.

Принцип возник из идеи о том, что планковская длина определяет одну из сторон поверхности, которая может содержать только 1 бит информации. Планковская длина - это характерное расстояние, на котором принципы квантовой механики начинают преобладать над законами классической гравитации. Существование этого предела было впервые постулировано физиком Ж.Хуфтом в 1993 году. Его можно также получить из обобщения следующего утверждения, которое на первый взгляд относится совсем к другой области: количество информации, содержащееся в черной дыре, определяется не ее объемом, а площадью поверхности ее горизонта событий. Термин «голографический» возник по аналогии с голограммой, когда трехмерные изображения создаются при пропускании света через плоский экран.

Наиболее существенными  из них являются статистический, семантический  и прагматический. Наибольшее развитие получил первый подход.

Статистический  подход представлен в обширном разделе кибернетики - теории информации, которая занимается математическим описанием и оценкой методов передачи, хранения, извлечения и классификации информации. Теория информации в математической основе использует методы теории вероятности, математической статистики, линейной алгебры и др. В статистической теории особое внимание обращается на распределение вероятности появления отдельных событий и построение на его основе обобщенных характеристик, позволяющих оценить количество информации в одном событии либо в их совокупности. Количественной мерой информации стала энтропия. Чтобы возник процесс передачи, должны иметь место источник информации и потребитель. Источник выдает сообщение, потребитель, принимая сообщение, принимает при этом информацию о состоянии источника. В статистической теории, как указывалось выше, не изучают содержание информации. Предполагается, что до получения информации имелась некоторая неопределенность. С получением информации эта неопределенность снимается. Таким образом, статистическая количественная характеристика информации - это мера снимаемой в процессе получения информации неопределенности системы. Естественно, что количество информации зависит от закона распределения состояний системы.

Семантический подход базируется на смысловом содержании информации. Термин «семантика» исторически применялся в металогике и семиотике. В металогике под семантикой понимают изучение связей между знакосочетаниями, входящими в состав какого-либо формализованного языка, и их интерпретациями (истолкованиями) в терминах той системы понятий и представлений, формализацией которой служит данный язык. В более узком смысле под семантикой подразумевают совокупность правил соответствия между формальными выражениями и их интерпретацией. Под семиотикой понимают комплекс научных теорий, изучающих свойства знаковых систем, т.е. систем конкретных или абстрактных объектов, с каждым из которых сопоставлено некоторое значение. Примерами знаковых систем являются естественные языки, а также искусственные языки, такие как алгоритмические языки, языки программирования, информационные языки и др.

Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса.

Тезаурус — это совокупность сведений, которыми располагает пользователь или система.

Прагматический  подход к информации базируется на анализе ее ценности, с точки зрения потребителя. Например, информация, имеющая несомненную ценность для биолога, будет иметь ценность, близкую к нулевой, для программиста. Ценность информации связывают со временем, поскольку с течением времени она стареет и ценность ее, а, следовательно, и «количество» уменьшается. Таким образом, прагматический подход оценивает содержательный аспект информации. Он имеет особое значение при использовании информации для управления, поскольку ее количество тесно связано с эффективностью управления в системе.

Существуют  два основных подхода для нахождения количества информации: содержательный и алфавитный. Содержательный подход позволяет найти количество информации в сообщении, в котором рассматриваются  равновероятные события. Событие информативно при условии: 
 
 

• произошло как минимум одно из двух возможных событий;

• информация понятна, достоверна, объективна, полезна.

Для нахождения количества информации используют формулу

2^х = N,

где N - количество всех возможных событий;

X - количество  информации, содержащееся в данном  сообщении.

Уменьшение  неопределенности знаний в 2 раза содержит 1 бит информации. Итак, в качестве минимальной единицы информации используется 1 бит информации. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Для сопоставления  введённые меры информации представим в таблице

 
 
 
 
 
 
 
 
 
 
 
 
 

Вывод:

«Информация»  – базовое понятие в современной  науке. Однако единого подхода к  пониманию сущности этого явления  – нет. В теории информации в наше время разрабатывают много систем, методов, подходов, идей.

Разные подходы  к оценке количества информации заставляют, с одной стороны, использовать разнотипные  единицы информации для характеристики различных информационных процессов, а с другой стороны - увязывать  эти единицы между собой как  на логическом, так и на физическом уровнях. Например, процесс передачи информации, измеряемой в одних единицах, сопрягается с процессом хранения, когда она измеряется в других единицах, и т.д., а поэтому выбор единицы информации является весьма актуальной задачей.