Кодирование и хранение символьной информации символов и строк. Кодировка символов ASCII

Рисунок 7:  ГОСТ-альтернативная кодировка

    Другая распространённая кодировка  носит название КОИ-8 (код обмена информацией, восьмизначный) – её происхождение относится ко временам действия Совета Экономической Взаимопомощи государств Восточной Европы (рисунок 8). Сегодня кодировки КОИ-8 имеет широкое распространение в компьютерных сетях на территории России и в российском секторе Интернета.

Рисунок 8:  Кодировка КОИ-8

    Международный стандарт, в котором  предусмотрена кодировка символов  русского алфавита, носит название  кодировки ISO (International Standard Organization –Международный институт стандартизации). На практике данная кодировка используется редко (рисунок 9).

          Во многих странах Азии 256 кодов  явно не хватило для кодирования  их национальных алфавитов. В  1991 году производители программных  продуктов и организаций, утверждающие  стандарты, пришли к соглашению  о выработке единого стандарта.  Этот стандарт построен по 16 битной  схеме, кодирования и получил  название UNICODE. Он позволяет закодировать 2¹⁶=65536 символов, которых достаточно для кодирования всех национальных алфавитов в одной таблице. Так как каждый символ этой кодировки занимает два байта (вместо одного, как раньше), все текстовые документы, представленные в UNICODE, стали длиннее в два раза. Современный уровень технических средств нивелирует этот недостаток UNICODE. Кодировка UNICODE используется в программе MS Office. Существует 4 основных способа кодировки байтами в формате UNICODE:

• UTF-8: 128 символов кодируются одним байтом (формат ASCII), 1920 символов кодируются 2-мя байтами ((Roman, Greek, Cyrillic, Coptic, Armenian, Hebrew, Arabic символы), 63488 символов кодируются 3-мя байтами (Китайский, японский и др.) Оставшиеся 2 147 418 112 символы (еще не использованы) могут быть закодированы 4, 5 или 6-ю байтами.
• UCS-2: Каждый символ представлен 2-мя байтами. Данная кодировка включает  лишь первые 65 535 символов из формата Unicode.
• UTF-16: Является расширением UCS-2, включает 1 114 112 символов формата Unicode. Первые 65 535 символов представлены 2-мя байтами, остальные - 4-мя байтами.
• USC-4: Каждый символ кодируется 4-мя байтами.

   Текстовые строки. Текстовая (символьная) строка – это конечная последовательность символов. Это может быть осмысленный текст или произвольный набор, короткое слово или целая книга. Длина символьной строки – это количество символов в ней. Записывается в память символьная строка двумя способами: либо число, обозначающее длину текста, затем текст, либо текст, затем разделитель строк.

    Текстовые документы. Текстовые документы используются для хранения и обмена данными, но сплошной, не разбитый на логические фрагменты текст воспринимается тяжело. Структурирование теста достигается форматированием – специфическим расположением текста при подготовке его к печати. Для анализа структуры текста были разработаны языки разметки, которые устанавливают текстовые метки (маркеры или теги), используемые для обозначения частей документа, записывают вместе с основным текстом в текстовом формате. Программы, анализирующие текст, структурируют его, считывая теги.

2.4. Способы представления  символьных данных  в ЭВМ

    В отличие от обычной словесной формы,  принятой в письменном виде, символьная информация хранится  и обрабатывается в памяти ЭВМ в форме цифрового кода. Например, можно обозначить каждую букву числами, соответствующими её порядковому номеру в алфавите: А – 01, Б – 02, В – 03, Г – 04, …, Э – 30, Ю – 31, Я – 32. Точно также можно договориться обозначать точку числом 33, запятую – числом 34 и т. д. Так как в устройствах автоматической обработки информации используются двоичные коды, обозначения букв надо перевести в двоичную систему. Тогда буквы будут обозначаться следующим образом: А - 000001, Б - 000010, В - 000011, Г - 000100, ... , Э - 011110, Ю - 011111, Я - 100000. При таком кодировании любое слово можно представить в виде последовательности кодовых групп, составленных из О и 1. Например, слово «ЭВМ» выглядит так: О 1111 О 000011 00111 о.

  При преобразовании символов (знаков) в  цифровой код между множествами  символов и кодов должно иметь  место взаимнооднозначное соответствие, т. е. разным символам должны быть назначены разные цифровые коды, и наоборот. Это условие является единственным необходимым требованием при построении схемы преобразования символов в числа. Однако существует ряд практических соглашений, принимаемых при построении схемы преобразования исходя из соображений наглядности, эффективности, стандартизации. Например, какое бы число ни назначили коду для знака О (не следует путать с числом о), знаку 1 удобно назначить число, на единицу большее, чем код 0, и так далее до знака 9. Аналогичная ситуации возникает и при кодировке букв алфавита: код для Б на единицу больше кода для А, а код для В - на единицу больше кода для Б и так далее. Таким образом, из соображений наглядности и легкости запоминания целесообразно множества символов, упорядоченных по какому-либо признаку (например, лексико-графическому), кодировать также с помощью упорядоченной последовательности чисел.

    Другой важный момент при организации кодировки символьной информации - эффективное использование оперативной памяти ЭВМ. Так как общеупотребительными являются примерно 100 знаков (сюда, помимо цифр, букв русского и английского алфавитов, знаков препинания, арифметических знаков, входят знаки перевода строки, возврата каретки, возврата на шаг и т. п.), то для взаимнооднозначного преобразования всех знаков в коды достаточно примерно сотни чисел. Значение этого выбора заключается в том, что для размещения числа из этого диапазона в оперативной памяти достаточно одного байта, а не машинного слова. Следовательно, при такой организации кодировки достигается существенная экономия объема памяти.

    При назначении кодов знакам надо также учитывать соглашения, касающиеся стандартизации кодировки. Можно назначить знаковые коды по своему выбору, но при этом возникнут трудности, связанные с необходимостью обмена информацией с другими организациями, использующими кодировку, отличную от нашей. В настоящее время существует несколько широко распространенных схем кодирования. Например, двоичнодесятичный код BCD (Binaгy-Coded Decimal) используется для представления чисел, при котором каждая десятичная цифра записывается своим четырехбитовым двоичным эквивалентом. Этот код может оказаться полезным, когда нужно преобразовать строку числовых знаков, например строку из числовых знаков 2537 в число 2537, над которым затем будут производиться арифметические действия. Расширением кода BCD является EBCDIC (Extended Binaгy-Coded Decimal Interchange Code) - расширенный двоично-десятичный код обмена информацией, который преобразует как числовые, так и буквенные строки.

    В ЭВМ применяется код ASCII (American Standaгt Code foг Infoгmation Interchange) - Американский стандартный код обмена информацией. Этот код генерируется некоторыми внешними устройствами - принтером, алфавитно-цифровым печатающим устройством (АЦПУ) - и используется для обмена данными между ними и оперативной памятью ЭВМ. Например, когда нажимаем на терминале клавишу <G>, то в результате этого действия код ASCII для символа G (1000111) передается в ЭВМ. А если надо этот символ распечатать на АЦПУ, то его код ASCII должен быть послан на печатающее устройство.

    Отечественной версией кода ASCII является код КОИ-7 (двоичный семибитовый код обмена информацией), который совпадает с ним, за исключением букв русского алфавита.

2.5. Кодирование текстовой  информации

  Начиная с конца 60х годов, компьютеры всё  больше стали использоваться для  обработки текстовой информации и в настоящее время большая  часть персональных компьютеров  в мире занято обработкой именно текстовой  информации.

    Традиционно для кодирования  одного символа используется  количество информации, равное  1 байту, то есть I = 1 байт = 8 битов.

    Для кодирования одного символа требуется 1 байт информации.

    Если рассматривать символы как  возможные события, то по формуле  можно вычислить какое количество различных символов можно закодировать.