Лекции по "Программному обеспечению"

Распознавание текста и изображений. Переключатели клавиатуры. Распознавание и синтез речи

Любое сканированное  изображение представляет собой  графический файл. Но в графическом  формате страница занимает слишком  много места, и главное, такой  текст нельзя редактировать. Существуют программы, способные перевести сканированный текст из графического в текстовый формат.

Программа распознавания  текста обращается к той программе, которая используется для работы со сканером. Файл рисунка попадает прямо в распознавалку, которая выводит результаты в виде текста, причем воспроизводит в нем шрифтовое и абзацное оформление, разбиение на колонки, вставляет в текст иллюстрации, взятые со сканируемой страницы.

Текст можно  править тут же, во встроенном редакторе  программы – для этого в программу встраивается также проверка правописания. Можно удалять или перемещать рисунки.

Желательно научиться  подбирать параметры изображения  для оригиналов неважного качества в зависимости от вида этой «неважности». Одно дело, когда шрифт на листе слишком темный, с жирными заплывшими буквами (вроде второй копии машинописи под слишком свежую копирку), и совсем другое – когда у машинки бледная изношенная лента. И совсем третье – когда сканируется газетный текст на плохой бумаге и мелким шрифтом.

Подобрав настройки  сканера, можно уменьшить количество неверно распознанных букв до вполне приемлемой цифры.

История создания

В 1929 году Густав Таущек получил патент на метод оптического  распознавания текста в Германии, после чего за ним последовал Гендель, получив патент на свой метод в США в 1933. В 1935 Таущек также получил патент США на свой метод. Машина Таущека представляла собой механическое устройство, которое использовало шаблоны и фотодетектор.

В 1950 году Дэвид  Х. Шепард, криптоаналитик из агентства безопасности вооружённых сил Соединённых Штатов, проанализировав задачу преобразования печатных сообщений в машинный язык для обработки компьютером, построил машину, решающую данную задачу. После того как он получил патент США, он сообщил об этом в «Вашингтон Дэйли Ньюз» (27 Апреля 1951) и в «Нью-Йорк Таймс» (26 декабря 1953). Затем Шепард основал компанию, разрабатывающую интеллектуальные машины, которая вскоре выпустила первые в мире коммерческие системы оптического распознавания символов.

Первая коммерческая система была установлена на «Ридерс Дайджест» в 1955 году. Вторая система была продана компании «Стэндарт Ойл» для чтения кредитных карт для работы с чеками. Другие системы, поставляемые компанией Шепарда, были проданы в конце 1950-х годов, в том числе сканер страниц для национальных воздушных сил США, предназначенный для чтения и передачи по телетайпу машинописных сообщений. IBM позже получила лицензию на использование патентов Шепарда.

Примерно в 1965 «Ридерс Дайджест» и «Ар-Си-Эй»  начали сотрудничество с целью создать машину для чтения документов, использующую оптическое распознавание текста, предназначенную для оцифровки серийных номеров купонов «Ридерс Дайджест», вернувшихся из рекламных объявлений. Для печати на документах барабанным принтером «Ар-Си-Эй» был использован специальный шрифт OCR-A. Машина для чтения документов работала непосредственно с компьютером RCA 301 (один из первых массивных компьютеров). Скорость работы машины была 1500 документов в минуту: она проверяла каждый документ, исключая те, которые она не смогла обработать правильно.

Почтовая служба Соединённых Штатов с 1965 года для  сортировки почты использует машины, использующие оптическое распознавание текста, созданные на основе технологий, разработанных исследователем Яковом Рабиновым. В Европе первой организацией, использующей машины с оптическим распознаванием текста, был британский почтамт. Почта Канады использует системы оптического распознавания символов с 1971 года. На первом этапе в центре сортировки системы оптического распознавания символов считывают имя и адрес получателя и печатают на конверте штрих-код. Он наносится специальными чернилами, которые отчётливо видимы в ультрафиолетовом свете. Это делается, чтобы избежать путаницы с полем адреса, заполненным человеком, которое может быть в любом месте на конверте.

В 1974 году Рэй  Курцвейл создал компанию «Курцвейл  Компьютер Продактс», и начал  работать над развитием первой системы оптического распознавания символов, способной распознать текст, напечатанный любым шрифтом. Курцвейл считал, что лучшее применение этой технологии — создание машины чтения для слепых, которая позволила бы слепым людям иметь компьютер, умеющий читать текст вслух. Данное устройство требовало изобретения сразу двух технологий — ПЗС планшетного сканера и синтезатора, преобразующего текст в речь. Конечный продукт был представлен 13 января 1976 во время пресс-конференции, возглавляемой Курцвейлом и руководителями национальной федерации слепых.

В 1978 году компания «Курцвейл Компьютер Продактс»  начала продажи коммерческой версии компьютерной программы оптического  распознавания символов. Два года спустя Курцвейл продал свою компанию корпорации «Ксерокс», которая были заинтересована в дальнейшей коммерциализации систем распознавания текста. «Курцвейл Компьютер Продактс» стала дочерней компанией «Ксерокс», известной как «Скансофт».

Текущее состояние технологии оптического распознавания  текста

Точное распознавание латинских символов в печатном тексте в настоящее время возможно только если доступны чёткие изображения, такие как сканированные печатные документы. Точность при такой постановке задачи превышает 99 %, абсолютная точность может быть достигнута только путем последующего редактирования человеком. Проблемы распознавания рукописного «печатного» и стандартного рукописного текста, а также печатных текстов других форматов (особенно с очень большим числом символов) в настоящее время являются предметом активных исследований.

Точность работы методов может быть измерена несколькими  способами и поэтому может  сильно варьироваться. К примеру, если встречается специализированное слово, не используемое для соответствующего программного обеспечения, при поиске несуществующих слов, ошибка может увеличиться.

Распознавание символов он-лайн иногда путают с оптическим распознавания символов. Последний - это офф-лайн метод, работающий со статической формой представления  текста, в то время как он-лайн распознавание символов учитывает движения во время письма. Например, в он-лайн распознавании, использующем PenPoint OS или планшетный ПК, можно определить, с какой стороны пишется строка: справа налево или слева направо.

Он-лайн системы  для распознавания рукописного текста «на лету» в последнее время стали широко известны в качестве коммерческих продуктов. Алгоритмы таких устройств используют тот факт, что порядок, скорость и направление отдельных участков линий ввода известны. Кроме того, пользователь научится использовать только конкретные формы письма. Эти методы не могут быть использованы в программном обеспечении, которое использует сканированные бумажные документы, поэтому проблема распознавания рукописного «печатного» текста по-прежнему остается открытой. На изображениях с рукописным «печатным» текстом без артефактов может быть достигнута точность в 80 % — 90 %, но с такой точностью изображение будет преобразовано с десятками ошибок на странице. Такая технология может быть полезна лишь в очень ограниченном числе приложений.

Ещё одной широко исследуемой проблемой является распознавание рукописного текста. На данный момент достигнутая точность даже ниже, чем для рукописного «печатного» текста. Более высокие показатели могут быть достигнуты только с использованием контекстной и грамматической информации. Например, в процессе распознания искать целые слова в словаре легче, чем пытаться проанализировать отдельные символы из текста. Знание грамматики языка может также помочь определить, является ли слово глаголом или существительным. Формы отдельных рукописных символов иногда могут не содержать достаточно информации, чтобы точно (более 98 %) распознать весь рукописный текст.

Для решения  более сложных проблем в сфере  распознавания используются, как правило, интеллектуальные системы распознавания, такие как искусственные нейронные сети.

Программы распознавания

Программа FineReader фирмы ABBYY – наиболее распространенная OCR-программа (Optical Character Recognition – оптическое распознавание символов) на нашем рынке.

Помимо 176 обычных  языков (включая искусственные вроде  эсперанто), FineReader понимает также основные языки программирования и простые  химические формулы, причем умеет распознавать разноязычный текст. Имеет функцию  обучения.

OCR CuneiForm один  из главных конкурентов FineReader как на российском, так и на мировом рынке. Производителем является российский разработчик программного обеспечения Cognitive Technologies. По словам производителей, OCR CuneiForm выгодно отличается уровнем распознавания, особенно текстов низкого качества; удобным интерфейсом с наличием встроенных мастеров помощников в работе; встроенным текстовым редактором, не уступающим по своей функциональности популярным текстовым процессорам, и многими другими возможностями.

OCR CuneiForm способна  распознавать любые полиграфические  и машинописные гарнитуры всех  начертаний и шрифтов, получаемые  с принтеров, за исключением  декоративных и рукописных. Также  программа способна распознавать  таблицы различной структуры,  в том числе и без линий и границ; редактировать и сохранять результаты в распространенных табличных форматах. Существенно облегчает работу и возможность прямого экспорта результатов в MS Word и MS Excel (для этого теперь не нужно сохранять результат в файл RTF, а затем открывать его с помощью MS Word).

Также программа  снабжена возможностями массового  ввода возможностью пакетного сканирования, включая круглосуточное, сканирования с удаленных компьютеров локальной  сети и организации распределенного  параллельного сканирования в локальной сети.

О высокой конкурентоспособности  этой системы говорит тот факт, что ведущие мировые производители  вычислительной техники поставляют свою продукцию с этой программой. Наиболее популярные в России сканеры  и многофункциональные устройства Canon, Hewlett-Packard, OKI, Seiko Epson, Olivetti поставляются в комплекте с OCR CuneiForm.

Ведущие производители  программного обеспечения также  лицензировали российскую информационную технологию для применения со своими продуктами. Популярные программные пакеты Corel Draw (Corel Corporation), FaxLine/OCR&Business Card Wizard (Inzer Corporation) и многие другие встроена OCR-библиотека CuneiForm. Хочется отметить, что эта программа стала первой в России OCR-системой, получившей MS Windows Compatible Logo.

Readiris Pro7 профессиональная  программа распознавания текста. По словам производителей (I.R.I.S.), данная OCR отличается от аналогов  высочайшей точностью преобразования  обычных (каждодневных) печатных  документов, таких как письма, факсы,  журнальные статьи, газетные вырезки, в объекты, доступные для редактирования (включая файлы PDF). Основными достоинствами программы являются: возможность более или менее точного распознавания картинок, сжатых по максимуму (с максимальной потерей качества) методом JPEG, поддержка цифровых камер и автоопределения ориентации страницы. Поддержка до 92 языков (включая русский).

OmniPage11 продукт  компании ScanSoft. Ограниченная версия  этой программы (OmniPage11 Limited Edition, OmniPage Lite) обычно поставляется в комплекте  с новыми сканерами (на территории Европы и США). Разработчики утверждают, что их программа практически со 100% точностью распознает печатные документы, восстанавливая их форматирование, включая столбцы, таблицы, переносы (в том числе переносы частей слов), заголовки, названия глав, подписи, номера страниц, сноски, параграфы, нумерованные списки, красные строки, графики и картинки. Есть возможность сохранения в форматы Microsoft Office, PDF и в 20 других форматов, распознавания из файлов PDF, редактирование прямо в формате PDF. Система искусственного интеллекта позволяет автоматически обнаруживать и исправлять ошибки после первого исправления вручную. Новый специально разработанный модуль Despeckle позволяет распознавать документы с ухудшенным качеством (факсы, копии, копии копий ит.д.). Преимуществами программы являются возможность распознавания цветного текста и возможность корректировки голосом. Теперь версия OmniPage существует и для компьютеров Macintosh.

AfterScan программа для чистки отсканированного текста. Борется с лишними пробелами между словами, в конце строки и в начале абзацев. Исправляет разнобой с длинными и короткими тире, а также с открывающими и закрывающими кавычками и многое другое.

Переключатели клавиатуры

Эти программы  связаны с переключением и исправлением клавиатурной раскладки (в том числе, позволяют исправлять текст, введенный не в той клавиатурной раскладке).

SwitchIt – драйвер  клавиатуры способный полностью  заменить стандартный переключатель,  либо сотрудничать с ним. 

Punto Switcher – при вводе невозможных в русском или английском языке сочетаний букв (например, Цштвщцы), производится перекодировка и переключение раскладки.

Распознавание и синтез речи