Автор работы: Пользователь скрыл имя, 25 Мая 2010 в 01:20, Не определен
Введение 3
1. Анализ текста 7
2. Синтез текста 11
3. Понимание текста 13
Заключение 15
Список использованной литературы 16
Приложения
Обработка
естественного языка (Natural Language Processing,
NLP) — общее направление искусствен
Теоретически, построение естественно-языкового интерфейса для компьютеров — очень привлекательная цель. Ранние системы, такие как SHRDLU3, работая с ограниченным «миром кубиков» и используя ограниченный словарный запас, выглядели чрезвычайно хорошо, вдохновляя этим своих создателей. Однако оптимизм быстро иссяк, когда эти системы столкнулись со сложностью и неоднозначностью реального мира.
Понимание естественного языка иногда считают AI-полной задачей, потому как распознавание живого языка требует огромных знаний системы об окружающем мире и возможности с ним взаимодействовать. Само определение смысла слова «понимать» — одна из главных задач искусственного интеллекта.
Качество понимания зависит от множества факторов: от языка, от национальной культуры, от самого собеседника и т. д.
Анализ
текста — процесс получения высококаче
При анализе письменной речи очень важно учитывать наличие ошибок со стороны человека: отсутствие пунктуационных знаков, нарушение порядка слов, опечатки, орфографические ошибки и т.д. В связи с этим понимание текста может быть ещё более затруднено. Примером могу служить самые первые виртуальные собеседники, которые могли определить, является ли предложение вопросительным, только по наличию соответствующего пунктуационного знака, завершающего фразу. Однако, к сожалению, не всегда спонтанная письменная речь обладает идеальным уровнем грамотности, в связи с чем, первое поколение виртуальных собеседников не могло претендовать даже на приближение к прохождению теста Тьюринга.
На
данном этапе составлены обширные электронные
словари самых различных типов.
Особенным удобством и
Самые первые программы работали, анализируя текст пословно, что было не слишком эффективно и расходовало слишком много времени и ресурсов. В последствии, «научив» программу определять тип предложения и разбивать текст на упорядоченные конструкции, выделяя тема-рематические отношения, анализ лексем начал проходить быстрее и качественнее, что приблизило диалог к естественному.
Задача синтеза может рассматриваться как обратная по отношению к анализу. Если заданы некоторая тема и цель будущего текста, то можно считать заданной прагматическую структуру текста. Ее надо декомпозировать в прагматические структуры отдельных предложений и для каждого предложения пройти все этапы анализа в обратном направлении. На сегодняшний день здесь еще масса нерешенных проблем. Неизвестно, как генерировать прагматическую структуру текста из тех целей, которые стимулируют создание текста. Непонятно, как эту структуру разбить на прагматические структуры предложений и как от этих частных прагматических структур перейти к глубинным семантическим структурам. Более известны методы дальнейшего движения по пути генерации текста.
Одним из первых примеров естественно-языковых систем, способных синтезировать тексты, является автоматическая система создания текстов волшебных сказок, созданная в Московском энергетическом институте в 70-х гг. и называемая TALE (Информатика). На первом шаге она выдает тексты примерно такого вида: "Жил-был X. Не было у него желаемого У. Стал просить Х Бога. Бог обещал. Появился У. Вырос У. Ушел раз Х и не велел У делать Z. Но У сделал Z. Вернулся X. У нет. Понял X, что У сделал Z. Пошел Х искать У..." В памяти рассматриваемой системы хранились данные для заполнения так называемых актантов, а одинаковые переменные показывают, что на эти места всюду надо поставить одни и те же заполнители. Так возникает текст: "Жил-был царь. И не было у царя желаемого наследника. Стал царь просить Бога. Бог обещал. Появился наследник. Вырос наследник..." Существует пример такой сказки, сочиненной этой программой4.
В качестве другого примера системы автоматического синтеза можно привести систему, умеющую слагать стихи. Примеров таких систем уже немало, хотя с сочинением стихов дело обстоит несколько сложнее. Программа в состоянии учесть характер рифмы, количество слогов в соответствующих строках стихотворения, метрическую форму стихотворения и провести грамматический анализ. Однако содержание будущего стихотворения в значительной степени оказывается произвольным и зависит от содержания исходного словаря. Можно привести пример машинного стихотворения5.
В настоящее время автоматический синтез текстов необходим также при создании:
-
интеллектуальных систем, способных
объяснять пользователю ход
-
систем поддержки принятия
-
информационно-справочных
- различных диалоговых систем.
3. Понимание текста
Проблема понимания текстов на естественном языке включает не только лингвистические аспекты. С ней тесно связаны задачи, традиционно решаемые в рамках психологии, философии и семиотики. Рассказывая о проблеме анализа текстов, мы несколько раз ссылались на то, что сам анализ служит инструментом для понимания содержания текста. Пожалуй, самое важное значение проблема понимания имеет в так называемых диалоговых системах.
В начале 70-х гг. специалисты в области искусственного интеллекта удивляли далеких от науки людей системами общения на естественном языке, демонстрирующими на первый взгляд почти безграничные возможности созданного ими интеллектуального интерфейса общения. Любой человек мог общаться с системой на произвольную тему, используя все богатство доступного ему языка. При этом система поддерживала разговор, поражая собеседника своими способностями. Вот один из примеров такого разговора, в котором в качестве интеллектуального интерфейса использовалась программа, реализованная на ЭВМ, получившая название "Элиза"
Внешне диалог напоминает светскую беседу двух не слишком знакомых людей. Это, скорее, игра в общение, чем общение по существу. Но и такая игра занимает в жизни людей немалое место. "Элиза" в подобных разговорах оказывается вполне "на уровне". Многие даже считают, что их просто разыгрывают и с ними общается не программа, реализованная на компьютере, а живой собеседник. Подобные примеры диалоговых систем сейчас можно найти в сети Интернет, где эти системы получили название языковых чатов6.
Уровень общения, который демонстрируют "Элиза" и другие подобные ей программы, по сути, самый низкий из всех возможных. Это уровень так называемого фактического диалога. В таком диалоге партнеры (или один из них) практически не слушают друг друга. Это лишь видимость беседы, а для поддержания ее используются стандартные "домашние заготовки".
Одной из особенностей мышления человека (едва ли не основной для возможности самого мышления) является его разномодальность. Психологи пользуются этим термином, чтобы подчеркнуть, что наши представления об окружающем мире и о нас самих могут иметь различную природу (различную модальность). Можно "мыслить словами", но можно представлять себе какие-то зрительные картинки, как часто бывает в снах. Есть люди, для которых многие воспоминания состоят из запахов или вкусовых впечатлений. Словом, все наши органы чувств дают свою модальность в мышлении. Но две модальности: символьная (текстовая) и зрительная — являются для человека основными (Информатика).
Легко проверить, что между этими модальностями имеется весьма тесная связь. Обычно называние чего-то или текстовое описание некоторой ситуации тут же вызывает зрительные представления об этих объектах и ситуациях. И наоборот, стоит нам увидеть нечто, как мы тут же готовы описать увиденное с помощью нашего родного языка. Так текст и сопутствующая ему зрительная картина оказываются объединенными в нашем сознании и интегрированными в некоторое единство. Текст как бы "живет" в виде некоторого образного представления. И изучение того, как происходит эта интеграция и как по одной составляющей представления появляется вторая, — одна из увлекательных задач, стоящих перед специалистами в области компьютерной лингвистики и их коллегами — создателями интеллектуальных систем. Уже найдены некоторые важные законы интеграции текстов и зрительных образов. Созданы первые экспериментальные модели этого процесса и первые интеллектуальные системы, способные описывать в виде текста предъявляемую им картинку (например, пейзаж), а также воссоздавать одну из возможных картин, соответствующих введенному в систему тексту.
Заключение
Появление искусственных систем, способных воспринимать и понимать человеческую речь (пока в весьма ограниченном объеме) и тексты на естественном языке, создало предпосылки для непосредственного общения человека и компьютера. Это, в свою очередь, повысило интерес лингвистов к процессам, сопутствующим организации и ведению диалога. Примерами могут служить:
-
способ построения сценария
-
поддержка выбранного сценария
с учетом интересов партнера
и его возможного
- нахождение средств маскировки истинных намерений говорящего;
-
организация пассивной
Эти пять направлений, которые активно развиваются в компьютерной лингвистике, естественно, не исчерпывают всего содержания этой науки. Но и сказанного вполне достаточно, чтобы оценить ее важность и значимость не только для самой лингвистики, но и для создания технических систем, по способностям к диалогу, не уступающих человеку.
Список
использованной литературы