Сервисное ПО в распределенных системах

           В качестве основного требования к распределенным системам предъявляется достижение их прозрачности, открытости и масштабируемости.

1. Прозрачность

            Распределенная система должна скрывать разницу в способах представления данных и в способах доступа к ресурсам. Такое свойство распределенных систем называется прозрачностью доступа к данным.

            Распределенная система должна  обеспечивать прозрачность местоположения  ресурса, то есть скрывать его  физическое расположение. Важно, чтобы  ресурсы имели только логические  имена. Примером такого имени  может служить универсальный  указатель ресурса URL, в котором нет никакой информации о том, где находится файл, который ищется в интернете.

Ресурс может время от времени менять своё местоположение, и при следующем вызове может быть обнаружен в другом месте (но по тому же логическому адресу). Распределенная система, позволяющая ресурсам менять свое расположение от вызова к вызову, обладает свойством прозрачности смены местоположения ресурса (пример – система ICQ).

Иногда ресурсу было позволено менять свое положение непосредственно в процессе его использования (пример такого ресурса – мобильные пользователи с беспроводной связью, не отключающиеся от сети при переходе в другую зону обслуживания). Это более сильное свойство называется прозрачностью динамической смены местоположения ресурса.

Для балансировки использования ресурсов они могут быть реплицированы, то есть размножены по нескольким физическим адресам. Прозрачность репликации скрывает это. Из наличия этого свойства сразу следует и прозрачность местоположения.

Часто совместное использование ресурсов достигается за счет действительно совместной работы и тесного взаимодействия пользователей системы. Однако пользователь должен знать, что он является не единственным ее пользователем. Например, при работе с системой управления базой данных (СУБД) пославший запрос пользователь не должен знать, что одновременно СУБД получает и обрабатывает запросы многих других пользователей. Такое прозрачное параллельное использование должно быть непротиворечивым, для чего составляются специальные правила блокировок, когда пользователи поочередно получают исключительные права на ресурс. Этой же цели достигают с помощью отправки транзакций.

В распределенной системе должны быть приняты меры, чтобы часть аппаратуры брала на себя выполнение работы в случае выхода из строя другой части системы. Основная трудность достижения прозрачности поломки в том, чтобы отличить по-настоящему сломанные части от медленно работающих фрагментов системы.

Данные могут размещаться на различных физических носителях, в том числе таких, которые могут сохранять из значения в период выключения системы. Действия системы, обладающей свойством прозрачности сохранности данных, при обработке таких объектов должны быть скрыты от пользователя. Сохранность важна для любых информационных систем, не только распределенных.

Существуют ситуации, когда полностью скрыть распределенность (то есть достичь абсолютной прозрачности) не удается. При сильной удаленности узлов системы друг от друга возникают заметные задержки передачи информации. Существует проблема часовых поясов. Существует связь между прозрачностью и производительностью распределенной системы. Необходимо соблюдать баланс этих системных свойств.

2. Открытость

Открытость – это использование синтаксических и семантических правил, основанных на стандартах. Для распределенной системы – это прежде всего, использование формализованных протоколов. Службы, входящие в распределенную систему, определяются через интерфейсы, которые часто описываются при помощи языков описания интерфейсов IDL. Языки IDL касаются почти исключительно синтаксиса (имена доступных функций, типы параметров, возвращаемых значений, исключительные ситуации). Семантика чаще задается неформально, на естественном языке.

Если интерфейс описан правильно, возникает возможность правильной совместной работы одного произвольного процесса, нуждающегося в интерфейсе с другим произвольным процессом, представляющим интерфейс. Один и тот же интерфейс может быть также реализован в разных распределенных системах (независимо друг от друга), но работать обе системы будут одинаково. Для обеспечения переносимости и способности к взаимодействию в интерфейсе должно быть все, что нужно для его реализации. Переносимость характеризует, насколько приложение, сделанное для одной распределенной системы, может работать в составе другой системы, а способность к взаимодействию показывает, насколько две реализации системы или компонентов, выполненных разными людьми, в состоянии работать совместно.

Открытые системы обладают очень важной характеристикой – гибкостью. Гибкость есть легкость конфигурирования системы, состоящей их различных компонентов. Достижения необходимого уровня гибкости приводит к тому, что открытая распределенная система становится расширяемой.

3. Масштабируемость

Распределенные системы программного обеспечения обладают свойством масштабируемости, которая может проявляться по отношению к размеру, к географическому положению, к административному устройству систем. Достижение масштабируемости связано с решением проблем, возникающих из-за наличия узких мест по обслуживанию (один сервер для множества клиентов), данным (множественный доступ к одному файлу данных), и алгоритмам (перегрузка коммуникаций из-за использования централизованных алгоритмов).

Требование масштабируемости часто является препятствием распространения систем, реализованных для локальных сетей на уровень сетей глобальных (корпоративных или Интернета). В глобальных сетях время получения ответа может значительно превышать локальные задержки, потому что там чаще используется асинхронная связь. Кроме того, в локальных сетях службы часто распределены по компьютерам фиксированно, а в глобальных сетях местоположение необходимой службы заранее неизвестно.

Еще одно следствие масштабируемости: аппаратные решения для распределенных систем могут быть гетерогенными. В отличие от гомогенных систем, построенных на единой технологии, гетерогенные системы могут состоять из частей, построенных на разных физических принципах, и обладающих разными свойствами и характеристиками.

Разнородность в сочетании с независимостью приводят к важнейшему свойству распределенных систем: сами системы могут существовать продолжительное время, но отдельные их части могут время от времени отключаться. При этом пользователи и приложения не должны уведомляться о том, что эти части вновь подключены, что добавлены новые части для поддержки дополнительных пользователей или приложений.

3. Логические программные слои распределенных систем

Концептуально распределенные системы строятся послойно: презентационный слой, слой прикладной логики и слой управления ресурсами. Эти слои могут быть только абстракциями, существуя лишь на этапе проектирования, но могут быть четко видимы в программном обеспечении, когда их реализуют в виде отдельных подсистем, иногда с применением различного инструментария.

Презентационный слой. Все распределенные системы должны общаться с внешним миром, с пользователями – программистами или другими программными системами. Значительная часть этого общения связана с преобразованием информации и представлением ее для внешних пользователей, подготовкой запросов и получением ответов. Компоненты распределенной системы, обеспечивающие эту деятельность, формируют презентационный слой.

Часто этот слой называют клиентом распределенной системы, что неверно. Все распределенные системы имеют клиентов, то есть сущности, которые пользуются сервисами, предоставляемыми этими системами. Клиенты могут быть полностью внешними по отношению к системам и независимыми от них. В этом случае они не являются презентационным слоем самих систем. Лучшими примерами программ, спроектированных таким образов, являются сетевые навигаторы, обрабатывающие документы, написанные на языке HTML-документов.

Случается, что клиент и презентационный слой слиты воедино. Это типично для систем типа клиент/сервер, в которых имеется программа, одновременно исполняющая роль клиента и презентационного слоя.

Слой прикладной логики. Любые системы программного обеспечения не только демонстрируют информацию, но и осуществляют обработку данных. Эта обработка производится программой, реализующей фактические операции, запрошенные клиентом через посредство презентационного слоя. Такая программа называется программой слоя прикладной логики. Иногда эти программы называются службами, предлагаемыми распределенными системами. В зависимости от сложности выполняемой логики этот слой может называться бизнес процессом, бизнес логикой, бизнес правилами или просто сервером.

Слой управления ресурсами. Для работы любая система программного обеспечения нуждается в данных. Данные могут размешаться в базах данных, файловых системах, в других репозиториях.

Программы слоя управления ресурсами объединяют все такие элементы. Иногда, чтобы показать, что этот слой реализуется с использованием системы управления базой данных, этот слой называют слоем данных. Этот подход, однако, имеет ограничения, поскольку он концентрируется только на аспекте управления данными. Однако в управлении нуждаются все внешние системы, поставляющие информацию. Сюда входят не только базы данных, но и другие распределенные системы со своими слоями презентационным прикладным и управления ресурсами. При этом появляется возможность рекурсивно строить распределенные системы, состоящие из других систем, как из компонентов.

Описанные три слоя – это концептуальные конструкции, которые логически разделяют функциональность большинства распределенных систем. В практических реализациях они могут комбинироваться различными способами. В этих случаях говорят не о концептуальных слоях, а о ярусах (звеньях). Известны 4 типа основных типов распределенных систем, отличающихся количеством входящих в них ярусов: одно-, двух-, трех- и многоярусные системы.

Глава 2. Распределенные вычислительные системы Boinc и Grid

2.1. История развития Распределенных Вычислений

Распределенные вычисления – способ решения трудоемких вычислительных задач с использованием нескольких компьютеров, чаще всего объединенных в параллельную вычислительную систему. Распределенные вычисления применимы также в распределенных системах управления.

Последовательные вычисления в распределенных системах выполняются с учетом одновременного решения многих задач. Особенностью распределенных многопроцессорных вычислительных систем, в отличие от локальных суперкомпьютеров, является возможность неограниченного наращивания производительности за счет масштабирования.

Необходимость разделять вычислительные задачи и выполнять их одновременно (параллельно) возникла задолго до появления первых вычислительных машин.

В конце XVIII века во Франции под руководством Гаспара де Прони была начата работа по уточнению логарифмических и тригонометрических таблиц в связи с переходом на метрическую систему. Для ее выполнения был необходим огромный по тем временам объем вычислений. Исполнители проекта были разбиты на три уровня:

• квалифицированные специалисты-вычислители, от которых требовалась аккуратность при проведении вычислений;
• организаторы распределения заданий и обработки полученных результатов;
• организаторы подготовки математического обеспечения и обобщения полученных результатов (высший уровень, в состав которого входили Адриен Лежандр и Лазар Карно).

Работа не была завершена из-за революционных событий 1799 года, однако идеи Гаспара де Прони подтолкнули Чарльза Бэббиджа к созданию аналитической машины.

Решение для модели атомной бомбы в США было получено коллективом учёных, которые пользовались вычислительными машинами.

В 1973 году Джон Шох и Джон Хапп из калифорнийского научно-исследовательского центра Xerox PARC  написали программу, которая по ночам запускалась в локальную сеть PARC и заставляла работающие компьютеры выполнять вычисления.

В 1978 году советский математик В. М. Глушков работал над проблемой макроконвейерных, распределенных вычислений. Он предложил ряд принципов распределения работы между процессорами. На базе этих принципов им была разработана ЭВМ ЕС-2701.

В 1988 году Арьен Ленстра и Марк Менес написали программу для факторизации длинных чисел. Для ускорения процесса программа могла запускаться на нескольких машинах, каждая из которых обрабатывала свой небольшой фрагмент. Новые блоки заданий рассылались на компьютеры участников с центрального сервера проекта по электронной почте. Для успешного разложения на множители числа длиной в сто знаков этому сообществу потребовалось два года и несколько сотен персональных компьютеров.

С появлением и бурным развитием интернета всё большую популярность стала получать идея добровольного использования для распределённых вычислений компьютеров простых пользователей, соединённых через интернет.

В январе 1996 года стартовал проект GIMPS по поиску простых чисел Мерсенна, используя компьютеры простых пользователей как добровольную вычислительную сеть.