Операционные системы современных вычислительных комплексов

     Операционные  системы современных  вычислительных комплексов. 

     Параллельные  вычислительные системы — компьютерные системы, реализующие тем или  иным способом параллельную обработку  данных на многих вычислительных узлах  для повышения общей скорости расчета. Идея распараллеливания вычислений базируется на том, что большинство задач может быть разделено на набор меньших задач, которые могут быть решены одновременно. Обычно параллельные вычисления требуют координации действий. Параллельные вычисления существуют в нескольких формах: параллелизм на уровне битов, параллелизм на уровне инструкций, параллелизм данных, параллелизм задач. Параллельные вычисления использовались много лет в основном в высокопроизводительных вычислениях, но в последнее время к ним возрос интерес в следствии существования физических ограничений на рост тактовой частоты процессоров. Параллельные вычисления стали доминирующей парадигмой в архитектуре компьютеров, в основном в форме многоядерных процессоров.

     Наиболее  распространёнными программными средствами суперкомпьютеров, также как и параллельных или распределённых компьютерных систем являются интерфейсы программирования приложений (API) на основе MPI и PVM, и решения на базе открытого программного обеспечения, наподобие Beowulf и openMosix, позволяющего создавать виртуальные суперкомпьютеры даже на базе обыкновенных рабочих станций и персональных компьютеров. Для быстрого подключения новых вычислительных узлов в состав узкоспециализированных кластеров применяются технологии наподобие ZeroConf. Примером может служить реализация рендеринга в программном обеспечении Shake, распространяемом компанией Apple. Для объединения ресурсов компьютеров, выполняющих программу Shake, достаточно разместить их в общем сегменте локальной вычислительной сети.

     В настоящее время границы между суперкомпьютерным и общеупотребимым программным обеспечением сильно размыты и продолжают размываться ещё более вместе с проникновением технологий параллелизации и многоядерности в процессорные устройства персональных компьютеров и рабочих станций. Исключительно суперкомпьютерным программным обеспечением сегодня можно назвать лишь специализированные программные средства для управления и мониторинга конкретных типов компьютеров, а также уникальные программные среды, создаваемые в вычислительных центрах под «собственные», уникальные конфигурации суперкомпьютерных систем. 

     Один  из первых архитекторов кластерной технологии Грегори Пфистер (Gregory F. Pfister) дал  кластеру следующее определение: «Кластер — это разновидность параллельной или распределенной системы, которая:

• состоит из нескольких связанных между собой компьютеров;
• используется как единый, унифицированный компьютерный ресурс».

     Иными словами, кластер компьютеров представляет собой несколько объединенных компьютеров, управляемых и используемых как единое целое. Они называются узлами и могут быть одно- или мультипроцессорными. В классической схеме при работе с приложениями все узлы разделяют внешнюю память на массиве жестких дисков, используя внутренние дисковые накопители для специальных функций (например, системных).

     Обычно  различают следующие основные виды кластеров:

• отказоустойчивые кластеры (High-availability clusters, HA)
• кластеры с балансировкой нагрузки (Load balancing clusters)
• высокопроизводительные кластеры (High-performance clusters, HPC)
• grid-системы

     Кластеры  высокой доступности

     Обозначаются  аббревиатурой HA (англ. High Availability —  высокая доступность). Создаются  для обеспечения высокой доступности  сервиса, предоставляемого кластером. Избыточное число узлов, входящих в кластер, гарантирует предоставление сервиса в случае отказа одного или нескольких серверов. Типичное число узлов — два, это минимальное количество, приводящее к повышению доступности. Создано множество программных решений для построения такого рода кластеров. В частности, для GNU/Linux, FreeBSD и Solaris существует проект бесплатного ПО Linux-HA.

     Кластеры  распределения нагрузки

     Принцип их действия строится на распределении  запросов через один или несколько  входных узлов, которые перенаправляют их на обработку в остальные, вычислительные узлы. Первоначальная цель такого кластера — производительность, однако, в них часто используются также и методы, повышающие надежность. Подобные конструкции называются серверными фермами. Программное обеспечение (ПО) может быть как коммерческим (Platform LSF HPC, Sun Grid Engine, Moab Cluster Suite, Maui Cluster Scheduler), так и бесплатным (Linux Virtual Server).

     Кластеры  повышенной производительности

     Обозначаются  англ. аббревиатурой HPC (High performance cluster). Позволяют увеличить скорость расчетов, разбивая задание на параллельно выполняющиеся потоки. Используются в научных исследованиях. Одна из типичных конфигураций — набор серверов с установленной на них операционной системой Linux, такую схему принято называть кластером Beowulf. Для HPC создается специальное ПО, способное эффективно распараллеливать задачу.

     Эффективные связи между серверами в кластере позволяют им поддерживать связь и оперативно обмениваться данными, поэтому такие кластеры хорошо приспособлены для выполнения процессов, использующих общие данные.

     Системы распределенных вычислений (grid)

     Такие системы не принято считать кластерами, но их принципы в значительной степени сходны с кластерной технологией. Их также называют grid-системами. Главное отличие — низкая доступность каждого узла, т.е. невозможность гарантировать его работу в заданный момент времени (узлы подключаются и отключаются в процессе работы), поэтому задача должна быть разбита на ряд независимых друг от друга процессов. Такая система, в отличие от кластеров, не похожа на единый компьютер, а служит упрощенным средством распараллеливания вычислений. 

     Широко  распространённым средством для организации межсерверного взаимодействия является библиотека MPI, поддерживающая языки C и Fortran. Она используется, например, в программе моделирования погоды MM5.

     В мире GNU/Linux популярны несколько программ:

• distcc, MPICH и др. - специализированные средства для распараллеливания работы программ. distcc допускает параллельную компиляцию в GNU Compiler Collection.
• Linux Virtual Server, Linux-HA - узловое ПО для распределения запросов между вычислительными серверами.
• MOSIX, openMosix, Kerrighed, OpenSSI - полнофункциональные кластерные среды, встроенные в ядро, автоматически распараллеливающие задачи между однородными узлами. OpenSSI, openMosix и Kerrighed создают среду единой операционной системы между узлами.
• Кластерные механизмы планируется встроить и в ядро DragonFly BSD, недавнее ответвление от FreeBSD 4.8. В дальних планах также превращение её в среду единой операционной системы.

     Компанией Microsoft выпускается HA-кластер для операционной системы Windows. Он создан на основе технологии, выкупленной у Digital Equipment Corporation, поддерживает до 8 узлов в кластере, а также работу в сети SAN. Набор API-интерфейсов служит для поддержки распараллеливаемых приложений, есть заготовки для работы с программами, не предусматривающими работы в кластере. 

     Beowulf (Beowolf) — кластер, который состоит из широко распространённого аппаратного обеспечения, работающий под управлением операционной системы, распространяемой с исходными кодами (например, GNU/Linux или FreeBSD).

     Особенностью  такого кластера также является масштабируемость, то есть возможность увеличения количества узлов системы с пропорциональным увеличением производительности. Узлами в кластере могут служить любые серийно выпускаемые автономные компьютеры, количество которых может быть от 2 до 1024 и более. Для передачи информации между узлами обычно используются протоколы MPI или PVM.

     Преимущества  Beowulf-систем

• стоимость системы гораздо ниже стоимости суперкомпьютера;
• возможность увеличения производительности системы;
• возможность использования устаревших компьютеров, тем самым увеличивается срок эксплуатации компьютеров;
• широкая распространённость аппаратного обеспечения.

     PVM (англ. Parallel Virtual Machine — виртуальная параллельная машина) — общедоступный программный пакет, позволяющий объединять компьютеры в кластеры и предоставляющий возможности управления процессами с помощью механизма передачи сообщений. Существуют реализации PVM для самых различных платформ. 

     MOSIX это система управления кластерами и сетями ОС на ядре Linux, представляющая их как одну систему (Single-System Image, SSI), то есть эквивалент операционной системы для кластера в целом. В кластере MOSIX нет необходимости в модификации существующих приложений, в связывании с дополнительными библиотеками, в явном входе на удаленные узлы — все это осуществляется автоматически, прозрачно для приложений подобно SMP. 

     Message Passing Interface (MPI, интерфейс передачи сообщений) — программный интерфейс (API) для передачи информации, который позволяет обмениваться сообщениями между компьютерами, выполняющими одну задачу. 

     MPI является наиболее распространённым стандартом интерфейса обмена данными в параллельном программировании, существуют его реализации для большого числа компьютерных платформ. Основным средством коммуникации между процессами в MPI является передача сообщений друг другу. Стандартизацией MPI занимается MPI Forum. В стандарте MPI описан интерфейс передачи сообщений, который должен поддерживаться как на платформе, так и в приложениях пользователя. В настоящее время существует большое количество бесплатных и коммерческих реализаций MPI. Существуют реализации для языков Фортран 77/90, Си и Си++.

     Большинство современных реализаций MPI поддерживают версию 1.1. Стандарт MPI версии 2.0 поддерживается большинством современных реализаций, однако некоторые функции могут быть реализованы не до конца. 

     В MPI 1.1 (опубликован 12 июня 1995 года) поддерживаются следующие функции:

• передача и получение сообщений между отдельными процессами;
• коллективные взаимодействия процессов;
• взаимодействия в группах процессов;
• реализация топологий процессов;

     В MPI 2.0 (опубликован 18 июля 1997 года) дополнительно поддерживаются следующие функции:

• динамическое порождение процессов и управление процессами;
• односторонние коммуникации;
• параллельный ввод и вывод.