Многопроцессорные системы

 

MPP архитектура (massive parallel processing) - массивно-параллельная архитектура.  Главная особенность такой архитектуры  состоит в том, что память  физически разделена. В этом  случае система строится из  отдельных модулей, содержащих  процессор, локальный банк операционной  памяти (ОП), два коммуникационных  процессора (рутера) или сетевой  адаптер, иногда - жесткие диски  и/или другие устройства ввода/вывода. Один рутер используется для  передачи команд, другой - для передачи  данных. По сути, такие модули  представляют собой полнофункциональные  компьютеры (см. рис.). Доступ к банку  ОП из данного модуля имеют  только процессоры (ЦП) из этого  же модуля. Модули соединяются  специальными коммуникационными  каналами. Пользователь может определить  логический номер процессора, к  которому он подключен, и организовать  обмен сообщениями с другими  процессорами. Используются два  варианта работы операционной  системы (ОС) на машинах MPP архитектуры.  В одном полноценная операционная  система (ОС) работает только на  управляющей машине (front-end), на каждом  отдельном модуле работает сильно  урезанный вариант ОС, обеспечивающий  работу только расположенной  в нем ветви параллельного  приложения. Во втором варианте  на каждом модуле работает  полноценная UNIX-подобная ОС, устанавливаемая отдельно на каждом модуле. 

Схематический вид архитектуры  с раздельной памятью

Главное преимущество:

Главным преимуществом систем с раздельной памятью является хорошая  масштабируемость: в отличие от SMP-систем в машинах с раздельной памятью  каждый процессор имеет доступ только к своей локальной памяти, в  связи с чем не возникает необходимости в потактовой синхронизации процессоров. Практически все рекорды по производительности на сегодняшний день устанавливаются на машинах именно такой архитектуры, состоящих из нескольких тысяч процессоров (ASCI Red, ASCI Blue Pacific)¹. 

__________________________________________________________________

1. Богданов А.В. Архитектура и топологии многопроцессорных вычислительных систем, Учебное издание. Интернет-Университет Информационных Технологий: 2005. – С. 11.

Недостатки:

• отсутствие общей памяти заметно снижает скорость межпроцессорного обмена, поскольку нет общей среды  для хранения данных, предназначенных  для обмена между процессорами. Требуется  специальная техника программирования для реализации обмена сообщениями  между процессорами.  
• каждый процессор может использовать только ограниченный объем локального банка памяти.  
•  вследствие указанных архитектурных недостатков требуются значительные усилия для того, чтобы максимально использовать системные ресурсы. Именно этим определяется высокая цена программного обеспечения для массивно-параллельных систем с раздельной памятью. 

Системами с раздельной памятью  являются суперкомпьютеры МВС-1000, IBM RS/6000 SP, SGI/CRAY T3E, системы ASCI, Hitachi SR8000, системы Parsytec. 

Машины последней серии CRAY T3E от SGI, основанные на базе процессоров Dec Alpha 21164 с пиковой производительностью 1200 Мфлопс/с (CRAY T3E-1200), способны масштабироваться до 2048 процессоров.  
 
При работе с MPP системами используют так называемую Massive Passing Programming Paradigm - парадигму программирования с передачей данных (MPI, PVM, BSPlib)¹. 

 

 

 

 

 

 

 

 

 

 

 

 

 

__________________________________________________________________

1. Богданов А.В. Архитектура и топологии многопроцессорных вычислительных систем, Учебное издание. Интернет-Университет Информационных Технологий: 2005. – С. 12.

4. Гибридная архитектура (NUMA) Организация когерентности многоуровневой иерархической памяти.

 

Гибридная архитектура NUMA (nonuniform memory access). Главная особенность такой архитектуры - неоднородный доступ к памяти. 

Гибридная архитектура воплощает  в себе удобства систем с общей  памятью и относительную дешевизну  систем с раздельной памятью. Суть этой архитектуры - в особой организации  памяти, а именно: память является физически  распределенной по различным частям системы, но логически разделяемой, так что пользователь видит единое адресное пространство. Система состоит  из однородных базовых модулей (плат), состоящих из небольшого числа процессоров  и блока памяти. Модули объединены с помощью высокоскоростного  коммутатора. Поддерживается единое адресное пространство, аппаратно поддерживается доступ к удаленной памяти, т.е. к  памяти других модулей. При этом доступ к локальной памяти осуществляется в несколько раз быстрее, чем к удаленной. По существу архитектура NUMA является MPP (массивно-параллельная архитектура) архитектурой, где в качестве отдельных вычислительных элементов берутся SMP (cимметричная многопроцессорная архитектура) узлы. 

Структурная схема компьютера с гибридной сетью: четыре процессора связываются между собой при  помощи кроссбара в рамках одного SMP узла. Узлы связаны сетью типа "бабочка" (Butterfly): 

Впервые идею гибридной архитектуры  предложил Стив Воллох и воплотил в системах серии Exemplar. Вариант Воллоха - система, состоящая из 8-ми SMP узлов. Фирма HP купила идею и реализовала  на суперкомпьютерах серии SPP¹.

__________________________________________________________________

1. Богданов А.В. Архитектура и топологии многопроцессорных вычислительных систем, Учебное издание. Интернет-Университет Информационных Технологий: 2005. – С. 12.

Идею подхватил Сеймур Крей (Seymour R.Cray) и добавил новый  элемент - когерентный кэш, создав так  называемую архитектуру cc-NUMA (Cache Coherent Non-Uniform Memory Access), которая расшифровывается как "неоднородный доступ к памяти с обеспечением когерентности кэшей". Он ее реализовал на системах типа Origin.

Организация когерентности  многоуровневой иерархической памяти.

Понятие когерентности кэшей  описывает тот факт, что все  центральные процессоры получают одинаковые значения одних и тех же переменных в любой момент времени. Действительно, поскольку кэш-память принадлежит  отдельному компьютеру, а не всей многопроцессорной  системе в целом, данные, попадающие в кэш одного компьютера, могут  быть недоступны другому. Чтобы избежать этого, следует провести синхронизацию  информации, хранящейся в кэш-памяти процессоров. 

Для обеспечения подобной когерентности кэшей существуют несколько возможностей: 

• Использовать механизм отслеживания шинных запросов (snoopy bus protocol), в котором  кэши отслеживают переменные, передаваемые к любому из центральных процессоров  и, при необходимости, модифицируют собственные копии таких переменных.  
• Выделять специальную часть памяти, отвечающую за отслеживание достоверности всех используемых копий переменных. 

Наиболее известными системами  архитектуры cc-NUMA являются: HP 9000 V-class в SCA-конфигурациях, SGI Origin3000, Sun HPC 15000, IBM/Sequent NUMA-Q 2000. На настоящий момент максимальное число процессоров в cc-NUMA-системах может превышать 1000 (серия Origin3000). Обычно вся система работает под управлением единой ОС, как в SMP. Возможны также варианты динамического "подразделения" системы, когда отдельные "разделы" системы работают под управлением разных ОС. При работе NUMA-системами, также как с SMP, используют так называемую парадигму программирования с общей памятью (shared memory paradigm)¹.

 

 

 

 

 

 

__________________________________________________________________

1. Богданов А.В. Архитектура и топологии многопроцессорных вычислительных систем, Учебное издание. Интернет-Университет Информационных Технологий: 2005. – С. 13.

5. PVP архитектура

 

PVP (Parallel Vector Process) - параллельная  архитектура с векторными процессорами.  
     Основным признаком PVP-систем является наличие специальных векторно-конвейерных процессоров, в которых предусмотрены команды однотипной обработки векторов независимых данных, эффективно выполняющиеся на конвейерных функциональных устройствах. Как правило, несколько таких процессоров (1-16) работают одновременно с общей памятью (аналогично SMP) в рамках многопроцессорных конфигураций. Несколько таких узлов могут быть объединены с помощью коммутатора (аналогично MPP). Поскольку передача данных в векторном формате осуществляется намного быстрее, чем в скалярном (максимальная скорость может составлять 64 Гб/с, что на 2 порядка быстрее, чем в скалярных машинах), то проблема взаимодействия между потоками данных при распараллеливании становится несущественной. И то, что плохо распараллеливается на скалярных машинах, хорошо распараллеливается на векторных. Таким образом, системы PVP архитектуры могут являться машинами общего назначения (general purpose systems). Однако, поскольку векторные процессоры весьма дороги, эти машины не будут являться общедоступными. 

Наиболее популярны 3 машины PVP архитектуры: 

1. CRAY SV-2, SMP архитектура. Пиковая производительность системы в стандартной конфигурации может составлять десятки терафлопс.  
 
2. NEC SX-6, NUMA архитектура. Пиковая производительность системы может достигать 8 Тфлопс, производительность 1 процессора составляет 8 Гфлопс. Система масштабируется до 128 узлов.  
3. Fujitsu-VPP5000 (vector parallel processing) ), MPP архитектура. Производительность 1 процессора составляет 9.6 Гфлопс, пиковая производительность системы может достигать 1249 Гфлопс, максимальная емкость памяти - 8 Тб. Система масштабируется до 512 узлов.  

Парадигма программирования на PVP системах предусматривает векторизацию циклов (для достижения разумной производительности одного процессора) и их распараллеливание (для одновременной загрузки нескольких процессоров одним приложением)¹. 

__________________________________________________________________

1. Богданов А.В. Архитектура и топологии многопроцессорных вычислительных систем, Учебное издание. Интернет-Университет Информационных Технологий: 2005. – С. 14.

На практике рекомендуют  следующие процедуры: 

• производить векторизацию вручную, цель - перевести задачу в  матричную форму. При этом, в соответствии с длиной вектора, размеры матрицы  должны быть кратны 128 или 256.  
• работать с векторами в виртуальном пространстве, разлагая искомую функцию в ряд и оставляя число членов ряда, кратное 128 или 256. 

За счет большой физической памяти (доли терабайта), даже плохо  векторизуемые задачи на PVP системах решаются быстрее, на системах со скалярными процессорами¹.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

__________________________________________________________________

1. Богданов А.В. Архитектура и топологии многопроцессорных вычислительных систем, Учебное издание. Интернет-Университет Информационных Технологий: 2005. – С. 14-15.

6. Кластерная архитектура

 

Кластер представляет собой  два или больше компьютеров (часто  называемых узлами), объединяемых при  помощи сетевых технологий на базе шинной архитектуры или коммутатора  и предстающих перед пользователями в качестве единого информационно-вычислительного  ресурса. В качестве узлов кластера могут быть выбраны серверы, рабочие  станции и даже обычные персональные компьютеры. Преимущество кластеризации  для повышения работоспособности  становится очевидным в случае сбоя какого-либо узла: при этом другой узел кластера может взять на себя нагрузку неисправного узла, и пользователи не заметят прерывания в доступе. Возможности масштабируемости кластеров  позволяют многократно увеличивать  производительность приложений для  большего числа пользователей. технологий (Fast/Gigabit Ethernet, Myrinet) на базе шинной архитектуры или коммутатора. Такие суперкомпьютерные системы являются самыми дешевыми, поскольку собираются на базе стандартных комплектующих элементов ("off the shelf"), процессоров, коммутаторов, дисков и внешних устройств. 

Кластеризация может быть осуществлена на разных уровнях компьютерной системы, включая аппаратное обеспечение, операционные системы, программы-утилиты, системы управления и приложения. Чем больше уровней системы объединены кластерной технологией, тем выше надежность, масштабируемость и управляемость  кластера.

Типы кластеров

Условное деление на классы предложено Язеком Радаевским и Дугласом Эдлайном:

Класс I. Класс машин строится целиком из стандартных деталей, которые продают многие продавцы компьютерных компонент (низкие цены, простое обслуживание, аппаратные компоненты доступны из различных источников).

Класс II. Система имеет эксклюзивные или не широко распространенные детали. Этим можно достичь очень хорошей производительности, но при более высокой стоимости.

Как уже указывалось выше, кластеры могут существовать в различных  конфигурациях¹.

__________________________________________________________________

1. Богданов А.В. Архитектура и топологии многопроцессорных вычислительных систем, Учебное издание. Интернет-Университет Информационных Технологий: 2005. – С. 15.

Наиболее употребляемыми типами кластеров являются: 
• Системы высокой надежности. 
• Системы для высокопроизводительных вычислений. 
• Многопоточные системы.

 Отметим, что границы  между этими типами кластеров  до некоторой степени размыты,  и часто существующий кластер  может иметь такие свойства  или функции, которые выходят  за рамки перечисленных типов.  Более того, при конфигурировании  большого кластера, используемого  как система общего назначения, приходится выделять блоки, выполняющие  все перечисленные функции. 

Кластеры для  высокопроизводительных вычислений предназначены для параллельных расчётов. Эти кластеры обычно собраны из большого числа компьютеров. Разработка таких кластеров является сложным процессом, требующим на каждом шаге аккуратных согласований таких вопросов как инсталляция, эксплуатация и одновременное управление большим числом компьютеров, технические требования параллельного и высокопроизводительного доступа к одному и тому же системному файлу (или файлам) и межпроцессорная связь между узлами и координация работы в параллельном режиме. Эти проблемы проще всего решаются при обеспечении единого образа операционной системы для всего кластера. Однако реализовать подобную схему удаётся далеко не всегда и обычно она обычно применяется лишь для не слишком больших систем.

Многопоточные системы используются для обеспечения единого интерфейса к ряду ресурсов, которые могут со временем произвольно наращиваться (или сокращаться) в размере. Наиболее общий пример этого представляет собой группа Веб-серверов.