Обеспечение отказоустойчивости файловых систем

3. Комбинированные уровни

RAID 1+0 – комбинация уровней 1 и 0. Каждый физический диск уровня RAID 0 заменяется массивом RAID 1. Это обеспечивает высокую передачу данных (сервер видит массив как RAID 0) и высокую их сохранность, но значительно ограничивает масштабирование, и коэффициент использования дискового пространства получается очень низким – всего 25%.

RAID 3+0– массив нулевого уровня, роль дисков которого играют массивы RAID 3, сочетает производительность RAID 0 и отказоустойчивость RAID 3. Поскольку в схеме RAID 3 дисковое пространство используется более рационально, чем в RAID 1, то у массивов RAID 3+0 коэффициент его использования выше, чем у RAID 1+0, и равен 40%. Эта схема имеет ограниченное масштабирование.

RAID 5+0 - массив нулевого уровня, роль дисков которого играют массивы RAID 5. Он объединяет в себе отказоустойчивость и высокую производительность для приложений с большой интенсивностью запросов и высокую скорость передачи данных. RAID 5+0 обладает высокой производительностью и стоимостью. Эта схема тоже имеет ограниченное масштабирование. Возможен еще вариант RAID 5+3, когда физические диски массива RAID 5 заменяются массивами RAID 3.

3. Реализация RAID-системы

Идея создания RAID-системы заключается в следующем: из набора обычных дисковых накопителей создается массив, который управляется специальным контроллером и определяется сервером как единый логический диск большой емкости (как правило, физических дисков, способных хранить такой объем информации, не существует). Высокое быстродействие системы обеспечивается возможностью параллельного выполнения нескольких операций вывода (ввода), а сохранность информации – ее дублированием или вычислением контрольных сумм. Каждый уровень RAID имеет свои особенности, поэтому подходит для выполнения только определенного круга задач.

Существует несколько способов реализации RAID-систем. Нельзя однозначно сказать, что какая-либо реализация лучше, чем другая. Каждый вариант организации массива удовлетворяет тем или иным потребностям пользователя в зависимости от финансовых возможностей, количества пользователей и используемых приложений.

Каждая из реализаций базируется на исполнении программного кода. Отличаются они фактически тем, где этот код исполняется: в центральном процессоре компьютера (программная реализация) или в специализированном процессоре на RAID контроллере (аппаратная реализация).

Главное преимущество программной реализации - низкая стоимость. Но при этом у нее много недостатков: низкая производительность, загрузка дополнительной работой центрального процессора, увеличение шинного трафика. Программно обычно реализуют простые уровни RAID - 0 и 1, так как они не требуют значительных вычислений. Учитывая эти особенности, RAID системы с программной реализацией используются в серверах начального уровня.

1. Реализация RAID-системы программным путем

Некоторые операционные системы, в частности Microsoft  Windows NT (2000) Server и Novell NetWare. Имеют встроенные программы для реализации RAID-массивов (уровней 0, 1, 1+0 и даже 5). Самое большое преимущество такого способа построения RAID-систем – низкая стоимость, так как не требуется никаких дополнительных аппаратных средств. Для проведения всех операций (записи, считывания, вычисления контрольной суммы) программа использует ресурсы центрального процессора, что значительно снижает производительность всей системы. Следует отметить, что центральный процессор оптимизирован для работы с подсистемой памяти, а не периферийными устройствами.

Основной вклад в снижение общей производительности вносит обработка прерываний от дисков. RAID-системы, реализованные программным путем, работают значительно медленнее аппаратных и характеризуются минимальной надежностью, поскольку при выходе сервера из строя возможна полная потеря всей информации. Кроме того, при замене неисправного диска, добавлении нового (в это время сервер, естественно, выключен) или изменении уровня RAID также теряются все накопленные данные.

2. RAID-системы на основе внутренних контроллеров

Чтобы повысить надежность, производительность и масштабирование RAID-систем, их строят на основе контроллеров, которые устанавливаются внутрь сервера (обычно они имеют PCI  интерфейс - шина ввода/вывода для подключения периферийных устройств к материнской плате компьютера.). По этой шине можно передавать данные со скоростью, вполне достаточной для серверов начального и среднего уровней (максимальная пропускная способность 32-битной шины PCI – 132 Мб/с, 64-битной –264).

RAID-контроллеры значительно  разгружают центральный процессор, увеличивая производительность  всей системы. Кроме того, наличие  интегрированного кеша (до 128 Мб) повышает  скорость работы дискового массива. BIOS контроллеры и прилагаемые программы позволяют создавать RAID-массивы различных уровней, заменять и добавлять диски без потери информации. Самые технологически совершенные контроллеры обеспечивают проведение так называемой “горячей” замены неисправного накопителя, т.е. без приостановки работы сервера. В них также реализована возможность удаленного управления и мониторинга RAID-системы.

Большим недостатком внутренних контроллеров является их привязка к определенной платформе и операционной системе, подчас приходится сталкиваться с некорректной работой драйверов. Кроме того, эти контроллеры имеют ограниченные возможности по построению отказоустойчивых систем (в частности, она зависит от состояния сервера, выход которого из строя останавливает работу RAID-массива) и масштабированию. Внутренние контроллеры RAID-массивов значительно различаются по своим характеристикам и стоимости. Их основные производители – компании Mylex (безусловный лидер, поставляет до 80% всех контроллеров), AMI, Adaptec.

Дисковые контроллеры с возможностью организации RAID-массивов представляют собой стандартные дисковые контроллеры с несколько расширенными функциональными возможностями. Они позволяют реализовывать самые простые RAID-системы (уровни 0, 1, 1+0), как правило, не имеют памяти для кеширования, их стоимость составляет до 200 долл.

3. Внешние RAID-контроллеры и автономные RAID-системы

У всех внутренних контроллеров есть один общий недостаток – их работа зависит от функционирования сервера; дефекты в изготовлении материнской платы, перепады напряжения, подаваемого на шину PCI, могут привести к искажению и потере информации. Выходом из этой ситуации является применение внешних RAID-массивов. Они размещаются в отдельном корпусе, оснащенном самостоятельным источником питания и имеющем разъемы высокоскоростных интерфейсов обмена данными для связи с сервером, который будет работать с внешним массивом как с единым логическим диском.

Внешнюю RAID-систему можно собрать самостоятельно: купить внешний RAID-контроллер, внешний корпус для RAID-массивов, жесткие диски и соединить между собой. Обойдется несколько дешевле, чем покупка законченного решения от компании, специализирующейся на поставке автономных RAID-систем (Artecon, Antrone, Research, Bering, Raidtec  Corp.). Подобные системы обладают повышенной надежностью, поскольку их компоненты изначально подогнаны один к другому в отличие от сборных решений.

Для настройки внешнего RAID-массива не требуется драйвер, а заменить вышедшие из строя диски значительно легче. Такие системы способны обслуживать запросы с нескольких серверов, следовательно. Позволяют создавать сверхнадежные кластерные системы (к RAID-массиву подключены два сервера, выполняющие текущие задачи, при выходе из строя одного все функции берет на себя другой; производительность, конечно, снижается, но кластер остается работоспособным).

Внешнюю RAID-систему и сервер к которому она подключена, можно разнести на значительное расстояние, что спасет информацию в случае, если в серверной комнате произойдет пожар, затопление и т.д.

За высочайшие характеристики внешних RAID-систем приходится платить, и немало. Их стоимость может достигать нескольких сотен тысяч долларов, столь высокая цена – единственный фактор, препятствующий их широкому распространению. Поэтому ведущие производители RAID-массивов прилагают все усилия для снижения цен на свою продукцию. Например, компания Bering выпускает модель RaidRunner, в которой SCSI-диски заменены обыкновенными IDE-накопителями. Для связи с сервером эта модель имеет интерфейс SCSI (т.е. сервер “видит” RaidRunner как SCSI-диск), а специальный встроенный контроллер IDE-to-SCSI осуществляет преобразование сигналов между внутренним интерфейсом IDE и внешним SCSI. Применение технологии “IDE-to-SCSI” позволяет снизить стоимость RAID-системы до 30%. Кроме того, в последнее время стоимость хранения одного мегабайта информации постоянно снижается.

4. Отказоустойчивость сетевых файловых систем

Файловые системы для общих дисков (также известные как Файловые системы для сетевых (общих) хранилищ (файловая система SAN) или кластерные файловые системы) в основном используются в сетевых хранилищах, где все узлы сети имеют прямой доступ к блоковому устройству хранения, где расположена эта файловая система. Такие файловые системы функционируют, даже при поломке одного из узлов. Данные файловые системы, обычно, используются в кластерах высокой доступности вместе с аппаратным RAID.

Файловые системы для сетевых хранилищ, обычно не расширяются больше 64 или 128 узлов. Например, CXFS (XFS для кластера) — файловая система расширяющая XFS для использования в сети. Распределенные файловые системы известны и как сетевые файловые системы. Одна и таких систем - Network File System (NFS) разработанная Sun Microsystems, теперь является стандартом в UNIX-подобных сетях. NFS может использовать протокол Kerberos для авторизации и кэш клиента.

Распределенные файловые систем, являющиеся параллельными и с защитой от сбоев, разделяют и реплицируют данные на многие сервера для высокой производительности и обеспечения целостности данных. Даже когда сервер дает сбой, данные не теряются. Данные файловые системы используются в высокоскоростных вычислениях и кластерах высокой доступности. Например, GPFS — General Parallel File System, виртуальная файловая система для параллельной обработки данных разработанная IBM. Поддерживает репликацию между подсоединенными блочными устройствами хранения. Доступна в AIX, Linux и Windows, Google

File System — кластерная система  оптимизированная для работы  с большими блоками данных  по 64 Мб, а также обладающая повышенной  защитой от сбоев. Вся информация  копируется и хранится в трех  местах одновременно, при этом  система способна очень быстро  находить реплицированные копии, если какая-то машина вышла  из строя. Задачи автоматического  восстановления после сбоя решаются  с помощью особых программ.

Примером файловой системы со встроенной избыточностью может служить  RAIF (Redundant Array of Independent Filesystems) — Избыточный Массив Независимых Файловых систем — файловая система похожая на структуру RAID, ZFS содержит свое внедрение RAID-5 и RAID-6 — RAID-Z и RAID-Z2 соответственно. Использование программных или смешанных решений для повышения отказоустойчивости системы позволяет значительно экономить средства как на начальной стадии – покупке, так и на последующей – управлении и обслуживании. Следует учесть, что при этом будут задействованы вычислительные ресурсы серверов, т.е. требуются дополнительные изменения в серверном комплексе – повышение производительности, например, путем добавления процессорной мощности, или, если возможно, выделение отдельных серверов под эти задачи.

4. Дополнительные средства обеспечения надежности

Время от времени диски дают сбой или ломаются. Для того, чтобы функционирование системы не прекращалось, во многих RAID-массивах, реализована возможность “горячей” замены и “горячего” резервирования дисков.

Возможность “горячей” замены (hot swap) какого-либо компонента означает возможность его удаления из системы в случае поломки и подключение нового без остановки работы. “Горячее” резервирование – это наличие в системе дополнительного простаивающего компонента, начинающего работать в случае выхода из строя устройства, которое он дублирует.

Кроме дублирования информации на дисках высокая надежность RAID- систем достигается за счет избыточности элементов обслуживания массива – блоков питания, вентиляторов, контроллеров и даже портовых соединений. Самые технологичные модели имеют системы автоматического слежения за неисправностями и средства оповещения в случае их обнаружения.

Там, где нужна высокая надежность хранения информации большой емкости и требуется высокая скорость передачи данных, применяются RAID-массивы. Цены на них постоянно снижаются, и распространение RAID-массивов расширяется.

Заключение

При повышении отказоустойчивости важна проработка решения на каждой стадии и каждом уровне перемещения, размещения и хранения данных. Не всегда самый дорогой вариант обеспечивает решение существующих проблем, иногда он еще и добавляет новые.

Любой руководитель службы ИТ ставит перед собой главную цель - построить высокопроизводительную вычислительную систему с высокой степенью отказоустойчивости и при этом снизить стоимость. Компромисс между простотой решения, производительностью и отказоустойчивостью необходимо отыскивать на стадии проектирования и разработки, постоянно корректировать действия исходя из стоимости и показателей производительности.