Современные системы хранения данных (СХД)

Определение терминов «хранение данных» и «СХД»

В большинстве случаев под хранением понимают запись данных на накопитель любого типа для последующего их применения в какой-либо сфере деятельности. А вот система хранения данных – это некий сервер физического или виртуального типа (или его часть), предназначение которого – хранить и обрабатывать файлы различного типа. В большинстве случаев СХД используются для работы с Big Data. Такие системы используются для выполнения резервного копирования, обеспечения работы систем видеонаблюдения, обеспечения документооборота в рамках конкретной компании и так далее.

Что такое виртуализация СХД

Под виртуализацией систем хранения данных понимается разделение всего пласта ресурсов на отдельные диски логического типа, которые затем можно подключать к системе в случае необходимости. Такой подход существенно облегчает процесс администрирования и обслуживания инфраструктуры. Суть в том, что администратор просто добавляет пул виртуальных дисков при помощи консоли, а сервер работает с ними уже как с физическими.

Чаще всего виртуализацию используют в тех случаях, если имеется две или более разрозненных СХД, которые необходимо объединить в одно целое. Запустить виртуализацию гораздо проще и дешевле, чем менять всё железо, выстраивая более объёмную систему, способную вместить все необходимые данные. Причём если использовать возможности виртуализации, можно существенно сэкономит на построении инфраструктуры.

Преимущества виртуализации:

• Гибкость. Такое решение даёт возможность быстро увеличить или уменьшить количество ресурсов, просто подключив необходимые к конкретному серверу.
• Эффективность. Подобная система даёт возможность быстро и эффективно управлять данными, а также проводить анализ их использования клиентами.
• Экономичность. Даёт возможность перераспределять ресурсы и назначать даже старые диски разных типов в качестве накопителей для хранения данных.
• Универсальность. Позволяет подключать практически любые типы СХД (например, NAS, SAN, облачные хранилища и так далее).
• Сокращение затрат на администрирование. Подобное решение позволяет существенно упростить инфраструктуру, что в результате приведёт к снижению затрат по её обслуживанию (в том числе можно будет сократить штат специалистов, обслуживающих систему). Виртуализация предполагает минимальное участие человека в работе системы.
• Не требует останавливать рабочие процессы. Наращивание ёмкости хранения никак не влияет на бизнес-процессы, что крайне важно для сервисов, доступность которых должна быть круглосуточной.
• Процессы репликации и резервирования становятся проще и удобнее. Благодаря виртуализации появляется возможность настроить автоматическое создание резервных копий, а также подключить опцию зеркалирования дисков.

Получается, что виртуализация систем для хранения данных является необходимой для современного бизнеса, поскольку позволяет решать различные задачи при минимальных затратах со стороны заказчика. Клиенты же и вовсе никаких изменений не увидят, поскольку будут обращаться напрямую к данным, размещённым на накопителе. К тому же, такой решение (в отличие от облачных хранилищ) никак не зависит от скорости и стабильности Интернет-соединения.

Основные типы СХД

Существуют несколько основных типов систем хранения, которые различают по разным признакам. Стоит более подробно остановиться на наиболее часто используемых вариантах. Так будет возможность выбрать наиболее подходящую систему под определённые задачи.

По типу подключения:

• Внутреннее. Имеется в виду стандартное подключение накопителей с необходимыми сведениями. То есть, они устанавливаются там же, где размещаются другие компоненты компьютера и где они будут использоваться. Подключение может быть реализовано на классических шинах SATA, SAS, IDE, SCSI (последние два варианта являются устаревшими).
• Внешнее. Такое подключение предполагает наличие шины вне корпуса сервера или же производительной сетевой карты. В этом случае накопители могут размешаться на специальной стойке под диски. Такой вариант достаточно стабилен, но требует гораздо больших усилий для обеспечения бесперебойной работы.

По типу используемых накопителей:

• Дисковые. Наиболее распространённые в данный момент системы. В них информация хранится на классических HDD (жёстких дисках). Такие СХД обладают отличной надёжностью и достаточно дешевы в обслуживании.
• Ленточные. Для записи файлов в таких накопителях используются магнитные ленты. Такие системы применяются в основном для резервного копирования важной информации, как исключительно надёжные.
• Flash. В этих системах для хранения файлов используются SSD (Solid State Drive). Подобные варианты обладают высокими скоростями записи и считывания, но в плане ресурса они немного отстают от дисковых, да и существенно дороже последних.
• Гибридные. В таких СХД используются одновременно HDD и SSD-накопители. Получается неплохой баланс между надёжностью и скоростью. С обслуживанием таких систем, как правило, проблем нет.

По форме хранения:

• Файлы. Именно такой тип повсеместно используется для решения разных задач. При этом структура такова, что данные остаются одинаковыми как для пользователя, так и для накопителя.
• Блоки. Здесь используются равные по объёму области, но общую их структуру задаёт пользователь. При использовании такого варианта есть возможность существенно повысить скорость работы за счёт отсутствия преобразовательного слоя «блоки-файлы».
• Объекты. Здесь все сведения сохраняются в виде объектов с метаданными. При этом используется плоская ФС.

По реализации:

• Аппаратные. Как правило, под этим типом понимаются «железные» RAID и HBA контроллеры, а также узкоспециализированные СХД.
• Программные. Это специальные реализации RAID с ФС BtrFS, NFS, а также протоколами iSCSI, SDS.

Особенности основных технологий СХД

Теперь стоит подробнее рассмотреть наиболее популярные варианты систем для хранения данных, а также выделить их основные преимущества и недостатки. Это поможет сделать выбор в пользу наиболее подходящего решения.

DAS (Direct Attached Storage)

Именно этот вариант подключения накопителей использовался в первых серверах. Он же успешно применяется и в настоящее время. Суть его в том, что компьютер использует подключённый накопитель монопольно, обращаясь к нему поблочно. Поэтому скорость передачи данных традиционно высокая. Помимо этого, такой вариант организации сервера является одним из самых дешёвых. Поэтому при использовании DAS появляется возможность сэкономить.

Но у этой технологии есть ряд недостатков. Наиболее существенный заключается в том, что совместное использование дисков разных серверов невозможно. К примеру, если компании нужно несколько серверов, то при таком варианте одновременно пользоваться всеми мощностями не получится. В результате пострадает оптимизация системы хранения данных: получится дисбаланс – один сервер будет всегда загружен, а второй не сможет использовать всё пространство на диске.

Системы с одним накопителем как правило используются в компаниях с минимальной нагрузкой, либо в домашних условиях. Если необходимо хранить большие массивы данных, то несколько дисков объединяются в RAID программно или с помощью «железной» платы расширения. Также в подобных системах дополнительно настраивают кэширование на менее ёмком SSD накопителе, чтобы хоть как-то оптимизировать СХД.

SAN (Storage Area Network)

Это технология, предполагающая использование локальной сети выделенного типа. Такое решение позволит связать серверы друг с другом и решить проблему с утилизацией всего объёма накопителей серверами. Также подобная система отличается хорошей отказоустойчивостью (в отличие от инфраструктуры, использующей DAS). Обычно для развёртывания подобных сетей применяют технологию Fibre Channel. Накопители характеризуются блочным доступом, что позволяет повысить производительность. Для работы с дисками используются протоколы NVME или SCSI, которые инкапсулируются в кадры FC или в классические пакеты TCP (если SAN используется на основе протокола iSCSI).

SAN состоит из сервера с HBA и полок с дисками (конечное устройство), а также из коммутаторов или роутеров (в больших компаниях) и кабелей, которые являются средствами для построения сети. HBA — это специальный контроллер, который размещается непосредственно в сервере. Именно он отвечает за то, чтобы система могла работать с накопителями, размещёнными в полках. Для повышения производительности СХД рекомендуется размещать серверы и полки рядом друг с другом. В свою очередь серверы и полки соединяются с коммутатором посредством специальных соединений. Всю подобную инфраструктуру называют фабрикой. Для повышения отказоустойчивости рекомендуется вести к каждому серверу пару фабрик. Но такое решение способно существенно увеличить стоимость всей системы.

NAS (Network Attached Storage)

Это файловое хранилище, использующее сеть для своей работы. Оно даёт возможность подключать ресурсы накопителей посредством сетевых протоколов (например, NFS или SMB). В большинстве подобных систем используются основные принципы DAS, но в отличие от последнего NAS предоставляет общий файловый доступ. Поскольку работа в этой СХД ведётся с применением сетевого подключения, то сам пул с накопителями легко может находиться от потребителей на изрядном удалении. Но могут возникать некоторые проблемы с сетевым каналом (время от времени), поскольку весь он будет занят NAS. Проблема решается использованием отдельных сетевых карт исключительно под нужды СХД. Также NAS берёт все задачи по предоставлению общего доступа на себя, в отличие от того же SAN.

Unified Storage

Такие СХД представляют собой универсальные системы, которые одновременно могут совмещать в себе функции NAS и SAN. По статистике, чаще всего в Unified Storage используют именно функционал SAN, так как в этой системе можно настроить файловый доступ к дисковому пространству. Для обеспечения файлового доступа требуются производительные карты (чтобы установить стабильное сетевое соединение). Также можно использовать те, которые уже есть (если они соответствуют требованиям). Сама файловая система создаётся на отдельном блочном устройстве и уже через сетевое соединение она раздаётся по сети клиентам при помощи какого-либо файлового протокола (наиболее часто используется NFS). По статистике, такие СХД используются достаточно редко (большинство клиентов предпочитают классические или облачные решения).

SDS (Software-Defined Storage)

Под этим названием скрывается программно-определяемая СХД, работа которой основана на принципах DAS. В такой системе дисковые хранилища, предназначенные для нескольких разных серверов, объединяются в цельный пул и таким образом клиенты получают быстрый доступ к общедисковому пространству. Чаще всего для организации таких систем используются максимально защищённые от сбоев файловые системы GlusterFS и Ceph, но также встречаются варианты на основе классических ФС LVM2, iSCSI или NFS. Главное преимущество SDS заключается в том, что данная технология даёт возможность построить отказоустойчивую и производительную СХД даже в том случае, если у клиента стандартное (или вовсе устаревшее) оборудование.

Кроме того, если в такой системе убрать зависимость от общей локальной сети и запустить её на выделенных сетевых картах, получится добиться производительности крупных СХД вроде SAN\NAS, при этом исключив недостатки последних. По мнению некоторых специалистов, за SDS будущее, поскольку подобная инфраструктура универсальна и её можно использовать для разных задач. Также оборудование, необходимое для организации SDS теряет в своей стоимости гораздо быстрее, чем специальные аппаратные компоненты, использующиеся для запуска той же SAN. В результате, есть возможность существенно сэкономить. Из недостатков SDS только достаточно высокая сложность системы и чрезмерная перегруженность (требуется больше оборудования).

Гиперконвергентные системы

Практически все рассмотренные выше варианты при увеличении объёмов информации и использовании SAN ведут к существенному повышению стоимости обслуживания такой инфраструктуры. Однако есть возможность сэкономить — гиперконвергентные системы. Суть заключается в следующем: все дисковые системы объединяются посредством SDS, а процессорные ресурсы и RAM передаются виртуальным машинам, которые должны использовать ресурсы дисков, при помощи гипервизоров. Основное преимущество – это возможность постоянного наращивания системы даже в случае нехватки ресурсов (можно просто добавить в инфраструктуру ещё один сервер с дисками). Из минусов можно отметить достаточно высокую начальную стоимость такого решения. Но зато затраты на обслуживание в долгосрочной перспективе будет заметно ниже.

Облака, эфемерные хранилища

Появление такого типа СХД явлется результатом тренда на виртуализацию серверов. В этом случае обычно сервисы разбиваются на функции, запускаемые только в случае прямого запроса. Одновременно может быть запущено такое количество сервисов, которое требуется именно в конкретный промежуток времени для обеспечения необходимой нагрузки. Практически все существующие поставщики облачных технологий дополнительно предоставляют доступ к хранилищам разных типов (файловых, блочных или объектных). В результате вся инфраструктура компании работать так же быстро и стабильно, как если бы использовался физический сервер. Но у такого варианта есть ряд недостатков. Важнейший из них – жёсткая привязка к глобальной сети (если интернет будет работать со сбоями, то вся система может рухнуть). Также могут возникуть проблемы на стороне поставщика услуг, что тоже не добавляет системе стабильности.

Выводы

На данный момент существует несколько типов систем хранения данных, которые активно используются и в современных реалиях. При выборе конкретного варианта нужно руководствоваться несколькими факторами: во-первых, стоит учитывать объёмы информации, которые будут храниться на серверах и обрабатываться ими, во-вторых, нужно чётко определить задачи, которые должна выполнять СХД. Если компания небольшая и дальнейшее наращивание инфраструктуры не планируется, то вполне можно обойтись простым DAS.

Во всех остальных случаях лучше использовать виртуализированный сервер, построенный на базе SAN или NAS. Такая СХД обеспечит необходимую для нормальной работы производительность и позволит сэкономить средства при её развёртывании. Кроме того, подобные решения дают возможность легко нарастить дополнительные мощности, если вдруг потребуется подключить к серверу больше накопителей. В любом случае, использовать отдельные диски в современных реалиях невыгодно, так как система получается гораздо менее гибкой.