Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
Внутреннее. Сюда относятся классическое подключение дисков в компьютерах, накопители данных устанавливаются непосредственно в том же корпусе, где и будут использоваться. Типовые шины для подключения — SATA, SAS, из устаревших — IDE, SCSI.
подключение дисков в сервере
Внешнее. Подразумевается подключение накопителей с использованием некоторой внешней шины, например FC, SAS, IB, либо с использованием высокоскоростных сетевых карт.
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
- Дисковые. Предельно простой и вероятно наиболее распространенный вариант до сих пор, в качестве накопителей используются жесткие диски
- Ленточные. В качестве накопителей используются запоминающие устройства с носителем на магнитной ленте. Наиболее частое применение — организация резервного копирования.
- Flash. В качестве накопителей применяются твердотельные диски, они же SSD. Наиболее перспективный и быстрый способ организации хранилищ, по емкости SSD уже фактически сравнялись с жесткими дисками (местами и более емкие). Однако по стоимости хранения они все еще дороже.
- Гибридные. Совмещающие в одной системе как жесткие диски, так и SSD. Являются промежуточным вариантом, совмещающим достоинства и недостатки дисковых и flash хранилищ.
Если рассматривать форму хранения данных, то явно выделяются следующие:
- Файлы (именованные области данных). Наиболее популярный тип хранения данных — структура подразумевает хранение данных, одинаковое для пользователя и для накопителя.
- Блоки. Одинаковые по размеру области, при этом структура данных задается пользователем. Характерной особенностью является оптимизация скорости доступа за счет отсутствия слоя преобразования блоки-файлы, присутствующего в предыдущем способе.
- Объекты. Данные хранятся в плоской файловой структуре в виде объектов с метаданными.
По реализации достаточно сложно провести четкие границы, однако можно отметить:
аппаратные, например RAID и HBA контроллеры, специализированные СХД.
RAID контроллер от компании Fujitsu
Программные. Например реализации RAID, включая файловые системы (например, BtrFS), специализированные сетевые файловые системы (NFS) и протоколы (iSCSI), а также SDS
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Хранение данных на оптических дисках CD, DVD, Blu-ray
Наверное, многие из вас сталкивались с информацией о том, что данные на CD-R или DVD может храниться десятки, если не сотни лет. А еще, думаю, среди читателей есть такие, кто что-то записал на диск, а когда захотел его посмотреть через год-три, этого сделать не удалось, хотя привод для чтения был исправен. В чем же дело?
Обычные причины быстрой потери данных заключаются в низком качестве записываемого диска и выборе не того типа диска, неправильных условиях его хранения и неправильном режиме записи:
- Перезаписываемые диски CD-RW, DVD-RW не предназначены для хранения данных, срок сохранности мал (в сравнении с дисками для однократной записи). В среднем, на CD-R информация хранится дольше, чем на DVD-R. По независимым тестам, почти все CD-R показали ожидаемый срок хранения более 15 лет. Такой же результат был только у 47 процентов проверенных DVD-R (тесты Библиотеки Конгресса и Национального Института Стандартов). Другие тесты показали средний срок службы CD-R в районе 30 лет. Про Blu-ray проверенной информации нет.
- Дешевые болванки, продающиеся чуть ли не в продуктовом магазине по три рубля за штуку не предназначены для хранения данных. Использовать их для записи сколько-нибудь значимой информации без сохранения ее дубликата не следует вообще.
- Не следует использовать запись в несколько сессий, рекомендуется использовать минимальную скорость записи, доступную для диска (с помощью соответствующих программ записи дисков).
- Следует избегать нахождения дисков на солнечном свете, в других неблагоприятных условиях (перепады температуры, механические воздействия, повышенная влажность).
- Качество записывающего привода также может влиять на сохранность записанных данных.
Выбор диска для записи информации
Записываемые диски отличаются материалом, на который производится запись, типом отражающей поверхности, твердостью поликарбонатной основы и, собственно, качеством изготовления. Говоря о последнем пункте, можно отметить, что один и тот же диск одной марки, произведенный в разных странах может сильно отличаться качеством.
В качестве записываемой поверхности оптических дисков в настоящее время используется цианин, фталоцианин или металлизированный Azo, в качестве отражающего слоя — золото, серебро или сплав серебра. В общем случае, оптимальным должно быть сочетание фталоцианина для записи (как самого устойчивого из перечисленных) и золотого отражающего слоя (золото — самый инертный материал, другие подвержены окислению). Однако, качественные диски могут иметь и другие сочетания этих характеристик.
Из более распространенных дисков, которые можно найти в России и которые могут сохранить информацию десять и более лет, к качественным относятся:
- Verbatim, производства Индии, Сингапура, ОАЭ или Тайваня.
- Sony, произведенные в Тайване.
«Могут сохранить» относится и ко всем перечисленным дискам Archival Gold — все-таки, это не гарантия сохранности, а потому не стоит забывать о перечисленных в начале статьи принципах.
А теперь, обратите внимание на диаграмму внизу, на которой отражено увеличение количества ошибок чтения оптических дисков в зависимости от срока их нахождения в камере с агрессивной средой. График носит маркетинговый характер, да и шкала времени не размечена, но заставляет задать вопрос: а что это за марка — Millenniata, на дисках которой ошибки не появляются
Сейчас расскажу.
Классификация памяти
Итак, многие привыкли, что устройства хранения данных обычно представлены физическим девайсом. Они могут иметь разную форму, габариты и вес. Но это никак не относиться к самой памяти.
В данном случае необходимо рассматривать ее по следующим параметрам:
- операции;
- доступ;
- организация данных и алгоритмы;
- назначение;
- адресное пространство и т. д.
Как уже упоминалось, память позволяет проводить две основные операции: чтение и запись. Так вот есть некоторые устройства, которые предоставляют только чтение или оба варианта.
Доступ также может характеризовать память. Он бывает последовательным и произвольным. Первый вариант (SAM) дает последовательный доступ: ячейка за ячейкой считываются так, как они расположены. Второй вариант (RAM) дает информацию с любой ячейки, независимо от ее расположения.
Организация данных является параметром памяти и может также классифицироваться в соответствии с классификацией структур данных. Поэтому здесь есть адресуемая, ассоциативная, магазинная, семантическая, объектная и др.
По назначению память может быть:
- буферной — для временного хранения или обмена;
- временной — для промежуточных результатов;
- кэш — для хранения часто используемых данных, для быстрого доступа к ним;
- корректирующей — для хранения адресов, по которым можно найти неисправные ячейки;
- управляющей — для работы соответствующих микропрограмм;
- разделяемой — для обеспечения общего доступа.
Адресное пространство — еще один параметр функциональности памяти. Она бывает реальной — ее адресация приводит к физическому хранилищу; виртуальной — адресация не имеет физического расположения данных; оверлейной — области имеют одинаковые адреса, поэтому в каждый момент доступ осуществляется только к одной из них.
SAN
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Основные функции файловых систем
Файловая система отвечает за оптимальное логическое распределение информационных данных на конкретном физическом носителе. Драйвер ФС организует взаимодействие между хранилищем, операционной системой и прикладным программным обеспечением. Правильный выбор файловой системы для конкретных пользовательских задач влияет на скорость обработки данных, принципы распределения и другие функциональные возможности, необходимые для стабильной работы любых компьютерных систем. Иными словами, это совокупность условий и правил, определяющих способ организации файлов на носителях информации.
Основными функциями файловой системы являются:
- размещение и упорядочивание на носителе данных в виде файлов;
- определение максимально поддерживаемого объема данных на носителе информации;
- создание, чтение и удаление файлов;
- назначение и изменение атрибутов файлов (размер, время создания и изменения, владелец и создатель файла, доступен только для чтения, скрытый файл, временный файл, архивный, исполняемый, максимальная длина имени файла и т.п.);
- определение структуры файла;
- поиск файлов;
- организация каталогов для логической организации файлов;
- защита файлов при системном сбое;
- защита файлов от несанкционированного доступа и изменения их содержимого.
Первые носители информации
История записи и хранения данных началась 40 тысяч лет назад, когда Homo sapiens пришла идея делать эскизы на стенах своих жилищ. Первое наскальное творчество находится в пещере Шове на юге современной Франции. Галерея содержит 435 рисунков, изображающих львов, носорогов и других представителей фауны позднего палеолита.
На смену Ориньякской культуре в бронзовом веке возник принципиально новый вид носителей информации – туппу́м. Девайс представлял собой пластину из глины и напоминал современный планшет. На поверхность с помощью тростниковой палочки – стилуса – наносились записи. Чтобы труд не размыло дождем, туппумы обжигались. Все таблички с древней документацией тщательно сортировались и хранились в специальных деревянных ящиках.
В Британском музее есть туппум, содержащий информацию о финансовой сделке, произошедшей в Месопотамии во времена правления царя Ассурбанипала. Офицер из свиты принца подтверждал продажу рабыни Арбелы. Табличка содержит его именную печать и записи о ходе операции.
Бумага и перфокарты
С XII до середины XX века основным хранилищем данных была бумага. Ее использовали для создания печатных и рукописных изданий, книг, средств масс-медиа. В 1808 году из картона начали делать перфокарты – первые цифровые носители информации. Представляли собой листы картона с проделанными в определенной последовательности отверстиями. В отличие от книг и газет, перфокарты считывались машинами, а не людьми.
Изобретение принадлежит американскому инженеру с немецкими корнями Герману Холлериту. Впервые автор применил свое детище для составления статистики смертности и рождаемости в Нью-Йоркском Совете здравоохранения. После пробных попыток, перфокарты использовали для переписи населения США в 1890 году.
Но сама идея проделывать дырки в бумаге, чтобы записывать информацию, была далеко не новой. Еще в 1800 году перфокарты ввел в обиход француз Джозеф-Мари Жаккард для управления ткацким станком. Поэтому технологический прорыв заключался в создании Холлеритом не перфокарт, а табуляционной машины. Это был первый шаг на пути к автоматическому считыванию и вычислению информации. Компания TMC Германа Холлерита по производству табуляционных машин в 1924 году была переименована в IBM.
Магнитная лента
Дебют магнитной ленты в качестве компьютерного носителя информации состоялся в 1952 году для машины UNIVAC I. Но сама технология появилась гораздо раньше. В 1894 году датский инженер Вольдемар Поульсен обнаружил принцип магнитной записи, работая механиком в Копенгагенской телеграфной компании. В 1898 году ученый воплотил идею в аппарате под названием “телеграфон”.
Стальная проволока проходила между двумя полюсами электромагнита. Запись информации на носитель осуществлялась посредством неравномерного намагничивания колебаний электрического сигнала. Вольдемар Поульсен запатентовал свое изобретение. На Всемирной выставке 1900 года в Париже он имел честь записать голос императора Франца-Иосифа на свой девайс. Экспонат с первой магнитной звукозаписью по сей день хранится в Датском музее науки и техники.
Когда патент Поульсена истек, Германия занялась улучшением магнитной записи. В 1930 году стальная проволока была заменена гибкой лентой. Решение использовать магнитные полосы принадлежит австрийско-немецкому разработчику Фрицу Пфлеймеру. Инженер придумал покрывать тонкую бумагу порошком оксида железа и осуществлять запись посредством намагничивания. С использованием магнитной пленки были созданы компакт-кассеты, видеокассеты и современные носители информации для персональных компьютеров.
Внешняя память компьютера, Внешние запоминающие устройства.
Внешняя память компьютера или ВЗУ — важная составная часть электронно-вычислительной машины, обеспечивающая долговременное хранение программ и данных на различных носителях информации. Внешние запоминающие устройства (ВЗУ) — можно классифицировать по целому ряду признаков : по виду носителя, по типу конструкции, по принципу записи и считывания информации, по методу доступа и т.д. При этом под носителем понимается материальный объект, способный хранить информацию.
Свойства внешней памяти :
- ВЗУ энергонезависима, целостность её содержимого не зависит от того, включен или выключен компьютер .
- В отличие от оперативной памяти, внешняя память не имеет прямой связи с процессором.
В состав внешней памяти включаются :
- НЖМД – накопители на жёстких магнитных дисках.
- НГМД – накопители на гибких магнитных дисках.
- НОД – накопители на оптических дисках (компакт-дисках CD-R, CD-RW, DVD).
- НМЛ – накопители на магнитной ленте (стримеры).
- Карты памяти.
Накопители – это запоминающие устройства, предназначенные для длительного (то есть не зависящего от электропитания) хранения больших объемов информации.
Кроме основной своей характеристики – информационной емкости – дисковые накопителихарактеризуются и двумя другими показателями : временем доступа и скоростью считывания последовательно расположенных байтов.
Внутренние устройства
Устройства для хранения информации, которые не подключаются извне, а являются встроенными в системную плату компьютера называются внутренними. По сравнению с внешними они значительно выигрывают в скорости обработки и передачи информации.
Основным и наиболее используемым является оперативная память – в ней содержится вся информация и программы, отвечающие за ее обработку. Особенностью этого устройства является то, что информация хранится в нем тогда, когда компьютер включен.
Кэш является внутренним устройством, которое встроено в микросхеме и обладает довольно малым временным отрезком для доступа к информации, размеры кэш-памяти бывают 256, 512 Мб и выше.
Устройство CMOS-памяти предназначено для долгого по времени хранения данных, относящихся к конфигурации и настройках компьютера включенного и выключенного. Это электронная схема с крайне малым потреблением энергии. Питание устройства идет от отдельного аккумулятора. CMOS считается полупостоянной памятью.
Постоянной же памятью компьютера является устройство BIOS, данные в него заносятся при изготовлении. В этом устройстве содержатся функции управления всеми устройствами компьютера. Кроме того в ней присутствует программа для настройки ПК, используя которую возможно установить ряд параметров компьютера.
SDS
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Жесткие магнитные приводы
Жесткие магнитные диски, также называемые «жестким диском» или «жестким диском», представляют собой тип энергонезависимого, перезаписываемого компьютерного устройства хранения данных. Данные, хранящиеся на жестком диске, не теряются при выключении компьютера. Поэтому жесткий диск идеально подходит для долговременного хранения программ и файлов данных, а также основных программ операционной системы. Благодаря этой возможности жесткий диск можно извлечь из одного компьютера и вставить в другой.
Внутри герметичного жесткого диска находится один или несколько негибких дисков, покрытых металлическими частицами. Каждый диск имеет головку (электромагнит), встроенную в шарнирный манипулятор, который перемещается по диску во время его вращения. Головка намагничивает металлические частицы, заставляя их выстраиваться в линию и представлять нули и единицы в двоичных числах (рис. 1). Двигатели, которые перемещают диск и рычаг, обычно подвержены износу. Только головка не изнашивается, так как она никогда не соприкасается с поверхностью диска.
Диск получил свое название «жесткий диск» от компании IBM, которая в 1973 году выпустила на рынок жесткий диск Модель 3340, первый, в котором в одном несъемном корпусе размещены как тарелки для дисководов, так и считывающие головки. При разработке инженеры использовали внутреннюю стенографию «30-30», которая означала два модуля (в максимальной компоновке) по 30 Мб каждый. Менеджер проекта Кеннет Хотон предложил назвать диск «Винчестер 30-30», ссылаясь на название популярной охотничьей винтовки «Винчестер».
Благодаря большому количеству дорожек на каждой стороне дисков и большому количеству дисков информационная емкость жесткого диска может достигать 150-200 Гб. Скорость записи и чтения информации с жесткого диска достаточно высока (до 133 Мбайт/с) благодаря быстрому вращению диска (до 7500 об/мин).
Среди прочих параметров, рассмотрим:
- Емкость кэша — все современные жесткие диски имеют буфер кэша, который ускоряет обмен данными; чем больше его емкость, тем выше вероятность того, что кэш будет содержать необходимую информацию, которую не нужно читать с жесткого диска (этот процесс в тысячи раз медленнее); емкость кэш-буфера в различных устройствах может варьироваться в диапазоне от 64 Кбайт до 2 Мбайт;
- Среднее время доступа — время (в миллисекундах), в течение которого головка в сборе перемещается от одного цилиндра к другому. Зависит от конструкции привода головки и составляет примерно 10-13 мс;
- Время задержки — это время с момента позиционирования блока головки на требуемом цилиндре до позиционирования конкретной головки на определенном секторе, т.е. это время поиска правильного сектора;
- Скорость обмена — определяет объем данных, который может быть передан с диска на микропроцессор и наоборот через определенные промежутки времени; максимальное значение этого параметра соответствует пропускной способности дискового интерфейса и зависит от того, какой режим используется.
В жестких дисках используются довольно хрупкие и крошечные элементы (медиа-пластины, магнитные головки и т.д.). Поэтому для сохранения информации и производительности жесткие диски должны быть защищены от ударов и резких изменений пространственной ориентации во время работы.
Лидеры в классе жестких дисков 7200/3,5″ — компании Seagate, Maxtor и WD — также производят внешние жесткие диски в автономном корпусе с блоком питания, интерфейсом USB.
Жесткие диски, независимо от того, имеют они дискету или нет, всегда называются дисководами «C».
Оптические носители
С появлением квантового генератора началась популяризация оптических запоминающих устройств. Запись осуществляется лазером, а считываются данные за счет оптического излучения. Примеры носителей информации:
- Blu-ray диски;
- CD-ROM диски;
- CD-R и CD-RW диски;
- DVD-R, DVD+R, DVD-RW и DVD+RW.
Устройство представляет собой диск, покрытый слоем поликарбоната. На поверхности находятся микроуглубления, которые считываются лазером при сканировании. Первый коммерческий лазерный диск появился на рынке в 1978 году, а в 1982 году японская компания SONY и Philips выпустили в продажу компакт-диски. Их диаметр составлял 12 см, а разрешение было увеличено до 16 бит.
Электронные носители информации формата CD использовались исключительно для воспроизведения звуковой записи. Но на то время это была передовая технология, за которую в 2009 году Royal Philips Electronics получила награду IEEE. А в январе 2015 года CD был награжден как ценнейшая инновация.
В 1995 году появились цифровые универсальные диски или DVD, ставшие оптическими носителями нового поколения. Для их создания использовалась технология другого типа. Вместо красного лазер DVD использует более короткий инфракрасный свет, что увеличивает объем носителя информации. Двухслойные DVD-диски способны хранить до 8,5 Гбайта данных.
