DRBD

В этой статье мы рассмотрим как сделать  репликацию хранилищ на 2-x серверах с помощью drbd на Debian 10.

DRBD (от англ. Distributed Replicated Block Device — «распределённое реплицируемое блочное устройство») — программная система, обеспечивающая синхронизацию (RAID 1) между локальным блочным устройством и удалённым. Одним из применений является построение отказоустойчивых кластерных систем на операционной системе с ядром Linux. Входит в ванильное ядро Linux с 15 декабря 2009 года.

Поддерживает как синхронную, так и асинхронную репликацию (при синхронной, протокол «С», операция записи считается завершённой, когда и локальный, и удалённый диски сообщают об успешном завершении записи; при асинхронной, протокол «A», запись считается завершённой, когда запись завершилась на локальном устройстве и данные готовы к отправке на удалённый узел). Также поддерживается промежуточный протокол (B), при котором запись считается успешной, если она завершилась на локальное устройство, и удалённый узел подтвердил получение (но не локальную запись) данных. Синхронизация идёт через протокол TCP (без шифрования и аутентификации), по умолчанию используется порт TCP/3260.

Поддерживает только два узла, более сложные конструкции могут строиться с помощью использования drbd-устройства в качестве «локального» для ещё одного drbd-устройства.

Узлы могут работать в режиме первичного (primary) узла или вторичного (secondary), вторичный хранит данные, но не позволяет осуществить к ним локальный доступ, первичный позволяет осуществить доступ. DRBD поддерживает также режим «первичный — первичный», при котором возможен доступ к обоим узлам; если при этом на DRBD-устройстве располагается файловая система, то для поддержки режима «первичный — первичный» необходимо использовать кластерные файловые системы (такие, как GFS2 и OCFS2).

DRBD работает локально на узле (то есть обеспечивает репликацию на удалённый узел содержимого локального блочного устройства). Для использования создаётся новое устройство, обычно /dev/drbdX (X — число). Для нормальной работы DRBD должен быть запущен на обоих узлах. Если узел имеет роль вторичного, то он имеет соответствующее drbd-устройство, но доступ к нему запрещён. Как только происходит повышение роли до первичного, доступ открывается. Большинство операций осуществляется с помощью утилиты drbdadm, хотя фактическая работа происходит на уровне ядра. Если локальное устройство выходит из строя и включена маскировка ошибок, то устройство /dev/drbdX продолжает работать, получая данные через сеть, этот режим называется «бездисковым» (diskless).

Установка drbd

apt update
apt -y upgrade
apt install drbd-utils

Диск

Подключаем отдельный диск и создаем на нем файловую систему ext4:

fdisk -l

В моем случае это /dev/sdb

mkfs.ext4 /dev/sdb

Настройка primary/secondary

Все действия ниже выполняются на обоих серверах.

В моем примере будет использоваться 2 сервера. Их нужно добавить в /etc/hosts

192.168.190.23 node1
192.168.190.24 node2

(вы пишите свои адреса серверов)

Открываем файл /etc/drbd.d/global_common.conf и туда добавляем

net {
protocol C;
…
}

Как можете заметить мы добавили protocol C.

Виды протоколов:

protocol A: протокол асинхронной репликации; чаще всего используется в сценариях репликации на больших расстояниях.

protocol B: протокол полу синхронной репликации или протокол синхронной памяти.

protocol C: обычно используется для узлов в сетях с небольшими расстояниями; это безусловно, наиболее часто используемый протокол репликации в настройках DRBD.

Добавление ресурса

Ресурс (Resource) — это собирательный термин, который относится ко всем аспектам конкретного реплицируемого набора данных.

Создадим файл /etc/drbd.d/r0.res и откроем его:

resource r0 {
	on node1{
		device /dev/drbd1;
		disk /dev/sdb;
		address 192.168.190.23:7789;
		meta-disk internal;
		}
	on node2{
		device /dev/drbd1;
		disk /dev/sdb;
		address 192.168.190.24:7789;
		meta-disk internal;
		}
}

(вы пишите свои адреса серверов и название дисков)

• on hostname: раздел on, к которому относится вложенный оператор конфигурации.
• r0t: это имя нового ресурса.
• device /dev/drbd1: указывает новое виртуальное блочное устройство, управляемое DRBD.
• disk /dev/sdb: это раздел блочного устройства, который является резервным устройством для устройства DRBD.
• meta-disk: определяет, где DRBD хранит свои метаданные. Internal означает, что DRBD хранит свои метаданные на том же физическом низкоуровневом устройстве, что и фактические данные на продакшене.
• address: указывает IP-адрес и номер порта соответствующего узла.

Не забудьте открыть tcp порт 7789 и добавить адреса серверов в исключение fail2ban на обоих серверах, а прочитать как открыть порт вы можете тут.

После чего инициализируем метаданные:

drbdadm create-md r0

Далее можно запустить r0 и сделать первую репликацию.

Команды ниже выполнить только на одном сервере, у меня node1 будет primary

drbdadm up r0
drbdadm primary --force r0

и на 2 сервере выполняем:

drbdadm up r0

Drbdadm — это высокоуровневый инструмент пакета программ drbd. Drbdadm для drdbsetup и drbdmeta то же, что ifup/ifdown для ifconfig. Drbdadm читает файл конфигурации  и выполняет указанные команды, вызывая программу drbdsetup и/или drbdmeta.

Для большей информации о drbdadm  и как ей пользоваться введите команду

man drbdadm

Далее на обоих серверах монтируем /dev/drbd1 в /mnt

mount /dev/drdb1/ /mnt

После чего вы должны увидеть следующее:

На этом настройка репликации хранилищ с помощью drbd  закончена.