ucarp: повышаем отказоустойчивость.

Со временем, когда офисная сеть разрастается, приходиться задумываться о резервировании серверов, информации. Если у вас большая корпорация, то вы скорее всего будете использовать кластерные решения. А что делать, если у вас нет средств для этого? Ответ на этот вопрос даёт утилита ucarp.

Примечание: если ваше оборудование поддерживает VRRP, то лучше использовать его (более гибкий, больше возможностей, но является проприетарным), нежели CARP. Так же можно использовать свободную реализацию VRRP, например FRRouting

Если у вас FreeBSD 10 и не работает нормально carp, то это скорее всего известная проблема. С другой стороны, есть так же проблемы  в 9.Х

0) Введение

Что же такое ucarp? Представим, что у вас есть 2 сервера и вы хотите, что бы в случае выхода одного из них, в работу вступал другой. За этим следит демон ucarp. В нужный момент он подменяет IP-адреса у резервного сервера на те, которые были у основного. Примем такие понятия: master – основной, backup – резервный сервера. Сам ucarp поддерживает 2 режима preempt: YES и NO.

YES означает (он устанавливается на master’e ) что, при выходе master’a его место займёт backup. Если после ремонта master включить в сеть, то ему обратно будут переданы полномочия “главного”.

NO означает, что текущий master будет оставаться им так долго, как это возможно. То есть если backup перехватил полномочия master’a, то обратно master получит свои полномочия только после выхода из строя backup’a.

В данной статье я буду настраивать с preempt=”NO” (по умолчанию).

Схема работы: имеем 2 сервера с адресами (нужны для связки) 10.0.3.11, 10.0.3.12 и IP-адрес, который будет использоваться как основной для доступа 10.0.3.15. Время переключения 10 секунд. Запускать будем как демоны

1) Установка.

Установка достаточно проста: обновляем порты и делаем следующее:

#cd /usr/ports/net/ucarp && make install clean

После установки создасться только стартовый скрипт в /usr/local/etc/rc.d. Никаких конфигов, манов не будет. Доступна будет лишь справка по команде ucarp -h.

2) Параметры

Ниже приведу некоторые важные параметры. Остальные можно посмотреть через ucarp -h.

ucarp_if - физический интерфейс, который будет слушать ucarp
ucarp_vhid - ID для принадлежности серверов к одной группе (1-255)
ucarp_src - IP адрес сервера
ucarp_addr - общий адрес, который и будет подхватываться
ucarp_advbase - время переключения в секуднах
ucarp_upscript - скрипт, который выполняется при установке сервера master'om
ucarp_downscript - скрипт, который выполняется при установке сервера backup'om

3) Настройка.

Настройка master’a и backup’a ничем существенным не отличается (кроме ip– адресов и имён интерфейсов). В любом случае ниже привожу конфиги:

===master===

Добавляем в /etc/rc.conf

ucarp_enable="YES"
ucarp_if="rl0"
ucarp_vhid="5"
ucarp_pass="dumbp4ss"
ucarp_preempt="NO"
ucarp_facility="daemon"
ucarp_src="10.0.3.11"
ucarp_addr="10.0.3.15"
ucarp_advbase="10"
ucarp_upscript="/scripts/ucarp.up"
ucarp_downscript="/scripts/ucarp.down"

Создаём файл конфигурации /usr/local/etc/ucarp.conf

/usr/local/sbin/ucarp \
-i rl0 \
-v 5 \
-p dumbp4ss \
-f daemon \
-B -P -z \
-s 10.0.3.11 \
-a 10.0.3.15 \
-u /scripts/ucarp.up \
-d /scripts/ucarp.down \
-b 10

Скрипт поднятия интерфейса (не забываем сделать его исполняемым) ucarp  /scripts/ucarp.up

#!/bin/sh
source /usr/local/etc/ucarp.conf
/sbin/ifconfig rl0 alias 10.0.3.15/32


Скрипт перевода в режим down интерфейса (не забываем сделать его исполняемым) /scripts/ucarp.down

#!/bin/sh
source /usr/local/etc/ucarp.conf
/sbin/ifconfig rl0 -alias 10.0.3.15

===backup===

Добавляем в /etc/rc.conf

ucarp_enable="YES"
ucarp_if="rl0"
ucarp_vhid="5"
ucarp_pass="dumbp4ss"
ucarp_preempt="NO"
ucarp_facility="daemon"
ucarp_src="10.0.3.12"
ucarp_addr="10.0.3.15"
ucarp_advbase="10"
ucarp_upscript="/scripts/ucarp.up"
ucarp_downscript="/scripts/ucarp.down"

Создаём файл конфигурации /usr/local/etc/ucarp.conf

/usr/local/sbin/ucarp \
-i rl0 \
-v 5 \
-p dumbp4ss \
-f daemon \
-B -P -z \
-s 10.0.3.12 \
-a 10.0.3.15 \
-u /scripts/ucarp.up \
-d /scripts/ucarp.down \
-b 10

Скрипт поднятия интерфейса (не забываем сделать его исполняемым) /scripts/ucarp.up

#!/bin/sh
source /usr/local/etc/ucarp.conf
/sbin/ifconfig rl0 alias 10.0.3.15/32

Скрипт перевода в режим down интерфейса (не забываем сделать его исполняемым) /scripts/ucarp.down

#!/bin/sh
source /usr/local/etc/ucarp.conf
/sbin/ifconfig rl0 -alias 10.0.3.15

так получилось, что у меня на обеих серверах оказались одинаковые сетевушки rl0. В вашем же случае – они могут быть разными, будьте внимательны!

4) Запуск и проверка работы.

Теперь запускаем ucarp на обеих серверах:

#/usr/local/etc/rc.d/ucarp start

Через 10 секунд должен подняться алиас на master’e. Смотрим ifconfig на обеих серверах:

===на master’e===

$ ifconfig rl0

rl0: flags=8843 metric 0 mtu 1500
options=8
ether 00:80:1e:10:77:63
inet 10.0.3.11 netmask 0xffffff00 broadcast 10.0.3.255
inet 10.0.3.15 netmask 0xffffffff broadcast 10.0.3.15
media: Ethernet autoselect (10baseT/UTP)
status: active

===на backup’e===

$ ifconfig rl0

rl0: flags=8843 metric 0 mtu 1500
options=8
ether 00:15:f2:de:d5:73
inet 10.0.3.12 netmask 0xffffff00 broadcast 10.0.3.255
media: Ethernet autoselect (10baseT/UTP)
status: active

Как видим, на master’e появился алиас.

При первом запуске master/backup выбираются случайным образом. Если хотите конкретно указать, кто должен быть кем, сначала запустите ucarp на master’e, затем на backup’e.

А вот, что отображается в /var/log/messages при переключении:

Mar  3 17:49:16 srv1 ucarp[1025]: [WARNING] Switching to state: BACKUP
Mar  3 17:49:16 srv1 ucarp[1025]: [WARNING] Spawning [/scripts/ucarp.down rl0 10.0.3.15]
Mar  3 17:49:46 srv1 ucarp[1025]: [WARNING] Switching to state: MASTER
Mar  3 17:49:46 srv1 ucarp[1025]: [WARNING] Spawning [/scripts/ucarp.up rl0 10.0.3.15]

5) Ложка дёгтя.

1) Есть одна ложка дёгтя в этой бочке мёда: если остановить службы (корректно) ucarp на обеих серверах, то общий IP пропадёт. Если же просто прибить процес ucarp – то алиас останеться. Это происходит по тому, что при остановке службы выполняется скрипт ucarp.down, в котором явно прописано удалять алиас.

Лучше всего поставить какую-то проверку на запуск этой службы и проверку доступности IP.

2) При изменении шлюза, сессии обрываются. Что бы такого не происходило – нужно использовать pfsync.

3) Если вы используете IPSec, то для этих целей нужно дополнительно использовать sasyncd.

Примечание.

1) Вместо up/down скриптов можно использовать утилиту ifstated (портированную из OpenBSD), которая находиться в /usr/ports/net/ifstated. Она очень функциональная. Подробнее о ней можно прочесть из man.

2) А ещё можно использовать udev для мониторинга интерфейса ucarp:

$less /etc/devd.conf
...

notify 30 {
match "system"		"IFNET";
match "subsystem"	"carp0";
match "type"		"LINK_UP";
action "/scripts/ucarp_switch.sh active";
};

notify 30 {
match "system"          "IFNET";
match "subsystem"       "carp0";
match "type"            "LINK_DOWN";
action "/scripts/ucarp_switch.sh backup";
};

Или так

notify 0 {
match “system” “CARP”;
match “subsystem” “[0-9]+@[0-9a-z.]+”;
match “type” “(MASTER|BACKUP)”;
action “/root/carpcontrol.sh $subsystem $type”;
};

Дополнение

Аналогичный функционал имеет демон relayd, который был изобретён для OpenBSD и портированный во FreeBSD. Он умеет мониторить сетевые хосты, балансировать нагрузку и выступать в роли прокси-сервера.

Опубликовано с разрешения журнала root.ua