zfs mirror

Sergey Anohin написал(а) к All в Aug 18 17:19:33 по местному времени:

Нello!

Есть полутестовый сервер с сабжем. Ночью развалилось:

Aug 4 04:39:53 NAS kernel: ahcich0: Timeout on slot 31 port 0
Aug 4 04:39:53 NAS kernel: ahcich0: is 00000000 cs 00000000 ss 80000001 rs 80000001 tfd 40 serr 00000000 cmd 0000c017
Aug 4 04:39:53 NAS kernel: (ada0:ahcich0:0:0:0): WRITEFPDMAQUEUED. ACB: 61 08 10 3b fa 40 c2 01 00 00 00 00
Aug 4 04:39:53 NAS kernel: (ada0:ahcich0:0:0:0): CAM status: Command timeout
Aug 4 04:39:53 NAS kernel: (ada0:ahcich0:0:0:0): Retrying command
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: ahcich0: AНCI reset: device not ready after 31000ms (tfd = 00000080)
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: ahcich0: Timeout on slot 1 port 0
Aug 4 04:43:02 NAS kernel: ahcich0: is 00000000 cs 00000002 ss 00000000 rs 00000002 tfd 80 serr 00000000 cmd 0000c117
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): ATA_IDENTIFY. ACB: ec 00 00 00 00 40 00 00 00 00 00 00
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): CAM status: Command timeout
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): Retrying command
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: ahcich0: AНCI reset: device not ready after 31000ms (tfd = 00000080)
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: ahcich0: Timeout on slot 2 port 0
Aug 4 04:43:02 NAS kernel: ahcich0: is 00000000 cs 00000004 ss 00000000 rs 00000004 tfd 80 serr 00000000 cmd 0000c217
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): ATA_IDENTIFY. ACB: ec 00 00 00 00 40 00 00 00 00 00 00
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): CAM status: Command timeout
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): Error 5, Retries exhausted
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: ahcich0: AНCI reset: device not ready after 31000ms (tfd = 00000080)
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: swap_pager: indefinite wait buffer: bufobj: 0, blkno: 139501, size: 4096
Aug 4 04:43:02 NAS kernel: ahcich0: Timeout on slot 3 port 0
Aug 4 04:43:02 NAS kernel: ahcich0: is 00000000 cs 00000008 ss 00000000 rs 00000008 tfd 80 serr 00000000 cmd 0000c317
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): ATA_IDENTIFY. ACB: ec 00 00 00 00 40 00 00 00 00 00 00
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): CAM status: Command timeout
Aug 4 04:43:02 NAS kernel: (aprobe0:ahcich0:0:0:0): Error 5, Retry was blocked
Aug 4 04:43:02 NAS kernel: ada0 at ahcich0 bus 0 scbus0 target 0 lun 0
Aug 4 04:43:02 NAS kernel: ada0: <WDC WD40EFRX-68N32N0 82.00A82> s/n WD-WCC7K2UANUAZ detached
Aug 4 04:43:02 NAS kernel: swap_pager: I/O error - pagein failed; blkno 139501,size 4096, error 6
Aug 4 04:43:02 NAS kernel: vm_fault: pager read error, pid 329 (devd)
Aug 4 04:43:02 NAS kernel: swap_pager: I/O error - pagein failed; blkno 175717,size 4096, error 6
Aug 4 04:43:02 NAS kernel: vm_fault: pager read error, pid 329 (devd)
Aug 4 04:43:02 NAS kernel: swap_pager: I/O error - pagein failed; blkno 175717,size 4096, error 6

и 200 метров логов последняя строка повторяется. Короче как оказалось просто отвалился диск,
то ли помер, то ли мать глючит, пока хз. Сервак ушел в ребут и сообщил что сабж degraded.

Вроде ниче страшного, если умер диск вставляем другой, клонируем gpart разбивку со старого на новый диск, руками копируем ефи,
делаем буткод, из одного раздела своп и т.д. Вопрос 1: как можно без такого адского ручного труда? :)

Вопрос 2 почему оно заребутилось? Умер своп на одном диске и паника в селе? :)
Может тогда отзеркалить ефи и бут и своп? gmirror?

root@NAS:/boot# cat /etc/fstab
# Device Mountpoint FStype Options Dump Pass#
/dev/ada0p3 none swap sw 0 0
/dev/ada1p3 none swap sw 0 0

root@NAS:/boot# zpool status -v
pool: zroot
state: DEGRADED
status: One or more devices could not be opened. Sufficient replicas exist for
the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
see: http://illumos.org/msg/ZFS-8000-2Q
scan: none requested
config:

NAME STATE READ WRITE CKSUM
zroot DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
1617915411085386511 UNAVAIL 0 0 0 was /dev/ada0p4
ada0p4 ONLINE 0 0 0

errors: No known data errors


С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Eugene Grosbein написал(а) к Sergey Anohin в Aug 18 00:21:46 по местному времени:

04 авг. 2018, суббота, в 15:19 NOVT, Sergey Anohin написал(а):

SA> Aug 4 04:43:02 NAS kernel: swap_pager: I/O error - pagein failed; blkno
SA> 175717,size 4096, error 6
SA> и 200 метров логов последняя строка повторяется. Короче как оказалось просто
SA> отвалился диск,
SA> то ли помер, то ли мать глючит, пока хз. Сервак ушел в ребут и сообщил что сабж
SA> degraded.
SA> Вроде ниче страшного, если умер диск вставляем другой, клонируем gpart разбивку
SA> со старого на новый диск, руками копируем ефи,
SA> делаем буткод, из одного раздела своп и т.д. Вопрос 1: как можно без такого
SA> адского ручного труда? :)

Можно, и я об этом недавно в эху писал. Нужно использовать graid+ZFS.
На двух дисках создаётся один массив graid с тремя томами:

# ls /dev/raid
r0 r0s1 r0s2 r1 r2
# gpart show
=> 63 20971457 raid/r0 MBR (10G)
63 441 - free - (221K)
504 16777216 1 freebsd (8.0G)
16777720 4193800 2 freebsd [active] (2.0G)
# zpool list
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP НEALTН ALTROOT
os 1,98G 508M 1,49G - - 53% 24% 1.00x ONLINE -
z 288G 81,1G 207G - - 29% 28% 1.00x ONLINE -

Первый том /dev/raid/r0 - зеркало на первые 10G дисков, разбитое на два раздела -
первый своп, а прямо поверх второго раздела создан загрузочный пул ZFS
по имени os без избыточности, с рутом и /usr. graid обеспечивает зеркалирование
таблицы разбиения, загрузчиков, свопа и операционной системы,
при сбое диска он и выводит его из работы.

Остатки обоих дисков с одиннадцатого гигабайта - два одинаковых
тома типа SINGLE /dev/raid/r1 и /dev/raid/r2 отданы
под второй пул с именем z с зеркалированием средствами ZFS.
Там живут файловые системы /var, /usr/local, /home и все прочие.

Размеры дисков при этом ничем не ограничены, хоть по 6TB, хоть по 10.

SA> Вопрос 2 почему оно заребутилось? Умер своп на одном диске и паника в селе? :)

Да.

SA> Может тогда отзеркалить ефи и бут и своп? gmirror?

См. выше. Я, правда, не использую EFI и GPT, у меня MBR.

Eugene
--
Enter old password: xxx
Enter new password: yyy
Confirm password: подтверждаю
--- slrn/1.0.3 (FreeBSD)

Sergey Anohin написал(а) к Eugene Grosbein в Aug 18 22:32:36 по местному времени:

Нello, Eugene!

EG> 04 авг. 2018, суббота, в 15:19 NOVT, Sergey Anohin написал(а):

EG> Можно, и я об этом недавно в эху писал. Нужно использовать graid+ZFS.
EG> На двух дисках создаётся один массив graid с тремя томами:
EG> # ls /dev/raid
EG> r0 r0s1 r0s2 r1 r2
EG> # gpart show
=>> 63 20971457 raid/r0 MBR (10G)
EG> 63 441 - free - (221K)
EG> 504 16777216 1 freebsd (8.0G)
EG> 16777720 4193800 2 freebsd [active] (2.0G)
EG> # zpool list
EG> NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP НEALTН ALTROOT
EG> os 1,98G 508M 1,49G - - 53% 24% 1.00x ONLINE -
EG> z 288G 81,1G 207G - - 29% 28% 1.00x ONLINE -
EG> Первый том /dev/raid/r0 - зеркало на первые 10G дисков, разбитое на два раздела -
EG> первый своп, а прямо поверх второго раздела создан загрузочный пул ZFS
EG> по имени os без избыточности, с рутом и /usr. graid обеспечивает зеркалирование
EG> таблицы разбиения, загрузчиков, свопа и операционной системы,
EG> при сбое диска он и выводит его из работы.
EG> Остатки обоих дисков с одиннадцатого гигабайта - два одинаковых
EG> тома типа SINGLE /dev/raid/r1 и /dev/raid/r2 отданы
EG> под второй пул с именем z с зеркалированием средствами ZFS.
EG> Там живут файловые системы /var, /usr/local, /home и все прочие.
EG> Размеры дисков при этом ничем не ограничены, хоть по 6TB, хоть по 10.
EG> См. выше. Я, правда, не использую EFI и GPT, у меня MBR.

Идея понятна, но цель какая? Отказ от gpt+efi? Оно с gpt сломано? У меня просто лайв
сервер, хоть и низкой критичности, и перебивать в мбр никак. Хотя я так понимаю,
в моем случае так же фиг на живую собрать зеркала для efi+boot+swap?

С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Sergey Anohin написал(а) к Sergey Anohin в Aug 18 22:54:10 по местному времени:

Нello, Sergey!

SA> Идея понятна, но цель какая? Отказ от gpt+efi? Оно с gpt сломано? У меня просто лайв
SA> сервер, хоть и низкой критичности, и перебивать в мбр никак. Хотя я так понимаю,
SA> в моем случае так же фиг на живую собрать зеркала для efi+boot+swap?

Отвечаю сам себе (на дворе 21 век :)

18.5.3. Converting a Single Drive to a Mirror
Under certain specific conditions, it is possible to convert an existing single drive to a graid(8) array without reformatting. To avoid data loss during the conversion, the existing drive must meet these minimum requirements:

The drive must be partitioned with the MBR partitioning scheme. GPT or other partitioning schemes with metadata at the end of the drive will be overwritten and corrupted by the graid(8) metadata.

There must be enough unpartitioned and unused space at the end of the drive to hold the graid(8) metadata. This metadata varies in size, but the largest occupies 64 M, so at least that much free space is recommended.

И еще вопрос, может в топку graid тогда? Если тут вон типа все пашет на gmirror:

https://proadminz.ru/nastroyka-raid-...reebsd-na-gpt/

С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Eugene Grosbein написал(а) к Sergey Anohin в Aug 18 15:56:34 по местному времени:

05 авг. 2018, воскресенье, в 20:32 NOVT, Sergey Anohin написал(а):

SA> Идея понятна, но цель какая?

Цель ровно та, которую ты запросил - чтобы при замене диска
вручную ничего не переразбивать и не устанавливать,
graid автоматом отсинхронизирует всё, включая таблицы разбиения
и начальные загрузчики. И отвал одного диска не повлияет
на зеркалированный своп.

SA> Отказ от gpt+efi? Оно с gpt сломано? У меня просто лайв
SA> сервер, хоть и низкой критичности, и перебивать в мбр никак. Хотя я так
SA> понимаю,
SA> в моем случае так же фиг на живую собрать зеркала для efi+boot+swap?

В любом случае придётся загружаться с другого рута, чтобы дать
возможность graid создать массив и тома на дисках. И пересоздавать ZFS.

Eugene
--
Choose no life
--- slrn/1.0.3 (FreeBSD)

Eugene Grosbein написал(а) к Sergey Anohin в Aug 18 15:59:08 по местному времени:

05 авг. 2018, воскресенье, в 20:54 NOVT, Sergey Anohin написал(а):

SA> Отвечаю сам себе (на дворе 21 век :)

SA> 18.5.3. Converting a Single Drive to a Mirror
SA> Under certain specific conditions, it is possible to convert an existing single
SA> drive to a graid(8) array without reformatting. To avoid data loss during the
SA> conversion, the existing drive must meet these minimum requirements:
SA> The drive must be partitioned with the MBR partitioning scheme. GPT or other
SA> partitioning schemes with metadata at the end of the drive will be overwritten
SA> and corrupted by the graid(8) metadata.

Эта инструкция устарела. В любом случае, тебе нужно будет сначала
тренироваться в лабораторных условиях. Можно в виртуалке с двумя
виртуальными "дисками" на десяток гигабайт каждый.

Eugene
--
Все любят естественный наркотик
--- slrn/1.0.3 (FreeBSD)

Alex Korchmar написал(а) к Sergey Anohin в Aug 18 11:49:03 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Sergey Anohin <Sergey.Anohin@p1.f10.n5034.z2.fidonet.org> wrote:

> Вопрос 2 почему оно заребутилось? Умер своп на одном диске и паника в селе? :)
у тебя кусок памяти взял и стал нечитаемым - скажи спасибо, что перезагрузилось,
а не повисло к херам.

> Может тогда отзеркалить ефи и бут и своп? gmirror?
может. Либо сетевая загрузка и никаких эфей, бутов и свопов, все диски -
под zfs pool.


> Alex

--- ifmail v.2.15dev5.4

Sergey Anohin написал(а) к Alex Korchmar в Aug 18 16:23:23 по местному времени:

Нello Alex* *Korchmar
>> Вопpос 2 почему оно заpебутилось? Умеp своп на одном диске и паника в
>> селе? :)
AK> у тебя кусок памяти взял и стал нечитаемым - скажи спасибо, что
AK> пеpезагpузилось, а не повисло к хеpам.

Да, но когда ты делаешь swapoff, если у тебя swap не используется,
ничего не падает, а если падает то типа can't allocate memory

Swap: 4096M Total, 4096M Free

>> Может тогда отзеpкалить ефи и бут и своп? gmirror?
AK> может.

Весь вопpос чем, gmirror или graid. Пpо gmirror вpоде пишут что pаботает, пpо дpугой вpоде нет, но вpоде как устаpевшая инфа.

Bye, Alex Korchmar, 06 августа 18
--- FIPS/IP <build 01.14>

Sergey Anohin написал(а) к Eugene Grosbein в Aug 18 16:24:18 по местному времени:

Нello Eugene* *Grosbein
EG> Эта инстpукция устаpела. В любом случае, тебе нужно будет сначала
EG> тpениpоваться в лабоpатоpных условиях. Можно в виpтуалке с двумя
EG> виpтуальными "дисками" на десяток гигабайт каждый.

Так весь вопpос умеет graid это делать на живых дисках GPT или нет.
Пpо gmirror вpоде как пишут что все тип-топ

Bye, Eugene Grosbein, 06 августа 18
--- FIPS/IP <build 01.14>

Sergey Anohin написал(а) к Eugene Grosbein в Aug 18 16:32:15 по местному времени:

Нello Eugene* *Grosbein
SA>> Идея понятна, но цель какая?
EG> Цель pовно та, котоpую ты запpосил - чтобы пpи замене диска
EG> вpучную ничего не пеpеpазбивать и не устанавливать,
EG> graid автоматом отсинхpонизиpует всё, включая таблицы pазбиения
EG> и начальные загpузчики. И отвал одного диска не повлияет
EG> на зеpкалиpованный своп.

Я немного не пpо то, в чем смысл отказа от GPT+UEFI+GRAID+ZFS MIRROR
у тебя получается на шаг дольше ну когда ты в отдельный пул вынес часть системы.
Ну оно конечно от задачи зависит...

SA>> Отказ от gpt+efi? Оно с gpt сломано? У меня пpосто лайв
SA>> сеpвеp, хоть и низкой кpитичности, и пеpебивать в мбp никак. Хотя я
SA>> так понимаю,
SA>> в моем случае так же фиг на живую собpать зеpкала для efi+boot+swap?
EG> В любом случае пpидётся загpужаться с дpугого pута, чтобы дать
EG> возможность graid создать массив и тома на дисках. И пеpесоздавать ZFS.

На сколько я понял с gmirror ничего не надо делать кpоме как

gmirror label -vb round-robin efi /dev/ada0p1
gmirror label -vb round-robin boot /dev/ada0p2
gmirror label -vb round-robin swap /dev/ada0p3
gmirror label -vb round-robin zfs /dev/ada0p4
gmirror load

и

gmirror insert efi /dev/ada1p1
gmirror insert boot /dev/ada1p2
gmirror insert swap /dev/ada1p3
gmirror insert zfs /dev/ada1p4

только в моем случае будет еще EFI и вместо root будет ZFS.
Или так не пpоканает?

Bye, Eugene Grosbein, 06 августа 18
--- FIPS/IP <build 01.14>