epic story

Eugene Grosbein написал(а) к All в Apr 19 02:46:18 по местному времени:

Эпичная история про ZFS:

http://www.michellesullivan.org/blog/1726

Eugene
--
Устав от вечных упований,
Устав от радостных пиров
--- slrn/1.0.3 (FreeBSD)

Sergey Anohin написал(а) к Eugene Grosbein в Apr 19 22:38:29 по местному времени:

Нello, Eugene!

EG> Эпичная история про ZFS:
EG> http://www.michellesullivan.org/blog/1726

Вспоминаются мои косяки с пулом недавние... Я вот только одного не уловил, у него
не настроено корректное выключение при Battery Low? Хотя конечно если свет туда-сюда
вкл\выкл то это может создать какие-то проблемы если УПС дешевка без задержки включения,
или там аккумы не держат и тп. А еще он ничего не написал про ECC,
когда я писал баг репорты на bugs.freebsd.org меня "разработчики" тыкали носом на него,
мол я ССЗБ. Ну FreeNAS-овцы тоже всем строго рекомендуют ECC.

Я могу отдать свой пул на опыты, с воспроизводимым косяком на благо человечества,
если это может чем-то помочь проекту, но хотелось бы зачистить его от приватных данных.
Мне просто негде копию развернуть. Я могу слить по nfs например кому-нибудь и даже сам зачистить
на развернутой копии. Есть желающие? Кажется Alex Korchmar хотел? Можем обсудить...

С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Eugene Grosbein написал(а) к Sergey Anohin в May 19 09:07:39 по местному времени:

30 апр. 2019, вторник, в 20:38 NOVT, Sergey Anohin написал(а):

EG>> Эпичная история про ZFS:
EG>> http://www.michellesullivan.org/blog/1726
SA> Вспоминаются мои косяки с пулом недавние... Я вот только одного не уловил, у
SA> него
SA> не настроено корректное выключение при Battery Low? Хотя конечно если свет
SA> туда-сюда
SA> вкл\выкл то это может создать какие-то проблемы если УПС дешевка без задержки
SA> включения,
SA> или там аккумы не держат и тп. А еще он ничего не написал про ECC,
SA> когда я писал баг репорты на bugs.freebsd.org меня "разработчики" тыкали носом
SA> на него,
SA> мол я ССЗБ. Ну FreeNAS-овцы тоже всем строго рекомендуют ECC.
SA> Я могу отдать свой пул на опыты, с воспроизводимым косяком на благо
SA> человечества,
SA> если это может чем-то помочь проекту, но хотелось бы зачистить его от приватных
SA> данных.
SA> Мне просто негде копию развернуть. Я могу слить по nfs например кому-нибудь и
SA> даже сам зачистить
SA> на развернутой копии. Есть желающие? Кажется Alex Korchmar хотел? Можем
SA> обсудить...

Какой размер, какой ширины канал в мир и где географически находятся данные?
Это чтобы оценить, насколько долго оно будет литься.
Мне было бы интересно.

Eugene
--
Прекрасны тонко отшлифованная драгоценность; победитель, раненный в бою;
слон во время течки; река, высыхающая зимой; луна на исходе; юная женщина,
изнуренная наслаждением, и даятель, отдавший все нищим. (Дхарма)
--- slrn/1.0.3 (FreeBSD)

Victor Sudakov написал(а) к eugen в May 19 16:25:20 по местному времени:

Dear eugen,

30 Apr 19 02:46, Eugene Grosbein wrote to All:

EG> Эпичная история про ZFS:

EG> http://www.michellesullivan.org/blog/1726

Почитал, сделал для себя некоторые выводы:

1. Бэкапов никто не отменял даже в случае очень надёжной файловой системы, которой ZFS IMНO всё-таки является.

2. Может и правильно я сделал, что на недавно полученном сервере поставил ZFS поверх аппаратного RAID (mfi), и не стал задействовать ZFS-овские RAID-прибамбасы.

3. Что за ключ -X он упоминает при импорте, man zpool такого не знает?

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Eugene Grosbein написал(а) к Victor Sudakov в May 19 20:48:57 по местному времени:

01 мая 2019, среда, в 14:25 NOVT, Victor Sudakov написал(а):

EG>> Эпичная история про ZFS:
EG>> http://www.michellesullivan.org/blog/1726
VS> Почитал, сделал для себя некоторые выводы:
VS> 1. Бэкапов никто не отменял даже в случае очень надёжной файловой системы,
VS> которой ZFS IMНO всё-таки является.

Да.

VS> 2. Может и правильно я сделал, что на недавно полученном сервере поставил ZFS
VS> поверх аппаратного RAID (mfi), и не стал задействовать ZFS-овские
VS> RAID-прибамбасы.

Это никак не отменяет проблемы с восстановлением метаданных ZFS,
потому что это не аппаратная проблема.

А с mfi(4) ты поимеешь серьезных проблем, как только захочешь
подключить SSD. Лучше бы использовал mrsas и Non-RAID для дисков.

VS> 3. Что за ключ -X он упоминает при импорте, man zpool такого не знает?

Недокументированная опция, включающая передачу в ядро флага
ZPOOLEXTREMEREWIND, что бы он ни значил.

$ fgrep -A8 "Rewind policy" /usr/src/sys/cddl/contrib/opensolaris/uts/common/sys/fs/zfs.h
/ Rewind policy information /
#define ZPOOLNOREWIND 1 / No policy - default behavior /
#define ZPOOLNEVERREWIND 2 / Do not search for best txg or rewind /
#define ZPOOLTRYREWIND 4 / Search for best txg, but do not rewind /
#define ZPOOLDOREWIND 8 / Rewind to best txg w/in deferred frees /
#define ZPOOLEXTREMEREWIND 16 / Allow extreme measures to find best txg /
#define ZPOOLREWINDMASK 28 / All the possible rewind bits /
#define ZPOOLREWINDPOLICIES 31 / All the possible policy bits /

Eugene
--- slrn/1.0.3 (FreeBSD)

Sergey Anohin написал(а) к Eugene Grosbein в May 19 17:51:33 по местному времени:

Нello, Eugene!

EG> Какой размер, какой ширины канал в мир и где географически находятся данные?

так прямо в 5034

EG> Это чтобы оценить, насколько долго оно будет литься.
EG> Мне было бы интересно.

примерно 350 гиг

# df -h
Filesystem Size Used Avail Capacity Mounted on
zroot 1,4T 42G 1,4T 3% /
devfs 1,0K 1,0K 0B 100% /dev
zroot/X64 1,4T 96K 1,4T 0% /X64
zroot/tmp 1,4T 788K 1,4T 0% /tmp
zroot/usr 1,6T 204G 1,4T 13% /usr
zroot/usr/home 1,4T 43G 1,4T 3% /usr/home
zroot/usr/ports 1,4T 2,3G 1,4T 0% /usr/ports
zroot/usr/ports/distfiles 1,4T 6,9G 1,4T 0% /usr/ports/distfiles
zroot/usr/ports/packages 1,4T 127M 1,4T 0% /usr/ports/packages
zroot/usr/src 1,4T 3,0G 1,4T 0% /usr/src
zroot/var 1,4T 6,5G 1,4T 0% /var
zroot/var/crash 1,4T 3,1G 1,4T 0% /var/crash
zroot/var/db 1,4T 29G 1,4T 2% /var/db
zroot/var/db/mysql 1,4T 14G 1,4T 1% /var/db/mysql
zroot/var/db/mysql/ibdata 1,4T 925M 1,4T 0% /var/db/mysql/ibdata
zroot/var/db/mysql/iblogs 1,4T 512M 1,4T 0% /var/db/mysql/iblogs
zroot/var/empty 1,4T 96K 1,4T 0% /var/empty
zroot/var/log 1,4T 21G 1,4T 1% /var/log
zroot/var/mail 1,4T 76M 1,4T 0% /var/mail
zroot/var/run 1,4T 504K 1,4T 0% /var/run
zroot/var/tmp 1,4T 99M 1,4T 0% /var/tmp


Но мы сожмем, будет поменьше, хз сколько литься будет у меня вроде 40 мегабит,
в обратку может быстрее, ночью может еще быстрее будет, надо придумать как быть с обрывами канала,
ну докачку какую-то, или на тома бить, есть предложения?


С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Eugene Grosbein написал(а) к Sergey Anohin в May 19 00:07:19 по местному времени:

01 мая 2019, среда, в 15:51 NOVT, Sergey Anohin написал(а):

EG>> Какой размер, какой ширины канал в мир и где географически находятся
SA> данные?
SA> так прямо в 5034
EG>> Это чтобы оценить, насколько долго оно будет литься.
EG>> Мне было бы интересно.
SA> примерно 350 гиг
SA> # df -h
SA> Filesystem Size Used Avail Capacity Mounted on
SA> zroot 1,4T 42G 1,4T 3% /
SA> devfs 1,0K 1,0K 0B 100% /dev
SA> zroot/X64 1,4T 96K 1,4T 0% /X64
SA> zroot/tmp 1,4T 788K 1,4T 0% /tmp
SA> zroot/usr 1,6T 204G 1,4T 13% /usr
SA> zroot/usr/home 1,4T 43G 1,4T 3% /usr/home
SA> zroot/usr/ports 1,4T 2,3G 1,4T 0% /usr/ports
SA> zroot/usr/ports/distfiles 1,4T 6,9G 1,4T 0%
SA> /usr/ports/distfiles
SA> zroot/usr/ports/packages 1,4T 127M 1,4T 0% /usr/ports/packages
SA> zroot/usr/src 1,4T 3,0G 1,4T 0% /usr/src
SA> zroot/var 1,4T 6,5G 1,4T 0% /var
SA> zroot/var/crash 1,4T 3,1G 1,4T 0% /var/crash
SA> zroot/var/db 1,4T 29G 1,4T 2% /var/db
SA> zroot/var/db/mysql 1,4T 14G 1,4T 1% /var/db/mysql
SA> zroot/var/db/mysql/ibdata 1,4T 925M 1,4T 0%
SA> /var/db/mysql/ibdata
SA> zroot/var/db/mysql/iblogs 1,4T 512M 1,4T 0%
SA> /var/db/mysql/iblogs
SA> zroot/var/empty 1,4T 96K 1,4T 0% /var/empty
SA> zroot/var/log 1,4T 21G 1,4T 1% /var/log
SA> zroot/var/mail 1,4T 76M 1,4T 0% /var/mail
SA> zroot/var/run 1,4T 504K 1,4T 0% /var/run
SA> zroot/var/tmp 1,4T 99M 1,4T 0% /var/tmp
SA> Но мы сожмем, будет поменьше, хз сколько литься будет у меня вроде 40 мегабит,
SA> в обратку может быстрее, ночью может еще быстрее будет, надо придумать как быть
SA> с обрывами канала,
SA> ну докачку какую-то, или на тома бить, есть предложения?

Боюсь если ты будешь читать пул средствами ZFS (zfs send или пофайлово),
то оно у тебя будет паниковать, когда дойдет до проблемного места.
Практически уверен.

Поэтому нужно будет использовать dd непосредственно с дисков.
Я уже забыл, у тебя там один диск в пуле? Тогда просто:

script dd.log dd if=/dev/ada0 bs=1m of=/mnt/nfsshare/file0.img

Только смонтировать надо будет с soft,intr.
Если связь оборвется, в логе dd останется информация, сколько мегабайт
он успел записать, ну и после переустановки связи будет виден
размер file0.img. "Докачка" будет состоять просто в добавлении
dd skip=количествоуже_скопированныхмегабайт

Чтобы это всё имело смысл, пул должен быть экспортирован,
а для root on ZFS это значит, что диск надо будет подключить
к другой системе. Сможешь?

Eugene
--- slrn/1.0.3 (FreeBSD)

Victor Sudakov написал(а) к eugen в May 19 00:04:42 по местному времени:

Dear eugen,

01 May 19 20:48, Eugene Grosbein wrote to me:

EG>>> Эпичная история про ZFS:
EG>>> http://www.michellesullivan.org/blog/1726
VS>> Почитал, сделал для себя некоторые выводы:
VS>> 1. Бэкапов никто не отменял даже в случае очень надёжной файловой
VS>> системы, которой ZFS IMНO всё-таки является.

EG> Да.

VS>> 2. Может и правильно я сделал, что на недавно полученном сервере
VS>> поставил ZFS поверх аппаратного RAID (mfi), и не стал
VS>> задействовать ZFS-овские RAID-прибамбасы.

EG> Это никак не отменяет проблемы с восстановлением метаданных ZFS,
EG> потому что это не аппаратная проблема.

А я это не к проблеме с метаданными, а ранее по тексту - к замечанию что "the hotspare - which turned out to be not so 'hot' as you had to manually switch it in and the array was recovered following a week long resilver process."

EG> А с mfi(4) ты поимеешь серьезных проблем, как только захочешь
EG> подключить SSD. Лучше бы использовал mrsas и Non-RAID для дисков.

Не планируется там SSD никогда.

VS>> 3. Что за ключ -X он упоминает при импорте, man zpool такого не
VS>> знает?

EG> Недокументированная опция, включающая передачу в ядро флага
EG> ZPOOLEXTREMEREWIND, что бы он ни значил.

Вот интересно, надо мне это в копилку опыта занести.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Sergey Anohin написал(а) к Eugene Grosbein в May 19 20:40:35 по местному времени:

Нello, Eugene!

EG> Боюсь если ты будешь читать пул средствами ZFS (zfs send или пофайлово),
EG> то оно у тебя будет паниковать, когда дойдет до проблемного места.
EG> Практически уверен.

Мы вроде это обсуждали и ты мне порекомендовал:

dd if=/dev/ada0 bs=1m | xz -9 > /mnt/anotherdisk/image.xz

EG> Поэтому нужно будет использовать dd непосредственно с дисков.
EG> Я уже забыл, у тебя там один диск в пуле?

Да, single НDD

EG> Тогда просто:
EG> script dd.log dd if=/dev/ada0 bs=1m of=/mnt/nfsshare/file0.img
EG> Только смонтировать надо будет с soft,intr.
EG> Если связь оборвется, в логе dd останется информация, сколько мегабайт
EG> он успел записать, ну и после переустановки связи будет виден
EG> размер file0.img. "Докачка" будет состоять просто в добавлении
EG> dd skip=количествоуже_скопированныхмегабайт
EG> Чтобы это всё имело смысл, пул должен быть экспортирован,
EG> а для root on ZFS это значит, что диск надо будет подключить
EG> к другой системе. Сможешь?

Блин, я думал на живую проканает, вспоминал переписку:

EG>>> dd if=/dev/ada0 bs=1m | xz -9 > /mnt/anotherdisk/image.xz
SA>> в single mode?
EG> Необязательно. Проблема как раз в crash consistency,
EG> так что заморачиваться с single mode в данном случае
EG> уже необязательно.

То есть на живую фиг? Ну теоретически можно не на живую. Только для этого придется
с лайв сиди грузиться, и делать dd с одного на другой, как-то так.



С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Eugene Grosbein написал(а) к Victor Sudakov в May 19 03:36:44 по местному времени:

01 мая 2019, среда, в 22:04 NOVT, Victor Sudakov написал(а):

VS> А я это не к проблеме с метаданными, а ранее по тексту - к замечанию что "the
VS> hotspare - which turned out to be not so 'hot' as you had to manually switch it
VS> in and the array was recovered following a week long resilver process."

Там он рассказывает историю многих лет. Конкретно это замечание давно
устарело, так как штатный zfsd нынче решает эту проблему и это
документировано в man zpool.

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.3 (FreeBSD)