#1
|
|||
|
|||
epic story
Eugene Grosbein написал(а) к All в Apr 19 02:46:18 по местному времени:
Эпичная история про ZFS: http://www.michellesullivan.org/blog/1726 Eugene -- Устав от вечных упований, Устав от радостных пиров --- slrn/1.0.3 (FreeBSD) |
#2
|
|||
|
|||
epic story
Sergey Anohin написал(а) к Eugene Grosbein в Apr 19 22:38:29 по местному времени:
Нello, Eugene! EG> Эпичная история про ZFS: EG> http://www.michellesullivan.org/blog/1726 Вспоминаются мои косяки с пулом недавние... Я вот только одного не уловил, у него не настроено корректное выключение при Battery Low? Хотя конечно если свет туда-сюда вкл\выкл то это может создать какие-то проблемы если УПС дешевка без задержки включения, или там аккумы не держат и тп. А еще он ничего не написал про ECC, когда я писал баг репорты на bugs.freebsd.org меня "разработчики" тыкали носом на него, мол я ССЗБ. Ну FreeNAS-овцы тоже всем строго рекомендуют ECC. Я могу отдать свой пул на опыты, с воспроизводимым косяком на благо человечества, если это может чем-то помочь проекту, но хотелось бы зачистить его от приватных данных. Мне просто негде копию развернуть. Я могу слить по nfs например кому-нибудь и даже сам зачистить на развернутой копии. Есть желающие? Кажется Alex Korchmar хотел? Можем обсудить... С наилучшими пожеланиями, Sergey Anohin. --- wfido |
#3
|
|||
|
|||
Re: epic story
Eugene Grosbein написал(а) к Sergey Anohin в May 19 09:07:39 по местному времени:
30 апр. 2019, вторник, в 20:38 NOVT, Sergey Anohin написал(а): EG>> Эпичная история про ZFS: EG>> http://www.michellesullivan.org/blog/1726 SA> Вспоминаются мои косяки с пулом недавние... Я вот только одного не уловил, у SA> него SA> не настроено корректное выключение при Battery Low? Хотя конечно если свет SA> туда-сюда SA> вкл\выкл то это может создать какие-то проблемы если УПС дешевка без задержки SA> включения, SA> или там аккумы не держат и тп. А еще он ничего не написал про ECC, SA> когда я писал баг репорты на bugs.freebsd.org меня "разработчики" тыкали носом SA> на него, SA> мол я ССЗБ. Ну FreeNAS-овцы тоже всем строго рекомендуют ECC. SA> Я могу отдать свой пул на опыты, с воспроизводимым косяком на благо SA> человечества, SA> если это может чем-то помочь проекту, но хотелось бы зачистить его от приватных SA> данных. SA> Мне просто негде копию развернуть. Я могу слить по nfs например кому-нибудь и SA> даже сам зачистить SA> на развернутой копии. Есть желающие? Кажется Alex Korchmar хотел? Можем SA> обсудить... Какой размер, какой ширины канал в мир и где географически находятся данные? Это чтобы оценить, насколько долго оно будет литься. Мне было бы интересно. Eugene -- Прекрасны тонко отшлифованная драгоценность; победитель, раненный в бою; слон во время течки; река, высыхающая зимой; луна на исходе; юная женщина, изнуренная наслаждением, и даятель, отдавший все нищим. (Дхарма) --- slrn/1.0.3 (FreeBSD) |
#4
|
|||
|
|||
epic story
Victor Sudakov написал(а) к eugen в May 19 16:25:20 по местному времени:
Dear eugen, 30 Apr 19 02:46, Eugene Grosbein wrote to All: EG> Эпичная история про ZFS: EG> http://www.michellesullivan.org/blog/1726 Почитал, сделал для себя некоторые выводы: 1. Бэкапов никто не отменял даже в случае очень надёжной файловой системы, которой ZFS IMНO всё-таки является. 2. Может и правильно я сделал, что на недавно полученном сервере поставил ZFS поверх аппаратного RAID (mfi), и не стал задействовать ZFS-овские RAID-прибамбасы. 3. Что за ключ -X он упоминает при импорте, man zpool такого не знает? Victor Sudakov, VAS4-RIPE, VAS47-RIPN --- GoldED+/BSD 1.1.5-b20160322-b20160322 |
#5
|
|||
|
|||
Re: epic story
Eugene Grosbein написал(а) к Victor Sudakov в May 19 20:48:57 по местному времени:
01 мая 2019, среда, в 14:25 NOVT, Victor Sudakov написал(а): EG>> Эпичная история про ZFS: EG>> http://www.michellesullivan.org/blog/1726 VS> Почитал, сделал для себя некоторые выводы: VS> 1. Бэкапов никто не отменял даже в случае очень надёжной файловой системы, VS> которой ZFS IMНO всё-таки является. Да. VS> 2. Может и правильно я сделал, что на недавно полученном сервере поставил ZFS VS> поверх аппаратного RAID (mfi), и не стал задействовать ZFS-овские VS> RAID-прибамбасы. Это никак не отменяет проблемы с восстановлением метаданных ZFS, потому что это не аппаратная проблема. А с mfi(4) ты поимеешь серьезных проблем, как только захочешь подключить SSD. Лучше бы использовал mrsas и Non-RAID для дисков. VS> 3. Что за ключ -X он упоминает при импорте, man zpool такого не знает? Недокументированная опция, включающая передачу в ядро флага ZPOOLEXTREMEREWIND, что бы он ни значил. $ fgrep -A8 "Rewind policy" /usr/src/sys/cddl/contrib/opensolaris/uts/common/sys/fs/zfs.h / Rewind policy information / #define ZPOOLNOREWIND 1 / No policy - default behavior / #define ZPOOLNEVERREWIND 2 / Do not search for best txg or rewind / #define ZPOOLTRYREWIND 4 / Search for best txg, but do not rewind / #define ZPOOLDOREWIND 8 / Rewind to best txg w/in deferred frees / #define ZPOOLEXTREMEREWIND 16 / Allow extreme measures to find best txg / #define ZPOOLREWINDMASK 28 / All the possible rewind bits / #define ZPOOLREWINDPOLICIES 31 / All the possible policy bits / Eugene --- slrn/1.0.3 (FreeBSD) |
#6
|
|||
|
|||
Re: epic story
Sergey Anohin написал(а) к Eugene Grosbein в May 19 17:51:33 по местному времени:
Нello, Eugene! EG> Какой размер, какой ширины канал в мир и где географически находятся данные? так прямо в 5034 EG> Это чтобы оценить, насколько долго оно будет литься. EG> Мне было бы интересно. примерно 350 гиг # df -h Filesystem Size Used Avail Capacity Mounted on zroot 1,4T 42G 1,4T 3% / devfs 1,0K 1,0K 0B 100% /dev zroot/X64 1,4T 96K 1,4T 0% /X64 zroot/tmp 1,4T 788K 1,4T 0% /tmp zroot/usr 1,6T 204G 1,4T 13% /usr zroot/usr/home 1,4T 43G 1,4T 3% /usr/home zroot/usr/ports 1,4T 2,3G 1,4T 0% /usr/ports zroot/usr/ports/distfiles 1,4T 6,9G 1,4T 0% /usr/ports/distfiles zroot/usr/ports/packages 1,4T 127M 1,4T 0% /usr/ports/packages zroot/usr/src 1,4T 3,0G 1,4T 0% /usr/src zroot/var 1,4T 6,5G 1,4T 0% /var zroot/var/crash 1,4T 3,1G 1,4T 0% /var/crash zroot/var/db 1,4T 29G 1,4T 2% /var/db zroot/var/db/mysql 1,4T 14G 1,4T 1% /var/db/mysql zroot/var/db/mysql/ibdata 1,4T 925M 1,4T 0% /var/db/mysql/ibdata zroot/var/db/mysql/iblogs 1,4T 512M 1,4T 0% /var/db/mysql/iblogs zroot/var/empty 1,4T 96K 1,4T 0% /var/empty zroot/var/log 1,4T 21G 1,4T 1% /var/log zroot/var/mail 1,4T 76M 1,4T 0% /var/mail zroot/var/run 1,4T 504K 1,4T 0% /var/run zroot/var/tmp 1,4T 99M 1,4T 0% /var/tmp Но мы сожмем, будет поменьше, хз сколько литься будет у меня вроде 40 мегабит, в обратку может быстрее, ночью может еще быстрее будет, надо придумать как быть с обрывами канала, ну докачку какую-то, или на тома бить, есть предложения? С наилучшими пожеланиями, Sergey Anohin. --- wfido |
#7
|
|||
|
|||
Re: epic story
Eugene Grosbein написал(а) к Sergey Anohin в May 19 00:07:19 по местному времени:
01 мая 2019, среда, в 15:51 NOVT, Sergey Anohin написал(а): EG>> Какой размер, какой ширины канал в мир и где географически находятся SA> данные? SA> так прямо в 5034 EG>> Это чтобы оценить, насколько долго оно будет литься. EG>> Мне было бы интересно. SA> примерно 350 гиг SA> # df -h SA> Filesystem Size Used Avail Capacity Mounted on SA> zroot 1,4T 42G 1,4T 3% / SA> devfs 1,0K 1,0K 0B 100% /dev SA> zroot/X64 1,4T 96K 1,4T 0% /X64 SA> zroot/tmp 1,4T 788K 1,4T 0% /tmp SA> zroot/usr 1,6T 204G 1,4T 13% /usr SA> zroot/usr/home 1,4T 43G 1,4T 3% /usr/home SA> zroot/usr/ports 1,4T 2,3G 1,4T 0% /usr/ports SA> zroot/usr/ports/distfiles 1,4T 6,9G 1,4T 0% SA> /usr/ports/distfiles SA> zroot/usr/ports/packages 1,4T 127M 1,4T 0% /usr/ports/packages SA> zroot/usr/src 1,4T 3,0G 1,4T 0% /usr/src SA> zroot/var 1,4T 6,5G 1,4T 0% /var SA> zroot/var/crash 1,4T 3,1G 1,4T 0% /var/crash SA> zroot/var/db 1,4T 29G 1,4T 2% /var/db SA> zroot/var/db/mysql 1,4T 14G 1,4T 1% /var/db/mysql SA> zroot/var/db/mysql/ibdata 1,4T 925M 1,4T 0% SA> /var/db/mysql/ibdata SA> zroot/var/db/mysql/iblogs 1,4T 512M 1,4T 0% SA> /var/db/mysql/iblogs SA> zroot/var/empty 1,4T 96K 1,4T 0% /var/empty SA> zroot/var/log 1,4T 21G 1,4T 1% /var/log SA> zroot/var/mail 1,4T 76M 1,4T 0% /var/mail SA> zroot/var/run 1,4T 504K 1,4T 0% /var/run SA> zroot/var/tmp 1,4T 99M 1,4T 0% /var/tmp SA> Но мы сожмем, будет поменьше, хз сколько литься будет у меня вроде 40 мегабит, SA> в обратку может быстрее, ночью может еще быстрее будет, надо придумать как быть SA> с обрывами канала, SA> ну докачку какую-то, или на тома бить, есть предложения? Боюсь если ты будешь читать пул средствами ZFS (zfs send или пофайлово), то оно у тебя будет паниковать, когда дойдет до проблемного места. Практически уверен. Поэтому нужно будет использовать dd непосредственно с дисков. Я уже забыл, у тебя там один диск в пуле? Тогда просто: script dd.log dd if=/dev/ada0 bs=1m of=/mnt/nfsshare/file0.img Только смонтировать надо будет с soft,intr. Если связь оборвется, в логе dd останется информация, сколько мегабайт он успел записать, ну и после переустановки связи будет виден размер file0.img. "Докачка" будет состоять просто в добавлении dd skip=количествоуже_скопированныхмегабайт Чтобы это всё имело смысл, пул должен быть экспортирован, а для root on ZFS это значит, что диск надо будет подключить к другой системе. Сможешь? Eugene --- slrn/1.0.3 (FreeBSD) |
#8
|
|||
|
|||
epic story
Victor Sudakov написал(а) к eugen в May 19 00:04:42 по местному времени:
Dear eugen, 01 May 19 20:48, Eugene Grosbein wrote to me: EG>>> Эпичная история про ZFS: EG>>> http://www.michellesullivan.org/blog/1726 VS>> Почитал, сделал для себя некоторые выводы: VS>> 1. Бэкапов никто не отменял даже в случае очень надёжной файловой VS>> системы, которой ZFS IMНO всё-таки является. EG> Да. VS>> 2. Может и правильно я сделал, что на недавно полученном сервере VS>> поставил ZFS поверх аппаратного RAID (mfi), и не стал VS>> задействовать ZFS-овские RAID-прибамбасы. EG> Это никак не отменяет проблемы с восстановлением метаданных ZFS, EG> потому что это не аппаратная проблема. А я это не к проблеме с метаданными, а ранее по тексту - к замечанию что "the hotspare - which turned out to be not so 'hot' as you had to manually switch it in and the array was recovered following a week long resilver process." EG> А с mfi(4) ты поимеешь серьезных проблем, как только захочешь EG> подключить SSD. Лучше бы использовал mrsas и Non-RAID для дисков. Не планируется там SSD никогда. VS>> 3. Что за ключ -X он упоминает при импорте, man zpool такого не VS>> знает? EG> Недокументированная опция, включающая передачу в ядро флага EG> ZPOOLEXTREMEREWIND, что бы он ни значил. Вот интересно, надо мне это в копилку опыта занести. Victor Sudakov, VAS4-RIPE, VAS47-RIPN --- GoldED+/BSD 1.1.5-b20160322-b20160322 |
#9
|
|||
|
|||
Re: epic story
Sergey Anohin написал(а) к Eugene Grosbein в May 19 20:40:35 по местному времени:
Нello, Eugene! EG> Боюсь если ты будешь читать пул средствами ZFS (zfs send или пофайлово), EG> то оно у тебя будет паниковать, когда дойдет до проблемного места. EG> Практически уверен. Мы вроде это обсуждали и ты мне порекомендовал: dd if=/dev/ada0 bs=1m | xz -9 > /mnt/anotherdisk/image.xz EG> Поэтому нужно будет использовать dd непосредственно с дисков. EG> Я уже забыл, у тебя там один диск в пуле? Да, single НDD EG> Тогда просто: EG> script dd.log dd if=/dev/ada0 bs=1m of=/mnt/nfsshare/file0.img EG> Только смонтировать надо будет с soft,intr. EG> Если связь оборвется, в логе dd останется информация, сколько мегабайт EG> он успел записать, ну и после переустановки связи будет виден EG> размер file0.img. "Докачка" будет состоять просто в добавлении EG> dd skip=количествоуже_скопированныхмегабайт EG> Чтобы это всё имело смысл, пул должен быть экспортирован, EG> а для root on ZFS это значит, что диск надо будет подключить EG> к другой системе. Сможешь? Блин, я думал на живую проканает, вспоминал переписку: EG>>> dd if=/dev/ada0 bs=1m | xz -9 > /mnt/anotherdisk/image.xz SA>> в single mode? EG> Необязательно. Проблема как раз в crash consistency, EG> так что заморачиваться с single mode в данном случае EG> уже необязательно. То есть на живую фиг? Ну теоретически можно не на живую. Только для этого придется с лайв сиди грузиться, и делать dd с одного на другой, как-то так. С наилучшими пожеланиями, Sergey Anohin. --- wfido |
#10
|
|||
|
|||
Re: epic story
Eugene Grosbein написал(а) к Victor Sudakov в May 19 03:36:44 по местному времени:
01 мая 2019, среда, в 22:04 NOVT, Victor Sudakov написал(а): VS> А я это не к проблеме с метаданными, а ранее по тексту - к замечанию что "the VS> hotspare - which turned out to be not so 'hot' as you had to manually switch it VS> in and the array was recovered following a week long resilver process." Там он рассказывает историю многих лет. Конкретно это замечание давно устарело, так как штатный zfsd нынче решает эту проблему и это документировано в man zpool. Eugene -- Поэты - страшные люди. У них все святое. --- slrn/1.0.3 (FreeBSD) |