Страшные тормоза zfs

Alex Korchmar написал(а) к Victor Sudakov в Oct 15 13:20:43 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

VS> "rm -rf /d01/torrent/ненужный_фильм/" отрабатывает минут по пять,
а у тебя там точно не 90% заполнения?

Ну и если таки не - я прибил бы nfsd и проверил.

> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Alex Korchmar в Oct 15 17:27:50 по местному времени:

Dear Alex,

15 Oct 15 13:20, you wrote to me:

VS>> "rm -rf /d01/torrent/ненужный_фильм/" отрабатывает минут по пять,
AK> а у тебя там точно не 90% заполнения?

В какой-то момент было вообще под завязку. Удалял, чтобы место освободить - а оно не высвобождалось.

Я из этого обсуждения сделал вывод, что на zfs надо оставлять резерв свободного места примерно %30 под собственные нужды FS, так что ли? А где это документировано? А если ОЗУ набить побольше-побольше, всё равно %30 оставлять надо?

У ufs всё-таки 8%, и ничего подобного сабжу не случалось, если и под завязку заполняли, и c "-m0" форматировали.

AK> Ну и если таки не - я прибил бы nfsd и проверил.

Проверю.


Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Victor Sudakov написал(а) к Alex Korchmar в Oct 15 17:36:34 по местному времени:

Dear Alex,

13 Oct 15 19:35, you wrote to me:
AK> запас дисковой емкости в 40%, чтобы были еще десять лишних до тех
AK> тридцати, при которых надо в случае zfs хвататься за голову и срочно
AK> куда-то девать часть файлов.

О как.

VS>> soft updates journalling помогает от fsck. Но с ним не работают
VS>> снапшоты.
AK> с ним совсем нет уверенности что это таки не сид для
AK> рандом-генератора. Даже на не-мега объемах. А снапшоты на ufs'ных
AK> терабайтах тоже очень и очень унылы. Особенно, почему-то, их удаление.

Их унылость скорее в том, что в момент создания файловая система встаёт
колом. А те файлы, которые изменялись в момент снапшота, могут в него не попасть. Хотя логичнее было бы, чтобы они попадали в снапшот в том виде, в каком были до начала создания снапшота. Но как я понимаю, для этого нужен intent log или нечто подобное.


Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Alex Korchmar написал(а) к Victor Sudakov в Oct 15 15:06:21 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

AK>> а у тебя там точно не 90% заполнения?
VS> В какой-то момент было вообще под завязку.
э... то есть ты вообще не в курсе даже таких банальных вещей? То есть вот
мысля, прежде чем ставить новую неведомую хрень, почитать что в ней принято
и почему, она в голову вовсе не приходила, или приходила, но никого не
застав, ушла?

VS> У ufs всё-таки 8%, и ничего подобного сабжу не случалось
у ufs тоже случается, она об этом честно умеет написать в лог.

VS> Проверю.
уже незачем. Я не предполагал что все настолько плохо.


> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Alex Korchmar в Oct 15 19:11:50 по местному времени:

Dear Alex,

15 Oct 15 15:06, you wrote to me:

AK>>> а у тебя там точно не 90% заполнения?
VS>> В какой-то момент было вообще под завязку.
AK> э... то есть ты вообще не в курсе даже таких банальных вещей?

А откуда я должен быть их узнать?

AK> То есть
AK> вот мысля, прежде чем ставить новую неведомую хрень, почитать что в
AK> ней принято и почему, она в голову вовсе не приходила, или приходила,
AK> но никого не застав, ушла?

Мне приходила в голову мысль почитать про ZFS в Нandbook, и я таки читал.
Написано кстати очень доходчиво. Если то, что ты говоришь насчет 30%, правда, то такие вещи нужно писать в документации на систему крупными красными буквами, так же как там написано про выключение checksums.

Более того, еще раньше я читал сановский administration guide про zfs и тоже ничего не помню там про 30% свободного места. Я должен был выискивать это по форумам Лисяры или что?

VS>> У ufs всё-таки 8%, и ничего подобного сабжу не случалось
AK> у ufs тоже случается, она об этом честно умеет написать в лог.

Пример?

VS>> Проверю.
AK> уже незачем. Я не предполагал что все настолько плохо.

Я тоже не предполагал.

И ты не ответил на вопрос, 30% свободных это должно быть всегда, вне зависимости от количества ОЗУ? В Нandbook я помнится видел примерное требование 1 ГБ ОЗУ на 1 Тб стораджа. У меня соблюдается.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Dmitry Miloserdov написал(а) к Victor Sudakov в Oct 15 17:27:00 по местному времени:

From: Dmitry Miloserdov <dmitry@bis.ru>

15.10.2015 19:11, Victor Sudakov пишет:
> Более того, еще раньше я читал сановский administration guide про zfs и тоже
> ничего не помню там про 30% свободного места. Я должен был выискивать это по
> форумам Лисяры или что?
У сана точно было в вайтпеперах.
5% - минимум при любых объемах,
рекомендовано 10%, 20% при объеме пула до 1Т.
Все это рекомендации а не жесткие требования так
как и при полном заполнении система жить будет но
сильно пострадает производительность.
И да удаление больших файлов на zfs это довольно
тяжелая операция и ожидать мгновенного отклика не стоит
--- ifmail v.2.15dev5.4

Ivan Novikov написал(а) к Alex Korchmar в Oct 15 20:53:52 по местному времени:

Привет, Alex!

13 Oct 15, Alex Korchmar накропал письмо к Victor Sudakov:

AK> Кстати, ее ntfs существенно лучше подходит для объемов в
AK> первые терабайты - ну, она-то и посвежее разработки беркли будет.
лолшто??
она ж даже не умеет записывать не фрагментируя файлы


С приветом, Ivan.

--- Дед Мастдай и Саксы (1.1.5-b20110320 штук)

Alex Korchmar написал(а) к Dmitry Miloserdov в Oct 15 21:44:13 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Dmitry Miloserdov <dmitry@bis.ru> wrote:

DM> У сана точно было в вайтпеперах.
лучший источник сведений о граблях - доки (точнее, факи) фринаса.
Потому что там этих грабель, собственно, гнездо.
DM> 5% - минимум при любых объемах,
DM> рекомендовано 10%, 20% при объеме пула до 1Т.
это связано скорее с тем, что там лежит, чем с объемом пула.
Я бы при хранении видео и тому подобного установил себе critical alarm
на 30%, потому что быстро освободить столько места может не получиться,
и если начинать разгребать проблему при 20 - пока ты возишься, остаток
упадет до нуля.
Причем чем больше массив, тем сложнее "побыстрому" куда-то девать его
десятую часть, да еще параллельно подставить другой тазик, поскольку,
очевидно, фонтан не перестанет радовать новыми гигабайтами, успешно
забив один массив, какой бы природы он не был.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Victor Sudakov в Oct 15 22:00:15 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

VS> А откуда я должен быть их узнать?
ну, я обычно спрашиваю про неведомую херню у гугля - тем более, когда
херня очевидно сложная, и замедомо имеющая проблемы.

VS> Мне приходила в голову мысль почитать про ZFS в Нandbook, и я таки читал.
ну так хэндбук - это ридми для дибилов. Чтобы он как-то вообще что-то могли
поставить. Тем более странно ожидать там подробностей про чуждую подсистему.
VS> Написано кстати очень доходчиво.
ну вот оно у тебя поставилось, и как-то работает. Задача хэндбука выполнена.

VS> Более того, еще раньше я читал сановский administration guide
в evil tuning guide, помнится, были упоминания и этого момента тоже.
Или где-то рядом там же.

AK>> у ufs тоже случается, она об этом честно умеет написать в лог.
VS> Пример?
я давно не налетал. Но в какой-то момент оно начинает жаловаться что
дальнейшая запись файлов будет неоптимальной. Хотя, возможно, это проблема
времен version1.

VS> И ты не ответил на вопрос, 30% свободных это должно быть всегда, вне
нет, это красная полоса, при пересечении которой у тебя очень мало времени
что-то предпринять - диски стоят дорого, "вдруг" нарастить емкость непросто.
Катастрофическое падение производительности будет где-то на 10%.
Проваливания туда следует избегать любым способом, потому что я не очень
уверен, что zfs умеет восстанавливать нормальную работоспособность такого пула
после удаления лишнего. Если на диске ничего не меняется - тогда и <20 вполне
работает. Но обычно на хранилках объем уменьшается по параболическому
принципу.

VS> зависимости от количества ОЗУ? В Нandbook я помнится видел
VS> примерное требование 1 ГБ ОЗУ на 1 Тб стораджа. У меня соблюдается.
я бы начинал с восьми. Опять же - не то чтобы не работало совсем, но количество
опасных грабель резко возрастает.
Включая развал scrub после неудачной посадки.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Ivan Novikov в Oct 15 22:21:20 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Ivan Novikov <Ivan.Novikov@f31.n5080.z2.fidonet.org> wrote:

AK>> Кстати, ее ntfs существенно лучше подходит для объемов в
AK>> первые терабайты - ну, она-то и посвежее разработки беркли будет.
IN> лолшто??
IN> она ж даже не умеет записывать не фрагментируя файлы
Избегать лишней фрагментации она умеет значительно лучше stone-age юниксов.
В которых даже до механизма pre-allocation додумались (сп...ли) на десять
лет позже (пятнадцать, если учесть что он еще с hpfs).

А вот какой мудак тебе сказал, что нефрагментированные файлы для системы чуть
сложнее msdos чем-то особенно хороши?


> Alex
P.S. А через двенадцать лет мы изобрели "relatime", потому что сп...ть ntfs'ную
методику оказалось не по уму (хотя она как раз хрюниксам и была нужна в
первую очередь, в винде на таймстампы никто никогда и не смотрит). Причем до
фребздишников это модное изобретение не добралось, кажется, по сей день.

--- ifmail v.2.15dev5.4