Куда подевалось место на ZFS

Vova Uralsky написал(а) к Eugene Grosbein в Oct 17 18:00:34 по местному времени:

Нello Eugene!

29 Oct 17 04:34, Eugene Grosbein wrote to Vova Uralsky:

EG>>> Собственно, это то же самое, что держать десять мегабайт "порнухи"
VU>> Если ты заполнишь пул на 100%, ты уже не сможешь ничего удалить. (и
EG> Ты тред-то читал? О том и речь, чтобы зарезервировать место,
EG> но не файлом, который нужно удалять, а просто лимитом на резерв.
EG> И сам этот резерв и не даст заполнить пул на 100% и поэтому
EG> резерв можно будет отменить, чтобы что-то удалить после.

Извини, не понял твоей аллегории. Тем не менее, если выставить квоты на все датасеты, то и резерв не нужен. Я, вот, не знаю что будет, если сделать допустим 10G резервирования на пустой датасет и заполнить пул другим датасетом на 100%. Можно ли будет уменьшить резервирование? Не пробовал, но думаю что нельзя.

Regards,
Vova

--- Msged/BSD 6.2.0

Eugene Grosbein написал(а) к Vova Uralsky в Oct 17 13:58:58 по местному времени:

29 окт. 2017, воскресенье, в 19:00 NOVT, Vova Uralsky написал(а):

VU> Извини, не понял твоей аллегории. Тем не менее, если выставить квоты на все
VU> датасеты, то и резерв не нужен.

Да, но квота не даст использовать свободное место, даже если его
в наличии очень много, плюс квоту нужно ставить на каждый датасет.

VU> Я, вот, не знаю что будет, если сделать допустим
VU> 10G резервирования на пустой датасет и заполнить пул другим датасетом на 100%.
VU> Можно ли будет уменьшить резервирование? Не пробовал, но думаю что нельзя.

ZFS не даст заполнить пул другим датасетом на 100%, если есть резерв
хотя бы на одном из датасетов пула. В этом-то и фишка.

Eugene
--
Enter old password: xxx
Enter new password: yyy
Confirm password: подтверждаю
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в Oct 17 12:11:05 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

EG> Да, но квота не даст использовать свободное место, даже если его
EG> в наличии очень много, плюс квоту нужно ставить на каждый датасет.
к тому же если сумма квот превышает доступное место - проблема нихрена не
решена, а вот место кончиться может еще и в отдельном датасете, хотя его на
самом деле хватило бы.

нет, квоты явно не наш путь, а вот резерв неиспользуемой fs - вполне.

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Oct 17 17:24:18 по местному времени:

30 окт. 2017, понедельник, в 13:11 NOVT, Alex Korchmar написал(а):

AK> нет, квоты явно не наш путь, а вот резерв неиспользуемой fs - вполне.

И даже используемой, но не заполняющейся линейно :-)

Eugene
--
Рейтинг, рейтинг - юбер аллес! (суровая правда телеискусства)
--- slrn/1.0.2 (FreeBSD)

Vova Uralsky написал(а) к Eugene Grosbein в Nov 17 20:17:36 по местному времени:

Нello Eugene!

30 Oct 17 13:58, Eugene Grosbein wrote to Vova Uralsky:

VU>> Извини, не понял твоей аллегории. Тем не менее, если выставить квоты
VU>> на все датасеты, то и резерв не нужен.
EG> Да, но квота не даст использовать свободное место, даже если его
EG> в наличии очень много, плюс квоту нужно ставить на каждый датасет.

Я не знаю как там в FBSD, я проверил на опениндиане. Там можно про резервы спокойно забыть.

$ pfexec bash
root@oindi:~# zpool list -v
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP НEALTН ALTROOT
rpool 49.8G 8.66G 41.1G - 5% 17% 1.00x ONLINE -
c4t0d0s0 49.8G 8.66G 41.1G - 5% 17%
root@oindi:~# format
Searching for disks...done


AVAILABLE DISK SELECTIONS:
0. c4t0d0 <VBOX-НARDDISK-1.0 cyl 6524 alt 2 hd 255 sec 63>
/pci@0,0/pci8086,2829@d/disk@0,0
1. c4t2d0 <VBOX-НARDDISK-1.0 cyl 1303 alt 2 hd 255 sec 63>
/pci@0,0/pci8086,2829@d/disk@2,0
Specify disk (enter its number):
root@oindi:~# zpool create tank c4t2d0
root@oindi:~# zpool list -v
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP НEALTН ALTROOT
rpool 49.8G 8.66G 41.1G - 5% 17% 1.00x ONLINE -
c4t0d0s0 49.8G 8.66G 41.1G - 5% 17%
tank 9.94G 107K 9.94G - 0% 0% 1.00x ONLINE -
c4t2d0 9.94G 107K 9.94G - 0% 0%
root@oindi:~# zfs create tank/hlam
root@oindi:~# zfs create tank/reserv
root@oindi:~# zfs set reservation=5g tank/reserv
root@oindi:~# cd /tank/hlam
root@oindi:/tank/hlam# df -h .
Filesystem Size Used Available Capacity Mounted on
tank/hlam 9.6G 23K 4.6G 1% /tank/hlam

Тут пускаем скрипт, который пишет в хлам, покуда не кончится место.

root@oindi:/tank/hlam# df -h .
Filesystem Size Used Available Capacity Mounted on
tank/hlam 9.6G 4.6G 0K 100% /tank/hlam
root@oindi:/tank/hlam# rm 200619

Прошу обратить внимание, удаление прошло без ошибки.

root@oindi:/tank/hlam# df -h .
Filesystem Size Used Available Capacity Mounted on
tank/hlam 9.6G 4.6G 37M 100% /tank/hlam
root@oindi:/tank/hlam# zfs set reservation=0 tank/reserv

пускаем скрипт снова, чтобы забить пул до конца

root@oindi:/tank/hlam# df -h .
Filesystem Size Used Available Capacity Mounted on
tank/hlam 9.6G 9.6G 0K 100% /tank/hlam
root@oindi:/tank/hlam# touch aaa
touch: cannot create aaa: No space left on device
root@oindi:/tank/hlam# rm 200850

Великий баг больше не существует? На этом месте в Sol10 приходит каюк. В смысле, файл не удаляется, чтобы его удалить, надо расширить пул.

root@oindi:/tank/hlam# df -h .
Filesystem Size Used Available Capacity Mounted on
tank/hlam 9.6G 9.5G 100M 99% /tank/hlam
root@oindi:/tank/hlam# cd
root@oindi:~# zpool destroy tank
root@oindi:~# exit
script done on 2 November 2017 at 20:15:16 CET


EG> ZFS не даст заполнить пул другим датасетом на 100%, если есть резерв
EG> хотя бы на одном из датасетов пула. В этом-то и фишка.

фишку надо проверить на фребзде на предмет актуальности.

Regards,
Vova

--- Msged/BSD 6.2.0

Alex Korchmar написал(а) к Vova Uralsky в Nov 17 08:44:38 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Vova Uralsky <Vova.Uralsky@f257.n5030.z2.fidonet.org> wrote:

VU> root@oindi:/tank/hlam# rm 200850
VU> Великий баг больше не существует? На этом месте в Sol10 приходит каюк. В
хм... в free баг выглядел совершенно иначе. Весь смысл был в том, что до
100% и не доживал никто.

VU> смысле, файл не удаляется, чтобы его удалить, надо расширить пул.
не удаляется - в смысле rm возвращал ошибку?

У нас он бы когда -нибудь удалился бы... правда, я не уверен про 100.

VU> фишку надо проверить на фребзде на предмет актуальности.
ты хочешь сказать, у нас и резервы не работают?

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Vova Uralsky в Nov 17 13:19:50 по местному времени:

02 нояб. 2017, четверг, в 21:17 NOVT, Vova Uralsky написал(а):

VU> Я не знаю как там в FBSD, я проверил на опениндиане. Там можно про резервы
VU> спокойно забыть.

[skip]

Ты неправильно готовишь этих кошек.

VU> Тут пускаем скрипт, который пишет в хлам, покуда не кончится место.
VU> root@oindi:/tank/hlam# df -h .
VU> Filesystem Size Used Available Capacity Mounted on
VU> tank/hlam 9.6G 4.6G 0K 100% /tank/hlam
VU> root@oindi:/tank/hlam# rm 200619
VU> Прошу обратить внимание, удаление прошло без ошибки.

Что и требовалось.

VU> root@oindi:/tank/hlam# df -h .
VU> Filesystem Size Used Available Capacity Mounted on
VU> tank/hlam 9.6G 4.6G 37M 100% /tank/hlam
VU> root@oindi:/tank/hlam# zfs set reservation=0 tank/reserv
VU> пускаем скрипт снова, чтобы забить пул до конца

Это называется "прострелить себе ногу". Мы не для того делали резерв,
чтобы затем от него отказаться и продолжать забивать пул.

Мы делали резерв как раз для того, чтобы "удаление прошло без ошибки",
а снимать резерв, если вдруг такая необходимость появится,
предполагалось только с погашенными сервисами, чтобы ничто не забило пул.

А с запущенными сервисами работать только с хорошим резервом.

Eugene
--- slrn/1.0.2 (FreeBSD)

Vova Uralsky написал(а) к Alex Korchmar в Nov 17 10:26:36 по местному времени:

Нello Alex!

03 Nov 17 08:44, Alex Korchmar wrote to Vova Uralsky:

VU>> root@oindi:/tank/hlam# rm 200850
VU>> Великий баг больше не существует? На этом месте в Sol10 приходит
VU>> каюк. В
AK> хм... в free баг выглядел совершенно иначе. Весь смысл был в том, что
AK> до 100% и не доживал никто.

хм обратно, с таким никогда не сталкивался, возможно это какая-то особенность FBSD.

VU>> смысле, файл не удаляется, чтобы его удалить, надо расширить пул.
AK> не удаляется - в смысле rm возвращал ошибку?

Да. Я лет десять назад на эту тему колл делал. Объяснение было что это фича а не баг. Чтобы удалить файл, надо произвести опрацию записи, чтобы её произвести надо сделать копию изменяемого блока, а поскольку свободных блоков больше нет, нет возможности ничего удалить. Точно также оно не должно было работать с играми с резервированием. zfs set будет записывать в датасет, что на переполненном пуле (было раньше) фатально.

VU>> фишку надо проверить на фребзде на предмет актуальности.
AK> ты хочешь сказать, у нас и резервы не работают?

Я хочу сказать что если всё работает как в опениндиане, резервами можно не пользоваться. Если какая-то программа завалила мусором диск, надо удалить мусор, как мы это делаем на UFS.

Regards,
Vova

--- Msged/BSD 6.2.0

Vova Uralsky написал(а) к Eugene Grosbein в Nov 17 10:42:02 по местному времени:

Нello Eugene!

03 Nov 17 13:19, Eugene Grosbein wrote to Vova Uralsky:

EG> А с запущенными сервисами работать только с хорошим резервом.

Я кажется понял. У нас совершенно разный майндсет. У меня не может возникнуть ситуации когда я не смогу добавить сотню гигов в пул. Мне незачем хранить резерв в пуле.

Конечно, когда у тебя железный НDD, вкрученый намертво в PC, проблемы совсем другие.

Regards,
Vova

--- Msged/BSD 6.2.0

Alex Korchmar написал(а) к Vova Uralsky в Nov 17 14:49:58 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Vova Uralsky <Vova.Uralsky@f257.n5030.z2.fidonet.org> wrote:

VU> Я кажется понял. У нас совершенно разный майндсет. У меня не
VU> может возникнуть ситуации когда я не смогу добавить сотню гигов
у тебя пул - виртуалочка на виртуальном хостинге, я правильно понимаю?
("сотню гигов", и быстро-добавить исключает другие трактовки. Правда, неясно,
кто только что гнал про "настоящее сановское железо под настоящей операционной
системой")

VU> в пул. Мне незачем хранить резерв в пуле.
ага, выкинул вместе с виртуалкой и сделал вид что так и было, все равно эти
твои логи никому никогда не были нужны.

VU> Конечно, когда у тебя железный НDD, вкрученый намертво в PC,
у меня полка с 40 железными hdd и пачкой ssd, и я все равно не
смогу ни высрать из воздуха забесплатно вторую (не говоря уже о
некоторых чисто технических трудностях с "просто добавить ее в
пул"), ни что-то быстро сделать внутри существующей - кроме как раз
задействовать резерв, эквивалентный ее размеру (то есть - дорогой
и большой, в байтах) - заранее предусмотренный в дизайне системы.

если на полке живет единственная zfs под управлением единственной головы
(в случае сана может быть даже две головы на один zfs, но это стоит столько,
что я об этом знаю только теоретически, и не уверен,что оно вообще работает)
- вполне логично придумать какой-нибудь способ, чтобы этот резерв был именно
внутри этой zfs.

VU> проблемы совсем другие.
когда речь о "сотнях гигов", проблемы, очевидно, детские.
Если это "железный hdd вкрученый намертво в pc"- просто идешь в ларек и
покупаешь еще один, вдвое (а не на "сотни") больше предыдущего. zfs send,
и после перезагрузки твоя проблема решена еще на много лет.


> Alex

--- ifmail v.2.15dev5.4