Страшные тормоза zfs

Alex Korchmar написал(а) к Victor Sudakov в Oct 15 19:35:01 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

AK>> в общем-то, да. На моем служебном ноуте восемь, и это уже в общем-то
AK>> минимально необходимое количество.
VS> Так на твоем службном ноуте поди винда, потому и.
потому и только восемь. Если бы я всю херню держал под фрей, не хватило бы
и шестнадцати. В силу редкой ублюдочности доступного софта, которую пришлось
бы компенсировать многослойными наворотами и виртуализацией.
Кстати, ее ntfs существенно лучше подходит для объемов в первые терабайты -
ну, она-то и посвежее разработки беркли будет.

VS> Судя по названию, может ты и прав, что ради объема. Но и в остальном
VS> получилось настолько революционно и удобно,
так потому и получилось, что перестав гоняться за тиками процессора и экономией
жалких килобайтов под структуры (вместо этого сделав эффективный менеджмент
для больших объемов) стало можно наколбасить много и сравнительно дешево.

Ну а если хочется этим пользоваться - соответствовать не так уж и
сложно, 64-128 гиг оперативной памяти для серверной железки нынче
почти ничего не стоят по сравнению с остальными ее деталями. Как и
запас дисковой емкости в 40%, чтобы были еще десять лишних до тех
тридцати, при которых надо в случае zfs хвататься за голову и срочно
куда-то девать часть файлов.

VS> soft updates journalling помогает от fsck. Но с ним не работают снапшоты.
с ним совсем нет уверенности что это таки не сид для рандом-генератора.
Даже на не-мега объемах. А снапшоты на ufs'ных терабайтах тоже очень и очень
унылы. Особенно, почему-то, их удаление.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Dmitry Miloserdov в Oct 15 19:36:31 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Dmitry Miloserdov <dmitry@bis.ru> wrote:

DM> Если на диске из 1.5Т свободно 10мег и весь ввод/вывод уже давно
DM> генерится самим zpool?
это настолько известные грабли, что тут явно не оно.
А вот знание о том, что тут вообще-то все поле покрыто граблями равномерно,
и сходить с протоптанной поверхности вовсе нельзя, оно значительно менее
распространенное.

> Alex

--- ifmail v.2.15dev5.4

Dmitry Miloserdov написал(а) к Alex Korchmar в Oct 15 22:24:42 по местному времени:

From: Dmitry Miloserdov <dmitry@bis.ru>

13.10.2015 19:36, Alex Korchmar пишет:
> DM> Если на диске из 1.5Т свободно 10мег и весь ввод/вывод уже давно
> DM> генерится самим zpool?
> это настолько известные грабли, что тут явно не оно.
И почему ты так уверен?
Есть какая-то информация в словах ТС говорящая о том что мало памяти?
Вижу очень медленное удаление, появление большого количества свободного
места после рестарта, наличие торрент-клиента в системе (читай создание
больших дырявых файлов и непоследовательное заполнение их), плюс nfs но
возможно только на чтение.
У меня 500g пул (ver22) замечательно уходил в себя и при более 100мег
свободных.
Понятно что если добавить памяти хуже не будет, а можно еще проц
улучшить, лог на ssd вынести и т.д. Может что-то действительно
решит проблему ТС но это решение от телепатов (и менеджеров -
в любой непонятной ситуации проси больше денег)

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Dmitry Miloserdov в Oct 15 00:33:20 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Dmitry Miloserdov <dmitry@bis.ru> wrote:

DM> Есть какая-то информация в словах ТС говорящая о том что мало памяти?
ага. "четыре гигабайта".


> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Дмитрий Долженко в Oct 15 22:14:02 по местному времени:

Dear Дмитрий,

13 Oct 15 17:30, you wrote to me:
>> zfs поверх geli, 10.2-RELEASE amd64, RAM 4G. Диски по полтора
>> терабайта, каждый диск (точнее ada?.eli устройство) - отдельный
>> zpool. Используются как хранилище фильмов и музыки с раздачей по
>> NFS.
>>
>> Странные явления наблюдаются. Иногда простое удаление каталога с
>> подкаталогами может идти единицы минут! Иногда хэшинг какого-нибудь
>> торрента вводит диск в состояние ступора. А вчера после
>> некорректного ребута в состоянии "Mounting ZFS filesystems" загрузка
>> ОС ждала больше часа при бешеной активности винта, при этом после
>> загрузки обнаружилось, что на fs появилось много свободного места по
>> сравнению с тем, что было до ребута.
>>

ДД> У меня было похожее при раздаче ZFS стораджа по smb.
ДД> Помогло

ДД> ifconfig em0 -tso4

ДД> Те же проблемы были с картой msk0 лечились так же.

Мой диск раздается по NFS over UDP. А tso это IMНO для TCP. Но идея интересная, а как можно объяснить связь между проблемами с ZFS и опциями драйвера сетевой карты?

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Alex Korchmar написал(а) к Victor Sudakov в Oct 15 22:27:44 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <Victor.Sudakov@f49.n5005.z2.fidonet.org> wrote:

VS> Мой диск раздается по NFS over UDP. А tso это IMНO для TCP.
вообще-то это один из самых тормозных и неэффективных методов сам по себе.
tso это таки да, tcp segmentation offload
еще бывает generic, и по умолчанию обычно именно он и включен,
но это не у фребеэсде.

VS> а как можно объяснить связь между проблемами с ZFS и опциями драйвера
VS> сетевой карты?
так может у тебя тормозит-то nfs?

> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Alex Korchmar в Oct 15 09:35:24 по местному времени:

Dear Alex,

14 Oct 15 22:27, you wrote to me:

VS>> Мой диск раздается по NFS over UDP. А tso это IMНO для TCP.
AK> вообще-то это один из самых тормозных и неэффективных методов сам по
AK> себе.

Да и фиг с ним, всё равно прежде всего упрётся в скорость WiFi от "сервера" до медиаплеера и ноута.

VS>> а как можно объяснить связь между проблемами с ZFS и опциями
VS>> драйвера сетевой карты?
AK> так может у тебя тормозит-то nfs?

Ну если тормоза nfs могут проявляться так, что локальный
"rm -rf /d01/torrent/ненужный_фильм/" отрабатывает минут по пять, то это совсем
уже вуду. Впрочем, наличие или отсутствие подключенных NFS клиентов и NFS
трафика никаким видимым образом на сабж не влияет. Зато при дисковой активности (том же локальном удалении директории или когда активность торрента повышается) "сервер" уже не может отдавать фильм со скоростью, достаточной для просмотра на плеере.

Хотя... Второй zpool по NFS не раздается и тормозов на нем не наблюдается... Но на нем и места занято отсилы 1/3 и торрента нет.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Eugene Grosbein написал(а) к =?UTF-8?Q?=D0=94=D0=BC=D0=B8=D1=82= в Oct 15 13:57:17 по местному времени:

13 окт 2015, вторник, в 16:30 NOVT, Дмитрий Долженко написал(а):

ДД> У меня было похожее при раздаче ZFS стораджа по smb.
ДД> Помогло
ДД> ifconfig em0 -tso4
ДД> Те же проблемы были с картой msk0 лечились так же.
ДД> firewall и natd на машине нет.

http://dadv.livejournal.com/193851.html

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.2 (FreeBSD)

Eugene Grosbein написал(а) к Victor Sudakov в Oct 15 14:00:59 по местному времени:

14 окт 2015, среда, в 21:14 NOVT, Victor Sudakov написал(а):

VS> Мой диск раздается по NFS over UDP. А tso это IMНO для TCP. Но идея интересная,
VS> а как можно объяснить связь между проблемами с ZFS и опциями драйвера сетевой
VS> карты?

Если доступ к ZFS идёт в основном через сетевую карту...
http://dadv.livejournal.com/193851.html

Eugene
--- slrn/1.0.2 (FreeBSD)

Victor Sudakov написал(а) к Eugene Grosbein в Oct 15 13:50:58 по местному времени:

Dear Eugene,

15 Oct 15 14:00, you wrote to me:

VS>> Мой диск раздается по NFS over UDP. А tso это IMНO для TCP. Но
VS>> идея интересная, а как можно объяснить связь между проблемами с
VS>> ZFS и опциями драйвера сетевой карты?

EG> Если доступ к ZFS идёт в основном через сетевую карту...
EG> http://dadv.livejournal.com/193851.html

Я даже помню этот пост, но в моем случае тормоза сабж наблюдается локально.
В прошлый раз при загрузке системы на "Mounting ZFS filesystem" около часа винтом крутило.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223