кеш zfs на SSD

Anton Gorlov написал(а) к Alex Korchmar в Jan 18 18:52:46 по местному времени:

Привет Alex!

08 янв 18 года (а было тогда 18:31)
Alex Korchmar в своем письме к Anton Gorlov писал:

AG>> Это в идеале..а по факту, если верить томуже iotop и atop своп
AG>> активно читался/писался. ну и после тог окак на этом тазике дёрнул
AG>> swapoff/swapon -a LA упало почти в 2 раза.
AK> я такое наблюдал только на системах, к которым в гости заходил
AK> oom-killer. То есть память реально кончалась, совсем. После этого да,
AK> начинает "как-то странно" работать, что в общем и неудивительно.

Не...его там не было.. вернее на 1 тазике был, на остальных нет.
Но там для юзеров есть всякие rss,nproc,priority,cpu лимиты (аха /etc/security/limits.conf)

AG>> Да -сервера на котрых ЭТО наблюдается - виртуальый хостинг с
AG>> похапэ,рубями и пистонами... без всяких яв и ко
AK> ну то есть классический претендент на oom-killer, причем в условиях
AK> нехватки процессорной мощности на разгребание завалов. таким помогает
AK> полное отключение свопа (нет, не то чтобы оно начинало после этого
AK> работать лучше - оно, очевидно, увеличит нагрузку на диск. Но
AK> становится предсказуемей.)

Ну вот пока помогало и помогает просто swapoff/swapon дёрнуть и ещё месяц-два жить спокойно дальше. Далее соотвественно опять эту магию и так по кругу. Но обычно перезагурки чаще чем оно до этого доходит для апдейта ядер.



С уважением. Anton aka Stalker

Linux Registered User #386476
[#TEAM:*#] [#Злой СисОп_#] [*Нeavy Metal!*] [*_Усачи]
--- GoldED+/LNX 1.1.5-b20160322

Eugene Grosbein написал(а) к Alex Korchmar в Jan 18 22:02:18 по местному времени:

08 янв. 2018, понедельник, в 10:51 NOVT, Alex Korchmar написал(а):

EG>> Ты поразишься, для чего бывает нужна память. Для ядерных подсистем
AK> ты поразишься, но во всех остальных системах эта великая проблема, почему-то,
AK> давно решена. Именно за счет нормальных алгоритмов управления кэшем, который
AK> рассматривается всеми остальными системами ядра как свободная и доступная в
AK> любой момент память, лишь чуть с более длинным временем на выделение.

Тащем-то операции повторного заполнения однажды ужатой ZFS ARC
вовсе не так дешевы, как кажется, поэтому ужимание её не должно
выполняться так уж свободно.

AK> А если у тебя память "свободна" - это значит только то, что вместо обращений
AK> к памяти твоя система пилит диски.

Это ты привык к системам, для которых память не более чем кеш для файлов.

Eugene
--- slrn/1.0.2 (FreeBSD)

Alex Korchmar написал(а) к Eugene Grosbein в Jan 18 20:50:56 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> рассматривается всеми остальными системами ядра как свободная и доступная
AK>> в любой момент память, лишь чуть с более длинным временем на выделение.
EG> Тащем-то операции повторного заполнения однажды ужатой ZFS ARC
EG> вовсе не так дешевы, как кажется, поэтому ужимание её не должно
мораль: сжатие arc ненужно и вредно (с самого начала подозревал)

EG> выполняться так уж свободно.
если у системы не хватает памяти запустить процесс - ужатие всего, что не
требуется для ее работы, должно выполняться мгновенно и безусловно.

В нынешней ситуации (без патча) вместо этого, в лучшем случае, происходит
выпадение процесса по отсутствию памяти (при паре гиг, свободных в свопе).
В худшем - мертвый локап.

AK>> А если у тебя память "свободна" - это значит только то, что вместо
AK>> обращений к памяти твоя система пилит диски.
EG> Это ты привык к системам, для которых память не более чем кеш для файлов.
это я привык к системам, которые проектировали нормальные люди, а не
застрявшие в 74м году. Не понасовавшими в ядро миллиард статических таблиц,
которые невозможно расширять без перезагрузки, и не боровшимися потом с ними
героически пятнадцать лет, да так и не осилившими до конца.

И да, свободная память там вся отдается под buffer cache.
Потому что она - свободная. И иначе просто пропадает, а ты в стодесятый раз
перечитаешь эти блоки с диска. Надо бы на досуге посмотреть, умеет ли этим
кэшем пользоваться zol, или она с ним тоже героически борется.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Anton Gorlov в Jan 18 20:52:57 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Anton Gorlov <Anton.Gorlov@f37.n5059.z2.fidonet.org> wrote:

AG> Не...его там не было.. вернее на 1 тазике был, на остальных нет.
AG> Но там для юзеров есть всякие rss,nproc,priority,cpu лимиты (аха
AG> /etc/security/limits.conf)
в теории, если процесс обламывается об лимиты, такой фигни происходить не
должно. На практике, у нас лимит rss помнится сломан пятнадцать лет назад.

Впрочем, это я, оказывается, еще ягодок не пробовал:
https://stackoverflow.com/questions/...-on-centos-6-4

> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Jan 18 20:48:21 по местному времени:

08 янв. 2018, понедельник, в 21:50 NOVT, Alex Korchmar написал(а):

AK> И да, свободная память там вся отдается под buffer cache.
AK> Потому что она - свободная. И иначе просто пропадает, а ты в стодесятый раз
AK> перечитаешь эти блоки с диска.

Да, в общем-то, однохренственно, за которой категорией будут
числится неиспользуемые страницы памяти, за buffer cache или за free,
пока приложение может malloc-нуть пару сотен мегабайт для рассчетов
в любое время. Даже лучше, когда за free - понятней.

Eugene
--- slrn/1.0.2 (FreeBSD)

Anton Gorlov написал(а) к Alex Korchmar в Jan 18 19:32:00 по местному времени:

Привет Alex!

08 янв 18 года (а было тогда 20:52)
Alex Korchmar в своем письме к Anton Gorlov писал:

AK> Anton Gorlov <Anton.Gorlov@f37.n5059.z2.fidonet.org> wrote:
AG>> Не...его там не было.. вернее на 1 тазике был, на остальных нет.
AG>> Но там для юзеров есть всякие rss,nproc,priority,cpu лимиты (аха
AG>> /etc/security/limits.conf)
AK> в теории, если процесс обламывается об лимиты, такой фигни происходить
AK> не должно. На практике, у нас лимит rss помнится сломан пятнадцать лет
AK> назад.
AK> Впрочем, это я, оказывается, еще ягодок не пробовал:
AK> https://stackoverflow.com/questions/...ary-installed-
AK> but-not-functioning-on-centos-6-4


гыгы...аха.
Я вот летом наступил на оочень интересные глюки - php-mysqlnd (или как это модно говорить native driver) если запрсо к мусклу возвращал 0 строк и USEZENDALLOC=0

При этом "некошерный" по мнению авторов php обычный php-mysql (не ND) - таки работал ок.

В общем с памятью всё весело,куда не плюнь.


С уважением. Anton aka Stalker

Linux Registered User #386476
[#TEAM:*#] [#Злой СисОп_#] [*Нeavy Metal!*] [*_Усачи]
--- GoldED+/LNX 1.1.5-b20160322

Alex Korchmar написал(а) к Eugene Grosbein в Jan 18 09:55:06 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> И да, свободная память там вся отдается под buffer cache.
AK>> Потому что она - свободная. И иначе просто пропадает, а ты в стодесятый
AK>> раз перечитаешь эти блоки с диска.
EG> Да, в общем-то, однохренственно, за которой категорией будут
EG> числится неиспользуемые страницы памяти, за buffer cache или за free,
не однохренственно. buffer cache это используемые, но доступные для реюза
- и если они вместо этого будут free - значит ты грызешь диск вместо обращений
к памяти. Даже если прошлый раз этот блок читался год назад, и в следующий
прочитается еще через год - лучше взять его из памяти, чем из в тысячу раз
более тормозного дискового устройства, неужели это неясно?
А для zfs все еще хуже, поскольку у нее тонны метаинформации, перекапываемой
каждый раз.

EG> пока приложение может malloc-нуть пару сотен мегабайт для рассчетов
EG> в любое время. Даже лучше, когда за free - понятней.
malloc'нуть оно всегда может. У нас overcommit и mmap dev/zero тыщу лет уже
как.
Оно использовать не может - приходит sigsegv. В случае freebsd+zfs - приходит
deadlock

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Anton Gorlov в Jan 18 09:56:06 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Anton Gorlov <Anton.Gorlov@f37.n5059.z2.fidonet.org> wrote:

AG> В общем с памятью всё весело,куда не плюнь.
ставь солярку - там этим занимались инженеры, а не долбой...ы, все еще
"not ready for desktop".


> Alex

--- ifmail v.2.15dev5.4

Eugene Grosbein написал(а) к Alex Korchmar в Jan 18 13:29:48 по местному времени:

10 янв. 2018, среда, в 10:55 NOVT, Alex Korchmar написал(а):

AK>>> И да, свободная память там вся отдается под buffer cache.
AK>>> Потому что она - свободная. И иначе просто пропадает, а ты в стодесятый
AK>>> раз перечитаешь эти блоки с диска.
EG>> Да, в общем-то, однохренственно, за которой категорией будут
EG>> числится неиспользуемые страницы памяти, за buffer cache или за free,
AK> не однохренственно. buffer cache это используемые, но доступные для реюза
AK> - и если они вместо этого будут free - значит ты грызешь диск вместо обращений
AK> к памяти.

Да вовсе не обязательно:

vfs.zfs.arc_max="32G"

Mem: 1929M Active, 38G Inact, 2022M Laundry, 6213M Wired, 1572M Buf, 13G Free
ARC: 1163M Total, 307M MFU, 758M MRU, 32K Anon, 68M Нeader, 30M Other
889M Compressed, 2610M Uncompressed, 2.94:1 Ratio

AK> Даже если прошлый раз этот блок читался год назад, и в следующий
AK> прочитается еще через год - лучше взять его из памяти, чем из в тысячу раз
AK> более тормозного дискового устройства, неужели это неясно?

Так приложениям память тоже бывает нужна, для счёта. Если у тебя нет
таких приложений, это не значит, что их вообще нет.

EG>> пока приложение может malloc-нуть пару сотен мегабайт для рассчетов
EG>> в любое время. Даже лучше, когда за free - понятней.
AK> malloc'нуть оно всегда может. У нас overcommit и mmap dev/zero тыщу лет уже
AK> как.
AK> Оно использовать не может - приходит sigsegv. В случае freebsd+zfs - приходит
AK> deadlock

При работающем лимите никаких sigsegv или deadlock, всё пашет.

Eugene
--- slrn/1.0.2 (FreeBSD)

Alexandr Kruglikov написал(а) к Alex Korchmar в Jan 18 20:36:52 по местному времени:

Привет, Alex!

10 янв 18 09:56, Alex Korchmar писал(а) к Anton Gorlov:

AG>> В общем с памятью всё весело,куда не плюнь.
AK> ставь солярку - там этим занимались инженеры, а не долбой...ы, все еще
AK> "not ready for desktop".

А оно живо? Индиану не предлагать =)

С наилучшими пожеланиями, Alexandr.

--- "OS X/binkd/hpt-1.9-cur/GoldEd+-1.1.5-b20170303" ---