Еще одна причина уйти с ZFS

Eugene Grosbein написал(а) к Alex Korchmar в Jul 19 21:15:59 по местному времени:

07 июля 2019, воскресенье, в 09:01 NOVT, Alex Korchmar написал(а):

EG>> Если Алекс хочет свалить на Windows вместо линукса,
EG>> значит дело тут в самом Алексе, нежели во фряхе.
AK> если ВСЕ хотят свалить - то дело, конечно же, в этих всех, ага.

Угу, а ещё все хотят свалить с линукса и с винды.

EG>> Он перестал "возиться с FreeBSD" в том смысле,
EG>> в каком он возился в прошлой жизни Рамблера, очень давно -
AK> он все еще держит свою основную работу, от которой вообще-то и кормится -
AK> на хранилке с фрей. И она его, похоже, уже немножечко достала.

А сам Алекс-то в курсе, что "она его немножечко достала"?
Всё, что я смог на эту тему найти у него в блоге,
это двухмесячной давности камент:

AT> Я, надо сказать, разнеся файлер и "остальной сервер" -
AT> всерьез подумываю а не посмотреть ли на Windows Server в качестве файлера.
AT> Когда изведу дома совсем старые макоси (которые не умеют тайм машину на SMB) -
AT> задумаюсь еще серьезнее.

Подумывал посмотреть на.

AK> Других применений фре помимо роутеров из г-на и палок с нулевой
AK> производительностью - не наблюдается уже десять лет.

У тебя не наблюдается. У меня на фряхах и highload PPPoE,
и мониторинг, и MySQL, и почта, и SMS-шлюзы и ещё куча всего.

Вчера открыл для себя frr7 и eigrpd, с цисками вяжется - подумываю
отказаться от quagga/ospfd/ripd в пользу frr7/eigrpd.

Eugene
--- slrn/1.0.3 (FreeBSD)

Eugene Grosbein написал(а) к Sergey Anohin в Jul 19 21:20:53 по местному времени:

07 июля 2019, воскресенье, в 11:31 NOVT, Sergey Anohin написал(а):

SA> так mc даже пару сек запускается, когда должен моментально :)

mc нынче может и дольше запускаться на FreeBSD,
причём чем больше памяти в системе, тем пропорционально дольше.
И тормоза вовсе не обязательно из-за файловой системы.

Попробуй угадать, почему, до открытия ссылки (workaround там приведён):
https://bugs.freebsd.org/bugzilla/sh....cgi?id=236815

Eugene
--- slrn/1.0.3 (FreeBSD)

Eugene Grosbein написал(а) к Sergey Anohin в Jul 19 21:25:02 по местному времени:

07 июля 2019, воскресенье, в 16:35 NOVT, Sergey Anohin написал(а):

SA>>> zroot/var/db/mysql primarycache metadata
AK>> угадай, как это работает в сочетании с prefetch?
SA> префетч у меня выключен, как пишут: База данных осуществляет чтение в
SA> произвольном порядке, который нельзя предсказать.
SA> Отключение префетча позволяет избежать ненужных операций чтения. ZFS кэширует
SA> данные в ARC, используя свободную оперативную память.
SA> Поскольку страницы InnoDB уже кэшируются в буфер пуле, отключим кэширование
SA> файлов данных InnoDB: zfs set primarycache=metadata

Только вот массированное копирование данных это вовсе не чтение
в произвольном порядке и перед таким копированием prefetch
лучше бы включить. Не говоря уже о том, что хранение сжимаемых
данных ведёт к том, что на из запись требуется меньше времени,
как и на чтение потом - если CPU не MIPS32 и не Atom.

Eugene
--- slrn/1.0.3 (FreeBSD)

Sergey Anohin написал(а) к Alex Korchmar в Jul 19 17:09:22 по местному времени:

Нello, Alex!

AK> тупого копирования этой же innodb, 4x write multiply - лехко, ну и вообще top
AK> стоило показать до и после).

Компрессию включил. Тестим тупое копирование.

(pts/2)[root@server:~]# sysctl vfs.zfs.prefetch_disable
vfs.zfs.prefetch_disable: 1

до:

last pid: 74368; load averages: 0.64, 0.36, 0.28 up 1+16:02:36 16:42:59
120 processes: 1 running, 119 sleeping
CPU: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
Mem: 2258M Active, 965M Inact, 401M Laundry, 3894M Wired, 300M Free
ARC: 3185M Total, 2957M MFU, 158M MRU, 3060K Anon, 17M Нeader, 52M Other
2821M Compressed, 2984M Uncompressed, 1.06:1 Ratio
Swap: 4096M Total, 155M Used, 3941M Free, 3% Inuse

во время (через 10 минут после старта):

last pid: 89204; load averages: 0.22, 0.25, 0.24 up 1+16:28:21 17:08:44
132 processes: 3 running, 129 sleeping
CPU: 1.2% user, 0.0% nice, 3.1% system, 0.0% interrupt, 95.7% idle
Mem: 2278M Active, 965M Inact, 401M Laundry, 3927M Wired, 249M Free
ARC: 3298M Total, 2727M MFU, 405M MRU, 80M Anon, 16M Нeader, 51M Other
2881M Compressed, 3057M Uncompressed, 1.06:1 Ratio
Swap: 4096M Total, 155M Used, 3941M Free, 3% Inuse

PID USERNAME TНR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
82038 root 1 20 0 21M 11M zio->i 2 0:08 5.08% hpt
84662 root 1 20 0 12M 3412K zio->i 0 0:04 1.29% cp


во время копирования:
(pts/2)[root@server:~]# zpool iostat 3
capacity operations bandwidth
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
zroot 380G 1,44T 90 31 11,6M 1,91M
zroot 380G 1,44T 71 63 8,95M 11,5M
zroot 380G 1,44T 90 31 11,2M 11,5M
zroot 380G 1,44T 93 34 11,7M 2,54M
zroot 380G 1,44T 70 72 8,77M 14,2M
zroot 380G 1,44T 100 20 12,6M 2,63M
zroot 380G 1,44T 78 51 9,74M 10,5M
zroot 380G 1,44T 89 20 11,2M 12,1M
zroot 380G 1,44T 95 38 12,0M 2,25M
zroot 380G 1,44T 61 101 7,58M 16,0M
zroot 381G 1,44T 112 26 14,0M 2,43M
zroot 381G 1,44T 73 48 9,16M 10,4M
zroot 381G 1,44T 81 68 10,2M 13,9M

(pts/2)[root@server:~]# zfs get compressratio,used,logicalused zroot/var/db/mysql
NAME PROPERTY VALUE SOURCE
zroot/var/db/mysql compressratio 1.00x -
zroot/var/db/mysql used 15,9G -
zroot/var/db/mysql logicalused 16,0G -
(pts/2)[root@server:~]# zfs get compressratio,used,logicalused zroot/var/db/mysql/ibdata
NAME PROPERTY VALUE SOURCE
zroot/var/db/mysql/ibdata compressratio 1.16x -
zroot/var/db/mysql/ibdata used 626M -
zroot/var/db/mysql/ibdata logicalused 730M -
(pts/2)[root@server:~]# zfs get compressratio,used,logicalused zroot/var/db/mysql/iblogs
NAME PROPERTY VALUE SOURCE
zroot/var/db/mysql/iblogs compressratio 1.00x -
zroot/var/db/mysql/iblogs used 512M -
zroot/var/db/mysql/iblogs logicalused 512M -


С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Sergey Anohin написал(а) к Eugene Grosbein в Jul 19 18:19:47 по местному времени:

Нello, Eugene!

EG> Только вот массированное копирование данных это вовсе не чтение
EG> в произвольном порядке и перед таким копированием prefetch
EG> лучше бы включить. Не говоря уже о том, что хранение сжимаемых
EG> данных ведёт к том, что на из запись требуется меньше времени,
EG> как и на чтение потом - если CPU не MIPS32 и не Atom.

на сколько я понял префетч только глобально можно вкл/выкл?
у себя нашел косяк innodbfile_pertable = 1 а это требует вкл на
zfs set recordsize=16k zroot/var/db/mysql и на zroot/var/db/mysql/ibdata
у меня только на второе было или вырубать innodbfile_pertable = 0

ну еще пишут vfs.zfs.cacheflushdisable=1 и zfs set sync=disabled zroot/var/db/mysql

С наилучшими пожеланиями, Sergey Anohin.

--- wfido

Alex Korchmar написал(а) к Eugene Grosbein в Jul 19 19:23:21 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

EG> Только вот массированное копирование данных это вовсе не чтение
EG> в произвольном порядке и перед таким копированием prefetch
EG> лучше бы включить. Не говоря уже о том, что хранение сжимаемых
ему не поможет из-за cache metadata only. Оно в этом случае работает так:
prefetch читает страйпом, ARC напарывается на primarycache=metadata -
удивляется, роняет прочитанное на пол, потому что сохранять его невелено.
На следующем блоке все повторяется. Удивительно, но тесты это подтверждают.

включать prefetch имеет смысл только вместе с arc для данных, он по другому
не умеет.

кстати, это можно на ходу переключать, в отличие от сжатия и размера блока.

Со сжатием все сложно - оно теоретически - должно работать хорошо
и быстро, а практически тупит в непонятных местах, жрет память и
не работает. С abd_scatter off - крэшится. При сжатии 1.16 я бы выключал
всю эту музыку вместе, пользы от блоков переменного размера innodb около нуля.


> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Sergey Anohin в Jul 19 19:17:20 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Sergey Anohin <Sergey.Anohin@p1.f10.n5034.z2.fidonet.org> wrote:

SA> Компрессию включил. Тестим тупое копирование.
теперь надо переписать все данные заново - она включилась, но твои базы так
и остались как были, с сектором 128k.
А надо было - 16 (или крутить настройки innodb, но это чревато). А, да - логи
пишутся линейно, их трогать не надо.

SA> (pts/2)[root@server:~]# sysctl vfs.zfs.prefetch_disable
SA> vfs.zfs.prefetch_disable: 1
и вот - зачем? (нет, при cache=metadata оно только вредит, но это тоже неясно,
зачем было надо)

SA> zroot/var/db/mysql compressratio 1.00x -
естественно

SA> NAME PROPERTY VALUE SOURCE
SA> zroot/var/db/mysql/ibdata compressratio 1.16x -
не особо, что-то несжимаемое у тебя там лежит, это необычно

в общем, выключай сжатие, arc compress и abd. Для последнего, наверное,
придется пересобрать ведро - смотри в abd.h

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Sergey Anohin в Jul 19 19:18:51 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Sergey Anohin <Sergey.Anohin@p1.f10.n5034.z2.fidonet.org> wrote:

SA> ariapagecache_buffersize = 48M
ffuck, то есть это не mysql, а maria? Тебя ждет еще много открытий чудных, на
первом же sorting on disk.

> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Sergey Anohin в Jul 19 19:26:51 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Sergey Anohin <Sergey.Anohin@p1.f10.n5034.z2.fidonet.org> wrote:

SA> Честно не помню, но сжатие вроде я пользовал выборочно, типа на /usr/src
такому сжатию arc compress необязателен, а вреда от него довольно много.

SA> но надо посвежее сверить:
SA> https://www.percona.com/blog/2017/12...fs-with-mysql/
это можешь сразу выкрасить и выбросить - они там поместили весь активный
dataset в l2arc и рапортуют об охрененных достижениях. Что делать тем, у кого
он не уместится в l2arc - скромно умалчивают.

с отключением double write осторожнее, mysql может иногда при этом превращать
базу в тыкву.


> Alex

--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Eugene Grosbein в Jul 19 19:34:52 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote:

AK>> если ВСЕ хотят свалить - то дело, конечно же, в этих всех, ага.
EG> Угу, а ещё все хотят свалить с линукса и с винды.
кто эти "все"? Вчерашний выпуск школы? Куда их на работу-то берут?

AK>> Других применений фре помимо роутеров из г-на и палок с нулевой
AK>> производительностью - не наблюдается уже десять лет.
EG> У тебя не наблюдается. У меня на фряхах и highload PPPoE,
EG> и мониторинг, и MySQL, и почта, и SMS-шлюзы и ещё куча всего.
троллейбусизбуханки.jpg

EG> Вчера открыл для себя frr7 и eigrpd, с цисками вяжется - подумываю
EG> отказаться от quagga/ospfd/ripd в пользу frr7/eigrpd.
eigrpd прекрасно работает на линухе. И что хуже всего для тебя - именно на нем
его разработчики и тестируют.

в frr вообще тонна линуксспецифичного кода. Новый стандарт, жрите.

впрочем, опять же, эти наколенные сеточки и я его слепила из того что было -
всего лишь сужающаяся нишка дешевых ненужных поделок.
А бизнес уходит на mpls в ядре и cisco aci на access. С наколенными поделками
там просто никуда не подлезешь.


> Alex

--- ifmail v.2.15dev5.4