#11
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Eugene Grosbein написал(а) к Alex Korchmar в Jul 19 21:15:59 по местному времени:
07 июля 2019, воскресенье, в 09:01 NOVT, Alex Korchmar написал(а): EG>> Если Алекс хочет свалить на Windows вместо линукса, EG>> значит дело тут в самом Алексе, нежели во фряхе. AK> если ВСЕ хотят свалить - то дело, конечно же, в этих всех, ага. Угу, а ещё все хотят свалить с линукса и с винды. EG>> Он перестал "возиться с FreeBSD" в том смысле, EG>> в каком он возился в прошлой жизни Рамблера, очень давно - AK> он все еще держит свою основную работу, от которой вообще-то и кормится - AK> на хранилке с фрей. И она его, похоже, уже немножечко достала. А сам Алекс-то в курсе, что "она его немножечко достала"? Всё, что я смог на эту тему найти у него в блоге, это двухмесячной давности камент: AT> Я, надо сказать, разнеся файлер и "остальной сервер" - AT> всерьез подумываю а не посмотреть ли на Windows Server в качестве файлера. AT> Когда изведу дома совсем старые макоси (которые не умеют тайм машину на SMB) - AT> задумаюсь еще серьезнее. Подумывал посмотреть на. AK> Других применений фре помимо роутеров из г-на и палок с нулевой AK> производительностью - не наблюдается уже десять лет. У тебя не наблюдается. У меня на фряхах и highload PPPoE, и мониторинг, и MySQL, и почта, и SMS-шлюзы и ещё куча всего. Вчера открыл для себя frr7 и eigrpd, с цисками вяжется - подумываю отказаться от quagga/ospfd/ripd в пользу frr7/eigrpd. Eugene --- slrn/1.0.3 (FreeBSD) |
#12
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Eugene Grosbein написал(а) к Sergey Anohin в Jul 19 21:20:53 по местному времени:
07 июля 2019, воскресенье, в 11:31 NOVT, Sergey Anohin написал(а): SA> так mc даже пару сек запускается, когда должен моментально :) mc нынче может и дольше запускаться на FreeBSD, причём чем больше памяти в системе, тем пропорционально дольше. И тормоза вовсе не обязательно из-за файловой системы. Попробуй угадать, почему, до открытия ссылки (workaround там приведён): https://bugs.freebsd.org/bugzilla/sh....cgi?id=236815 Eugene --- slrn/1.0.3 (FreeBSD) |
#13
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Eugene Grosbein написал(а) к Sergey Anohin в Jul 19 21:25:02 по местному времени:
07 июля 2019, воскресенье, в 16:35 NOVT, Sergey Anohin написал(а): SA>>> zroot/var/db/mysql primarycache metadata AK>> угадай, как это работает в сочетании с prefetch? SA> префетч у меня выключен, как пишут: База данных осуществляет чтение в SA> произвольном порядке, который нельзя предсказать. SA> Отключение префетча позволяет избежать ненужных операций чтения. ZFS кэширует SA> данные в ARC, используя свободную оперативную память. SA> Поскольку страницы InnoDB уже кэшируются в буфер пуле, отключим кэширование SA> файлов данных InnoDB: zfs set primarycache=metadata Только вот массированное копирование данных это вовсе не чтение в произвольном порядке и перед таким копированием prefetch лучше бы включить. Не говоря уже о том, что хранение сжимаемых данных ведёт к том, что на из запись требуется меньше времени, как и на чтение потом - если CPU не MIPS32 и не Atom. Eugene --- slrn/1.0.3 (FreeBSD) |
#14
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Sergey Anohin написал(а) к Alex Korchmar в Jul 19 17:09:22 по местному времени:
Нello, Alex! AK> тупого копирования этой же innodb, 4x write multiply - лехко, ну и вообще top AK> стоило показать до и после). Компрессию включил. Тестим тупое копирование. (pts/2)[root@server:~]# sysctl vfs.zfs.prefetch_disable vfs.zfs.prefetch_disable: 1 до: last pid: 74368; load averages: 0.64, 0.36, 0.28 up 1+16:02:36 16:42:59 120 processes: 1 running, 119 sleeping CPU: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle Mem: 2258M Active, 965M Inact, 401M Laundry, 3894M Wired, 300M Free ARC: 3185M Total, 2957M MFU, 158M MRU, 3060K Anon, 17M Нeader, 52M Other 2821M Compressed, 2984M Uncompressed, 1.06:1 Ratio Swap: 4096M Total, 155M Used, 3941M Free, 3% Inuse во время (через 10 минут после старта): last pid: 89204; load averages: 0.22, 0.25, 0.24 up 1+16:28:21 17:08:44 132 processes: 3 running, 129 sleeping CPU: 1.2% user, 0.0% nice, 3.1% system, 0.0% interrupt, 95.7% idle Mem: 2278M Active, 965M Inact, 401M Laundry, 3927M Wired, 249M Free ARC: 3298M Total, 2727M MFU, 405M MRU, 80M Anon, 16M Нeader, 51M Other 2881M Compressed, 3057M Uncompressed, 1.06:1 Ratio Swap: 4096M Total, 155M Used, 3941M Free, 3% Inuse PID USERNAME TНR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 82038 root 1 20 0 21M 11M zio->i 2 0:08 5.08% hpt 84662 root 1 20 0 12M 3412K zio->i 0 0:04 1.29% cp во время копирования: (pts/2)[root@server:~]# zpool iostat 3 capacity operations bandwidth pool alloc free read write read write ---------- ----- ----- ----- ----- ----- ----- zroot 380G 1,44T 90 31 11,6M 1,91M zroot 380G 1,44T 71 63 8,95M 11,5M zroot 380G 1,44T 90 31 11,2M 11,5M zroot 380G 1,44T 93 34 11,7M 2,54M zroot 380G 1,44T 70 72 8,77M 14,2M zroot 380G 1,44T 100 20 12,6M 2,63M zroot 380G 1,44T 78 51 9,74M 10,5M zroot 380G 1,44T 89 20 11,2M 12,1M zroot 380G 1,44T 95 38 12,0M 2,25M zroot 380G 1,44T 61 101 7,58M 16,0M zroot 381G 1,44T 112 26 14,0M 2,43M zroot 381G 1,44T 73 48 9,16M 10,4M zroot 381G 1,44T 81 68 10,2M 13,9M (pts/2)[root@server:~]# zfs get compressratio,used,logicalused zroot/var/db/mysql NAME PROPERTY VALUE SOURCE zroot/var/db/mysql compressratio 1.00x - zroot/var/db/mysql used 15,9G - zroot/var/db/mysql logicalused 16,0G - (pts/2)[root@server:~]# zfs get compressratio,used,logicalused zroot/var/db/mysql/ibdata NAME PROPERTY VALUE SOURCE zroot/var/db/mysql/ibdata compressratio 1.16x - zroot/var/db/mysql/ibdata used 626M - zroot/var/db/mysql/ibdata logicalused 730M - (pts/2)[root@server:~]# zfs get compressratio,used,logicalused zroot/var/db/mysql/iblogs NAME PROPERTY VALUE SOURCE zroot/var/db/mysql/iblogs compressratio 1.00x - zroot/var/db/mysql/iblogs used 512M - zroot/var/db/mysql/iblogs logicalused 512M - С наилучшими пожеланиями, Sergey Anohin. --- wfido |
#15
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Sergey Anohin написал(а) к Eugene Grosbein в Jul 19 18:19:47 по местному времени:
Нello, Eugene! EG> Только вот массированное копирование данных это вовсе не чтение EG> в произвольном порядке и перед таким копированием prefetch EG> лучше бы включить. Не говоря уже о том, что хранение сжимаемых EG> данных ведёт к том, что на из запись требуется меньше времени, EG> как и на чтение потом - если CPU не MIPS32 и не Atom. на сколько я понял префетч только глобально можно вкл/выкл? у себя нашел косяк innodbfile_pertable = 1 а это требует вкл на zfs set recordsize=16k zroot/var/db/mysql и на zroot/var/db/mysql/ibdata у меня только на второе было или вырубать innodbfile_pertable = 0 ну еще пишут vfs.zfs.cacheflushdisable=1 и zfs set sync=disabled zroot/var/db/mysql С наилучшими пожеланиями, Sergey Anohin. --- wfido |
#16
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Alex Korchmar написал(а) к Eugene Grosbein в Jul 19 19:23:21 по местному времени:
From: Alex Korchmar <noreply@linux.e-moe.ru> Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote: EG> Только вот массированное копирование данных это вовсе не чтение EG> в произвольном порядке и перед таким копированием prefetch EG> лучше бы включить. Не говоря уже о том, что хранение сжимаемых ему не поможет из-за cache metadata only. Оно в этом случае работает так: prefetch читает страйпом, ARC напарывается на primarycache=metadata - удивляется, роняет прочитанное на пол, потому что сохранять его невелено. На следующем блоке все повторяется. Удивительно, но тесты это подтверждают. включать prefetch имеет смысл только вместе с arc для данных, он по другому не умеет. кстати, это можно на ходу переключать, в отличие от сжатия и размера блока. Со сжатием все сложно - оно теоретически - должно работать хорошо и быстро, а практически тупит в непонятных местах, жрет память и не работает. С abd_scatter off - крэшится. При сжатии 1.16 я бы выключал всю эту музыку вместе, пользы от блоков переменного размера innodb около нуля. > Alex --- ifmail v.2.15dev5.4 |
#17
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Alex Korchmar написал(а) к Sergey Anohin в Jul 19 19:17:20 по местному времени:
From: Alex Korchmar <noreply@linux.e-moe.ru> Sergey Anohin <Sergey.Anohin@p1.f10.n5034.z2.fidonet.org> wrote: SA> Компрессию включил. Тестим тупое копирование. теперь надо переписать все данные заново - она включилась, но твои базы так и остались как были, с сектором 128k. А надо было - 16 (или крутить настройки innodb, но это чревато). А, да - логи пишутся линейно, их трогать не надо. SA> (pts/2)[root@server:~]# sysctl vfs.zfs.prefetch_disable SA> vfs.zfs.prefetch_disable: 1 и вот - зачем? (нет, при cache=metadata оно только вредит, но это тоже неясно, зачем было надо) SA> zroot/var/db/mysql compressratio 1.00x - естественно SA> NAME PROPERTY VALUE SOURCE SA> zroot/var/db/mysql/ibdata compressratio 1.16x - не особо, что-то несжимаемое у тебя там лежит, это необычно в общем, выключай сжатие, arc compress и abd. Для последнего, наверное, придется пересобрать ведро - смотри в abd.h > Alex --- ifmail v.2.15dev5.4 |
#18
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Alex Korchmar написал(а) к Sergey Anohin в Jul 19 19:18:51 по местному времени:
From: Alex Korchmar <noreply@linux.e-moe.ru> Sergey Anohin <Sergey.Anohin@p1.f10.n5034.z2.fidonet.org> wrote: SA> ariapagecache_buffersize = 48M ffuck, то есть это не mysql, а maria? Тебя ждет еще много открытий чудных, на первом же sorting on disk. > Alex --- ifmail v.2.15dev5.4 |
#19
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Alex Korchmar написал(а) к Sergey Anohin в Jul 19 19:26:51 по местному времени:
From: Alex Korchmar <noreply@linux.e-moe.ru> Sergey Anohin <Sergey.Anohin@p1.f10.n5034.z2.fidonet.org> wrote: SA> Честно не помню, но сжатие вроде я пользовал выборочно, типа на /usr/src такому сжатию arc compress необязателен, а вреда от него довольно много. SA> но надо посвежее сверить: SA> https://www.percona.com/blog/2017/12...fs-with-mysql/ это можешь сразу выкрасить и выбросить - они там поместили весь активный dataset в l2arc и рапортуют об охрененных достижениях. Что делать тем, у кого он не уместится в l2arc - скромно умалчивают. с отключением double write осторожнее, mysql может иногда при этом превращать базу в тыкву. > Alex --- ifmail v.2.15dev5.4 |
#20
|
|||
|
|||
Re: Еще одна причина уйти с ZFS
Alex Korchmar написал(а) к Eugene Grosbein в Jul 19 19:34:52 по местному времени:
From: Alex Korchmar <noreply@linux.e-moe.ru> Eugene Grosbein <Eugene.Grosbein@f1.n5006.z2.fidonet.org> wrote: AK>> если ВСЕ хотят свалить - то дело, конечно же, в этих всех, ага. EG> Угу, а ещё все хотят свалить с линукса и с винды. кто эти "все"? Вчерашний выпуск школы? Куда их на работу-то берут? AK>> Других применений фре помимо роутеров из г-на и палок с нулевой AK>> производительностью - не наблюдается уже десять лет. EG> У тебя не наблюдается. У меня на фряхах и highload PPPoE, EG> и мониторинг, и MySQL, и почта, и SMS-шлюзы и ещё куча всего. троллейбусизбуханки.jpg EG> Вчера открыл для себя frr7 и eigrpd, с цисками вяжется - подумываю EG> отказаться от quagga/ospfd/ripd в пользу frr7/eigrpd. eigrpd прекрасно работает на линухе. И что хуже всего для тебя - именно на нем его разработчики и тестируют. в frr вообще тонна линуксспецифичного кода. Новый стандарт, жрите. впрочем, опять же, эти наколенные сеточки и я его слепила из того что было - всего лишь сужающаяся нишка дешевых ненужных поделок. А бизнес уходит на mpls в ядре и cisco aci на access. С наколенными поделками там просто никуда не подлезешь. > Alex --- ifmail v.2.15dev5.4 |