[q->bq_add_cv] и вставание колом

Victor Sudakov написал(а) к All в Jan 19 19:04:16 по местному времени:

Dear All,

На 11.2 amd64 во время исполнения "zfs recv" система полностью встала колом в сабжемов состоянии:

# vm image provision 6ef5099c-0f75-11e9-b287-18a6f701618b www3
Unpacking guest image, this may take some time...
load: 19.21 cmd: zfs 31970 [q->bqaddcv] 13781.86r 0.00u 0.01s 0% 3896k
^C
load: 30.18 cmd: zfs 31970 [q->bqaddcv] 14246.96r 0.00u 0.01s 0% 3896k

Это что-то известное, или нечто новенькое?



Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Eugene Grosbein написал(а) к Victor Sudakov в Jan 19 01:44:31 по местному времени:

07 янв. 2019, понедельник, в 19:04 NOVT, Victor Sudakov написал(а):

VS> На 11.2 amd64 во время исполнения "zfs recv" система полностью встала колом в
VS> сабжемов состоянии:
VS> # vm image provision 6ef5099c-0f75-11e9-b287-18a6f701618b www3
VS> Unpacking guest image, this may take some time...
VS> load: 19.21 cmd: zfs 31970 [q->bqaddcv] 13781.86r 0.00u 0.01s 0% 3896k
VS> ^C
VS> load: 30.18 cmd: zfs 31970 [q->bqaddcv] 14246.96r 0.00u 0.01s 0% 3896k
VS> Это что-то известное, или нечто новенькое?

Вставание колом для zfs не то чтобы особо частое событие,
но и не экстраординарное, я даже умею воспроизводить
залипание в tx->txsync_donecv
( https://bugs.freebsd.org/bugzilla/sh....cgi?id=229694 )

Заведи PR для своего слоучая и приложи вывод procstat -kk -a
в момент залипания.

Eugene
--
И знатную леди от Джуди О'Греди
Не сможет никто отличить.
--- slrn/1.0.3 (FreeBSD)

Victor Sudakov написал(а) к eugen в Jan 19 18:13:16 по местному времени:

Dear eugen,

09 Jan 19 01:44, Eugene Grosbein wrote to me:

VS>> На 11.2 amd64 во время исполнения "zfs recv" система полностью
VS>> встала колом в сабжемов состоянии: # vm image provision
VS>> 6ef5099c-0f75-11e9-b287-18a6f701618b www3 Unpacking guest image,
VS>> this may take some time...
VS>> load: 19.21 cmd: zfs 31970 [q->bqaddcv] 13781.86r 0.00u 0.01s
VS>> 0% 3896k ^C
VS>> load: 30.18 cmd: zfs 31970 [q->bqaddcv] 14246.96r 0.00u 0.01s
VS>> 0% 3896k Это что-то известное, или нечто новенькое?

EG> Вставание колом для zfs не то чтобы особо частое событие,
EG> но и не экстраординарное, я даже умею воспроизводить
EG> залипание в tx->txsync_donecv
EG> ( https://bugs.freebsd.org/bugzilla/sh....cgi?id=229694 )

EG> Заведи PR для своего слоучая и приложи вывод procstat -kk -a
EG> в момент залипания.

А оно у меня только на одной машине воспроизводится, а её жалко, она в продакшене и на ней много виртуалок.
На остальных "vm image provision" не вызывает никаких плохих последствий.
Единственное различие - на той машине ZFS mirror, может ли это быть связано?

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Eugene Grosbein написал(а) к Victor Sudakov в Jan 19 01:24:01 по местному времени:

14 янв. 2019, понедельник, в 18:13 NOVT, Victor Sudakov написал(а):

VS> А оно у меня только на одной машине воспроизводится, а её жалко, она в
VS> продакшене и на ней много виртуалок.
VS> На остальных "vm image provision" не вызывает никаких плохих последствий.
VS> Единственное различие - на той машине ZFS mirror, может ли это быть связано?

Не знаю. Вообще при использовании ZFS совместно с виртуалками,
когда zvol отдаётся гостевой системе, важно переключать volmode
из дефолтного режима geom в dev, чтобы ничто в ядре freebsd
не пыталось соваться в том (не будем показывать пальцем,
хотя это был GEOM taste), об этом написано в man zfs в описании
volmode. У тебя поди дефолтный geom?

Известно, что комбинация "гипервизор+ZFS+volmode=geom" приводит
к дедлокам и обходной путь вокруг дедлоков это volmode=dev.

Eugene
--- slrn/1.0.3 (FreeBSD)

Victor Sudakov написал(а) к Eugene Grosbein в Jan 19 12:35:04 по местному времени:

Dear Eugene,

14 Jan 19 18:13, I wrote to eugen:

VS>>> На 11.2 amd64 во время исполнения "zfs recv" система полностью
VS>>> встала колом в сабжемов состоянии: # vm image provision
VS>>> 6ef5099c-0f75-11e9-b287-18a6f701618b www3 Unpacking guest image,
VS>>> this may take some time...
VS>>> load: 19.21 cmd: zfs 31970 [q->bqaddcv] 13781.86r 0.00u 0.01s
VS>>> 0% 3896k ^C
VS>>> load: 30.18 cmd: zfs 31970 [q->bqaddcv] 14246.96r 0.00u 0.01s
VS>>> 0% 3896k Это что-то известное, или нечто новенькое?

EG>> Вставание колом для zfs не то чтобы особо частое событие,
EG>> но и не экстраординарное, я даже умею воспроизводить
EG>> залипание в tx->txsync_donecv
EG>> ( https://bugs.freebsd.org/bugzilla/sh....cgi?id=229694 )

EG>> Заведи PR для своего слоучая и приложи вывод procstat -kk -a
EG>> в момент залипания.

И твой PR на поврежденном пуле, так что это менее удивительно. В моём случае scrub ошибок не находит.

VS> А оно у меня только на одной машине воспроизводится, а её жалко, она в
VS> продакшене и на ней много виртуалок. На остальных "vm image provision"
VS> не вызывает никаких плохих последствий. Единственное различие - на той
VS> машине ZFS mirror, может ли это быть связано?

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Victor Sudakov написал(а) к eugen в Jan 19 12:40:44 по местному времени:

Dear eugen,

15 Jan 19 01:24, Eugene Grosbein wrote to me:

VS>> А оно у меня только на одной машине воспроизводится, а её жалко,
VS>> она в продакшене и на ней много виртуалок. На остальных "vm image
VS>> provision" не вызывает никаких плохих последствий. Единственное
VS>> различие - на той машине ZFS mirror, может ли это быть связано?

EG> Не знаю. Вообще при использовании ZFS совместно с виртуалками,
EG> когда zvol отдаётся гостевой системе, важно переключать volmode
EG> из дефолтного режима geom в dev, чтобы ничто в ядре freebsd
EG> не пыталось соваться в том (не будем показывать пальцем,
EG> хотя это был GEOM taste), об этом написано в man zfs в описании
EG> volmode. У тебя поди дефолтный geom?

У меня дефолтный, но виртуалки в обычных файлах, а не в zvol. Правда каждая виртуалка (образы дисков и конфиги) находится на отдельной fs, но с точки зрения основной системы - это просто каталоги с файлами. Так уж устроен sysutils/vm-bhyve.

EG> Известно, что комбинация "гипервизор+ZFS+volmode=geom" приводит
EG> к дедлокам и обходной путь вокруг дедлоков это volmode=dev.

Видимо не мой случай.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322

Victor Sudakov написал(а) к Eugene Grosbein в Feb 19 20:26:04 по местному времени:

Dear Eugene,

EG> Не знаю. Вообще при использовании ZFS совместно с виртуалками, когда
EG> zvol отдаётся гостевой системе, важно переключать volmode из
EG> дефолтного режима geom в dev, чтобы ничто в ядре freebsd не пыталось
EG> соваться в том

Кстати, обнаружилось что sysutils/vm-bhyve научился работать с zvol, причём автоматически на созданные тома ставит volmode=dev. До чего же грамотная штука.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20160322-b20160322