дебаг

Eugene Grosbein написал(а) к Sergey Anokhin в Feb 19 19:16:16 по местному времени:

11 февр. 2019, понедельник, в 12:00 NOVT, Sergey Anokhin написал(а):

SA> попробовал racoon, запустилось с первого раза, но подключиться по ипсеку
SA> не вышло, включил дебаг, при рестарте ракуна отвалилось все:

Это на какой версии ядра? Какая ревизия?

Eugene
--- slrn/1.0.3 (FreeBSD)

Eugene Grosbein написал(а) к Sergey Anokhin в Feb 19 19:34:02 по местному времени:

11 февр. 2019, понедельник, в 08:47 NOVT, Sergey Anokhin написал(а):

>> Такое еще словил
SA> эмпирически выявил что ядро в корку падает когда идет инсерт в базу,
SA> таблицы большие, файлики большие, может и зфс поломали или память
SA> глючит...пробовал отключать лимит на arc и компрессию не помогло.
SA> пробовал базы утаскивать на ufs раздел тоже не помогло.
SA> все это странно

Обновление до 12 теоретически могло сделать твой пул ZFS несовместимым
с ядром 11.2, особенно если ты апгрейдил пул. Апгредил?

У тебя зеркало ZFS?

Eugene
--
Поэты - страшные люди. У них все святое.
--- slrn/1.0.3 (FreeBSD)

Sergey Anohin написал(а) к Eugene Grosbein в Feb 19 15:43:07 по местному времени:

Нello Eugene* *Grosbein
SA>> попpобовал racoon, запустилось с пеpвого pаза, но подключиться по
SA>> ипсеку не вышло, включил дебаг, пpи pестаpте pакуна отвалилось все:
EG> Это на какой веpсии ядpа? Какая pевизия?

(pts/3)[root@server:~]# uname -ar
FreeBSD server.5034.ru 12.0-STABLE FreeBSD 12.0-STABLE r343904 SERVER amd64

Bye, Eugene Grosbein, 11 февpаля 19
--- FIPS/IP <build 01.14>

Eugene Grosbein написал(а) к Sergey Anokhin в Feb 19 20:12:39 по местному времени:

11 февр. 2019, понедельник, в 12:00 NOVT, Sergey Anokhin написал(а):

SA> Fatal trap 12: page fault while in kernel mode
SA> cpuid = 1; apic id = 01
SA> fault virtual address = 0x28

SA> #7 0xffffffff8118d07e in trap (frame=0xfffffe003fca2980) at
SA> /usr/src/sys/amd64/amd64/trap.c:441
SA> #8 <signal handler called>
SA> #9 0xffffffff80ecd31d in key_freesp (spp=0xfffff80035b2c800) at
SA> /usr/src/sys/netipsec/key.c:1199

Покажи:

frame 9
l

Eugene
--
Прекрасны тонко отшлифованная драгоценность; победитель, раненный в бою;
слон во время течки; река, высыхающая зимой; луна на исходе; юная женщина,
изнуренная наслаждением, и даятель, отдавший все нищим. (Дхарма)
--- slrn/1.0.3 (FreeBSD)

Sergey Anokhin написал(а) к All в Feb 19 21:53:07 по местному времени:

попробовал обновить zpool, bootcode, все так же, накопал вот еще

(pts/4)[root@server:~]# zpool status -v
pool: zroot
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://illumos.org/msg/ZFS-8000-8A
scan: scrub canceled on Mon Feb 11 20:50:59 2019
config:

NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
gpt/disk0 ONLINE 0 0 0

errors: Permanent errors have been detected in the following files:

zroot:<0x21008>
(pts/4)[root@server:~]#

Если сделать scrub оно в цикле ребутится, ребутится падает записывает
корку и снова падает.



--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Sergey Anokhin написал(а) к All в Feb 19 23:22:06 по местному времени:

Просил frame 9:

(pts/3)[root@server:/usr/obj/usr/src/amd64.amd64/sys/SERVER]# kgdb
kernel /var/crash/vmcore.last
GNU gdb (GDB) 8.2.1 [GDB v8.2.1 for FreeBSD]
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-portbld-freebsd12.0".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.

For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from kernel...Reading symbols from
/usr/obj/usr/src/amd64.amd64/sys/SERVER/kernel.debug...done.
done.

Unread portion of the kernel message buffer:


Fatal trap 12: page fault while in kernel mode
cpuid = 2; apic id = 02
fault virtual address = 0x28
fault code = supervisor read data, page not present
instruction pointer = 0x20:0xffffffff80ecd31d
stack pointer = 0x28:0xfffffe003fca7a40
frame pointer = 0x28:0xfffffe003fca7a60
code segment = base 0x0, limit 0xfffff, type 0x1b
= DPL 0, pres 1, long 1, def32 0, gran 1
processor eflags = interrupt enabled, resume, IOPL = 0
current process = 0 (softirq_2)
trap number = 12
panic: page fault
cpuid = 2
time = 1549912176
KDB: stack backtrace:
#0 0xffffffff80c531c7 at kdb_backtrace+0x67
#1 0xffffffff80c07143 at vpanic+0x1a3
#2 0xffffffff80c06f93 at panic+0x43
#3 0xffffffff8118d9ff at trap_fatal+0x35f
#4 0xffffffff8118da59 at trap_pfault+0x49
#5 0xffffffff8118d07e at trap+0x29e
#6 0xffffffff81168ac5 at calltrap+0x8
#7 0xffffffff80eca240 at ipsecdeletepcbpolicy+0x20
#8 0xffffffff80dbaeec at inpcbfreedeferred+0x6c
#9 0xffffffff80c4db1a at epochcalltask+0x1ca
#10 0xffffffff80c51a54 at gtaskqueuerunlocked+0x144
#11 0xffffffff80c516b8 at gtaskqueuethreadloop+0x98
#12 0xffffffff80bc6f23 at fork_exit+0x83
#13 0xffffffff81169abe at fork_trampoline+0xe
Uptime: 1h17m12s
Dumping 1147 out of 8077
MB:..2%..12%..21%..31%..41%..51%..62%..72%..81%..91%

curthread () at ./machine/pcpu.h:230
230 asm("movq %%gs:%P1,%0" : "=r" (td) : "n"
(OFFSETOF_CURTНREAD));
(kgdb) bt
#0 curthread () at ./machine/pcpu.h:230
#1 doadump (textdump=<optimized out>) at
/usr/src/sys/kern/kern_shutdown.c:366
#2 0xffffffff80c06d2b in kern_reboot (howto=260) at
/usr/src/sys/kern/kern_shutdown.c:446
#3 0xffffffff80c071a3 in vpanic (fmt=<optimized out>,
ap=0xfffffe003fca7790) at /usr/src/sys/kern/kern_shutdown.c:872
#4 0xffffffff80c06f93 in panic (fmt=<unavailable>) at
/usr/src/sys/kern/kern_shutdown.c:799
#5 0xffffffff8118d9ff in trap_fatal (frame=0xfffffe003fca7980, eva=40)
at /usr/src/sys/amd64/amd64/trap.c:929
#6 0xffffffff8118da59 in trap_pfault (frame=0xfffffe003fca7980,
usermode=0) at /usr/src/sys/amd64/amd64/trap.c:765
#7 0xffffffff8118d07e in trap (frame=0xfffffe003fca7980) at
/usr/src/sys/amd64/amd64/trap.c:441
#8 <signal handler called>
#9 0xffffffff80ecd31d in key_freesp (spp=0xfffff80267101100) at
/usr/src/sys/netipsec/key.c:1199
#10 0xffffffff80eca240 in ipsecdeletepcbpolicy
(inp=0xfffff80017ff63d0) at /usr/src/sys/netipsec/ipsec_pcb.c:176
#11 0xffffffff80dbaeec in inpcbfreedeferred (ctx=0xfffff80017ff65a8)
at /usr/src/sys/netinet/in_pcb.c:1576
#12 0xffffffff80c4db1a in epochcalltask (arg=<optimized out>) at
/usr/src/sys/kern/subr_epoch.c:507
#13 0xffffffff80c51a54 in gtaskqueuerunlocked
(queue=0xfffff80003363c00) at /usr/src/sys/kern/subr_gtaskqueue.c:376
#14 0xffffffff80c516b8 in gtaskqueuethreadloop (arg=<optimized out>)
at /usr/src/sys/kern/subr_gtaskqueue.c:557
#15 0xffffffff80bc6f23 in fork_exit (callout=0xffffffff80c51620
<gtaskqueuethreadloop>, arg=0xfffffe00025f5038, frame=0xfffffe003fca7c00)
at /usr/src/sys/kern/kern_fork.c:1059
#16 <signal handler called>
(kgdb) frame 9
#9 0xffffffff80ecd31d in key_freesp (spp=0xfffff80267101100) at
/usr/src/sys/netipsec/key.c:1199
1199 KEYDBG(IPSEC_STAMP,
(kgdb)

--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Sergey Anokhin написал(а) к All в Feb 19 00:27:33 по местному времени:

кое что новое в плане дебага еще приметил:

(pts/2)[root@server:/usr/obj/usr/src/amd64.amd64/sys/SERVER]# kgdb
kernel /var/crash/vmcore.last
GNU gdb (GDB) 8.2.1 [GDB v8.2.1 for FreeBSD]
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-portbld-freebsd12.0".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.

For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from kernel...Reading symbols from
/usr/obj/usr/src/amd64.amd64/sys/SERVER/kernel.debug...done.
done.

Unread portion of the kernel message buffer:
panic: Solaris(panic): blkptr at 0xfffffe0059108980 DVA 0 has invalid
OFFSET 72057594038013952
cpuid = 2
time = 1549919776
KDB: stack backtrace:
#0 0xffffffff80c531c7 at kdb_backtrace+0x67
#1 0xffffffff80c07143 at vpanic+0x1a3
#2 0xffffffff80c06f93 at panic+0x43
#3 0xffffffff826d418f at vcmn_err+0xcf
#4 0xffffffff827849ca at zfspanicrecover+0x5a
#5 0xffffffff827c0223 at zfsblkptrverify+0x303
#6 0xffffffff827c030c at zio_read+0x2c
#7 0xffffffff8270cc54 at arc_read+0x704
#8 0xffffffff827195ed at dbuf_read+0x72d
#9 0xffffffff8271d16f at _dbuf_holdimpl+0x57f
#10 0xffffffff8271d37f at dbuf_hold+0x7f
#11 0xffffffff827240ec at dmubuf_hold_noread_bydnode+0x3c
#12 0xffffffff827242ac at dmubuf_hold_bydnode+0x1c
#13 0xffffffff827a69cd at zapget_leafbyblk+0x4d
#14 0xffffffff827a404f at fzap_lookup+0xcf
#15 0xffffffff827aac67 at zaplookupimpl+0x117
#16 0xffffffff827aaad5 at zaplookupnorm+0xa5
#17 0xffffffff827aaa21 at zap_lookup+0x11
Uptime: 2h5m13s
Dumping 1087 out of 8077
MB:..2%..11%..21%..31%..42%..51%..61%..71%..81%..92%

curthread () at ./machine/pcpu.h:230
230 asm("movq %%gs:%P1,%0" : "=r" (td) : "n"
(OFFSETOF_CURTНREAD));
(kgdb) bt
#0 curthread () at ./machine/pcpu.h:230
#1 doadump (textdump=<optimized out>) at
/usr/src/sys/kern/kern_shutdown.c:366
#2 0xffffffff80c06d2b in kern_reboot (howto=260) at
/usr/src/sys/kern/kern_shutdown.c:446
#3 0xffffffff80c071a3 in vpanic (fmt=<optimized out>,
ap=0xfffffe0068148e10) at /usr/src/sys/kern/kern_shutdown.c:872
#4 0xffffffff80c06f93 in panic (fmt=<unavailable>) at
/usr/src/sys/kern/kern_shutdown.c:799
#5 0xffffffff826d418f in vcmn_err (ce=<optimized out>,
fmt=0xffffffff82878f37 "blkptr at %p DVA %u has invalid OFFSET %llu",
adx=0xfffffe0068148fa0)
at /usr/src/sys/cddl/compat/opensolaris/kern/opensolariscmnerr.c:58
#6 0xffffffff827849ca in zfspanicrecover (fmt=<unavailable>) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/spa_misc.c:1653
#7 0xffffffff827c0223 in zfsblkptrverify (spa=0xfffffe004fdba000,
bp=0xfffffe0059108980)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c:835
#8 0xffffffff827c030c in zio_read (pio=0xfffff8015aeda830,
spa=0xfffffe004fdba000, bp=0xfffffe0059108980, data=0xfffff8020ac939c0,
size=16384,
done=0xffffffff8270ddd0 <arcreaddone>,
private=0xfffff8013c686700, priority=ZIOPRIORITY_SYNCREAD,
flags=ZIOFLAGCANFAIL, zb=0xfffffe0068149120)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zio.c:879
#9 0xffffffff8270cc54 in arc_read (pio=0xfffff8015aeda830,
spa=0xfffffe004fdba000, bp=0xfffffe0059108980, done=0xfffff8002f39fbc0,
private=0xfffff8011bff2580, priority=ZIOPRIORITY_SYNCREAD,
zioflags=128, arcflags=0xfffffe0068149164, zb=0xfffffe0068149120)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/arc.c:6080
#10 0xffffffff827195ed in dbufreadimpl (db=<optimized out>,
flags=<optimized out>, zio=<optimized out>)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:1310
#11 dbuf_read (db=0xfffff8002f5c0960, zio=0xfffff8015aeda830,
flags=<optimized out>) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:1435
#12 0xffffffff8271d16f in dbuf_findbp (dn=<optimized out>,
level=<optimized out>, blkid=10632, fail_sparse=<optimized out>,
parentp=0xfffff801ad8ac038,
bpp=<optimized out>, dh=0xfffff801ad8ac000) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:2506
#13 _dbuf_holdimpl (dh=0xfffff801ad8ac000) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:2931
#14 0xffffffff8271d37f in dbufholdimpl (dn=0xfffff8018ab6e000, level=0
'\000', blkid=10632, failsparse=0, failuncached=0, tag=0x0, dbp=0x0)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:3032
#15 dbufholdlevel (dn=0xfffff8018ab6e000, level=0, blkid=10632,
tag=0x0) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:3075
#16 dbuf_hold (dn=0xfffff8018ab6e000, blkid=10632, tag=0x0) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dbuf.c:3068
#17 0xffffffff827240ec in dmubuf_hold_noread_bydnode
(dn=0xfffff8018ab6e000, offset=<optimized out>, tag=<unavailable>,
dbp=0xfffffe00681492c8)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dmu.c:160
#18 0xffffffff827242ac in dmubuf_hold_bydnode (dn=<unavailable>,
offset=<unavailable>, tag=0x0, dbp=0xfffffe00681492c8, flags=1)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/dmu.c:208
#19 0xffffffff827a69cd in zapget_leafbyblk (zap=0xfffff80111de9200,
blkid=10632, tx=0x0, lt=RW_READER, lp=0xfffffe0068149340)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zap.c:498
#20 0xffffffff827a404f in zapderefleaf (zap=0xfffff80111de9200,
h=<optimized out>, tx=<unavailable>, lt=RW_READER, lp=0xfffffe00681493e0)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zap.c:580
#21 fzaplookup (zn=0xfffff8011ce98200, integer_size=8, numintegers=1,
buf=0xfffffe0068149490, realname=0x0, rn_len=0, ncp=0x0)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zap.c:761
#22 0xffffffff827aac67 in zaplookupimpl (zap=0xfffff80111de9200,
name=<optimized out>, integersize=8, numintegers=1,
buf=0xfffffe0068149490,
mt=<optimized out>, realname=0x0, rn_len=0, ncp=0x0) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zap_micro.c:915
#23 0xffffffff827aaad5 in zaplookupnorm (os=<optimized out>,
zapobj=<optimized out>, name=<optimized out>, integer_size=8,
num_integers=1,
buf=0xfffffe0068149490, mt=(unknown: 0), realname=0x0, rn_len=0,
ncp=0x0) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zap_micro.c:954
#24 0xffffffff827aaa21 in zap_lookup (os=<unavailable>,
zapobj=<unavailable>, name=<unavailable>, integer_size=<unavailable>,
num_integers=<unavailable>,
buf=<unavailable>) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zap_micro.c:898
#25 0xffffffff827d41f9 in zfsmatchfind (zfsvfs=<optimized out>,
dzp=<optimized out>, name=<optimized out>, mt=<optimized out>,
zoid=<optimized out>)
at /usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_dir.c:81
#26 zfsdirentlookup (dzp=0xfffff8003812a110, name=0xfffffe0068149610
"0_NCiНyz6S.xml", zpp=0xfffffe00681494d8, flag=2)
--Type <RET> for more, q to quit, c to continue without paging--RET
at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_dir.c:177
#27 0xffffffff827d42e7 in zfs_dirlook (dzp=0xfffff8003812a110,
name=<unavailable>, zpp=0xfffffe0068149590)
at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_dir.c:238
#28 0xffffffff827edacf in zfs_lookup (dvp=<optimized out>, nm=<optimized
out>, vpp=<optimized out>, cnp=<optimized out>, nameiop=<optimized out>,
cr=<optimized out>, td=<optimized out>, flags=<optimized out>) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vnops.c:1658
#29 0xffffffff827ee1fe in zfsfreebsdlookup (ap=0xfffffe0068149778) at
/usr/src/sys/cddl/contrib/opensolaris/uts/common/fs/zfs/zfs_vnops.c:4960
#30 0xffffffff81314ba8 in VOPCACНEDLOOKUPAPV (vop=<optimized out>,
a=0xfffffe0068149778) at vnode_if.c:195
#31 0xffffffff80cc0846 in VOP_CACНEDLOOKUP (dvp=<optimized out>,
vpp=<optimized out>, cnp=<optimized out>) at ./vnode_if.h:80
#32 vfscachelookup (ap=<optimized out>) at
/usr/src/sys/kern/vfs_cache.c:2109
#33 0xffffffff81314a78 in VOPLOOKUPAPV (vop=<optimized out>,
a=0xfffffe0068149840) at vnode_if.c:127
#34 0xffffffff80cc9fa1 in VOP_LOOKUP (vpp=0xfffffe00681499d8,
cnp=0xfffffe0068149a00, dvp=<optimized out>) at ./vnode_if.h:54
#35 lookup (ndp=0xfffffe0068149978) at /usr/src/sys/kern/vfs_lookup.c:879
#36 0xffffffff80cc948b in namei (ndp=0xfffffe0068149978) at
/usr/src/sys/kern/vfs_lookup.c:444
#37 0xffffffff80ce06a6 in kern_accessat (td=<optimized out>, fd=-100,
path=<optimized out>, pathseg=<optimized out>, flag=<optimized out>,
amode=0)
at /usr/src/sys/kern/vfs_syscalls.c:1986
#38 0xffffffff8118e592 in syscallenter (td=<optimized out>) at
/usr/src/sys/amd64/amd64/../../kern/subr_syscall.c:135
#39 amd64_syscall (td=0xfffff8011bff2580, traced=0) at
/usr/src/sys/amd64/amd64/trap.c:1154
#40 <signal handler called>
#41 0x00000008003e703a in ?? ()
Backtrace stopped: Cannot access memory at address 0x7fffffffd628
(kgdb)
--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Eugene Grosbein написал(а) к Sergey Anokhin в Feb 19 11:29:58 по местному времени:

11 февр. 2019, понедельник, в 21:53 NOVT, Sergey Anokhin написал(а):

SA> (pts/4)[root@server:~]# zpool status -v
SA> pool: zroot
SA> state: ONLINE
SA> status: One or more devices has experienced an error resulting in data
SA> corruption. Applications may be affected.
SA> action: Restore the file in question if possible. Otherwise restore the
SA> entire pool from backup.
SA> see: http://illumos.org/msg/ZFS-8000-8A
SA> scan: scrub canceled on Mon Feb 11 20:50:59 2019
SA> config:
SA> NAME STATE READ WRITE CKSUM
SA> zroot ONLINE 0 0 0
SA> gpt/disk0 ONLINE 0 0 0
SA> errors: Permanent errors have been detected in the following files:
SA> zroot:<0x21008>
SA> (pts/4)[root@server:~]#
SA> Если сделать scrub оно в цикле ребутится, ребутится падает записывает
SA> корку и снова падает.

Тебе пора писать в stable@freebsd.org вот с этой информацией,
у тебя повреждён пул и из-за бага в ядре оно не может его починить.

Ты не ответил - у тебя зеркало? Вполне вероятно, что тебе придётся
разобрать зеркало (zpool split), создать новый пул на втором диске,
скопировать все данные на новый пул, за исключением базы MySQL,
при обращении к которой ZFS паникует, а базу накатить из бекапов
и убить старый пул, а потом освободившийся диск обратно вставить
в зеркало. Если у тебя зеркало.

Eugene
--- slrn/1.0.3 (FreeBSD)

Eugene Grosbein написал(а) к Sergey Anokhin в Feb 19 11:41:12 по местному времени:

11 февр. 2019, понедельник, в 23:22 NOVT, Sergey Anokhin написал(а):

SA> Просил frame 9:

SA> (kgdb) frame 9
SA> #9 0xffffffff80ecd31d in key_freesp (spp=0xfffff80267101100) at
SA> /usr/src/sys/netipsec/key.c:1199
SA> 1199 KEYDBG(IPSEC_STAMP,
SA> (kgdb)

Паникует на отладочной выдаче из-за options IPSEC_DEBUG в ядре.
Убери пока её из ядра и паниковать перестанет при остановке ракуна
по этой причине перестанет.

Eugene
--
Однажды, будучи ещё мальчишкой, я был на каникулах и прогуливался вдоль реки.
Я увидел выдру с выводком. Весьма умилительное зрелище, думаю, вы согласитесь
со мной. Выдра нырнула и поймала жирного лосося, которого она с трудом
выволокла на ствол полузатопленного дерева и принялась пожирать, разумеется,
заживо. Из распоротого брюха лосося вывалилась икра, о, я до сих пор помню
чудесный розовый цвет этих икринок, к которым тут же бросились маленькие выдры,
ссорясь между собой за лакомство. Чудо природы: мать и дети, пожирающие
мать и детей. Вот тогда я и познал впервые, что есть зло. Оно встроено в саму
природу вселенной.
--- slrn/1.0.3 (FreeBSD)

Sergey Anokhin написал(а) к All в Feb 19 09:58:11 по местному времени:

SA> Если сделать scrub оно в цикле ребутится, ребутится падает записывает
SA> корку и снова падает.
> Тебе пора писать в stable@freebsd.org вот с этой информацией,
> у тебя повреждён пул и из-за бага в ядре оно не может его починить.

я подозреваю в какой-то момент моргнула память или пул сломался
из-за паники, холд ресет и т.п. и вот оно починиться не может.
или может на сайте bug.freebsd.org написать?

> Ты не ответил - у тебя зеркало? Вполне вероятно, что тебе придётся
> разобрать зеркало (zpool split), создать новый пул на втором диске,
> скопировать все данные на новый пул, за исключением базы MySQL,
> при обращении к которой ZFS паникует, а базу накатить из бекапов
> и убить старый пул, а потом освободившийся диск обратно вставить
> в зеркало. Если у тебя зеркало.

Я ответил, но оно не отправилось, у меня single hdd, я думаю даже не в
базе дело, там файлики есть их куча, и они перлом обрабатываются и в
базу всасываются, вот я думаю побился один и при обработке паникует.
Но возможно есть смысл склонировать на другой диск, я тут пытался
бут лоадер проапргейдить, так оно мне сказало что 64к мало )
пришлось на другой диск ставить там где своп.

--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0