дебаг

Eugene Grosbein написал(а) к Sergey Anokhin в Feb 19 09:45:15 по местному времени:

09 февр. 2019, суббота, в 00:10 NOVT, Sergey Anokhin написал(а):

SA>> Если не получится, так и придется даунгрейд делать...
SA>> Там придется наоборот сначала мир поставить а потом ядро?
>> Всегда надо ставить сначала ядро. Только вот даунгрейд у нас официально
>> не поддерживается и у тебя могут быть большие проблемы с /etc
SA> Я как-то забыл ядро на место поставить после nextboot, и получилось
SA> новый мир и старое ядро, так оно не заводилось, а вот старый мир с новым
SA> ядром заводилось

Это я и сказал.

>> Лучше теперь пробуй stable/12 обновлять и собирать, оно должно собираться.
SA> Я и до этого 12 stable пробовал, щас идет сборка, я сегодня сырцы
SA> обновлял. Только решил добавить две опции, WITНOUT SYSTEM COMPILER и
SA> WITНOUT SYSTEM LINKER (не дословно)

Если у тебя используются недефолтные опции сборки и система
не собирается, первым делом надо отключить эти опции -
из-за них как раз и может не собираться. Типа намёк.

Eugene
--- slrn/1.0.3 (FreeBSD)

Sergey Anokhin написал(а) к Eugene Grosbein в Feb 19 10:53:29 по местному времени:

SA>> Если не получится, так и придется даунгрейд делать...
SA>> Там придется наоборот сначала мир поставить а потом ядро?
>> Всегда надо ставить сначала ядро. Только вот даунгрейд у нас официально
>> не поддерживается и у тебя могут быть большие проблемы с /etc
SA> Я как-то забыл ядро на место поставить после nextboot, и получилось
SA> новый мир и старое ядро, так оно не заводилось, а вот старый мир с новым
SA> ядром заводилось
> Это я и сказал.

Так если даунгрейдиться и поставить сначала ядро, после ребута у нас
будет старое ядро и новый мир и так оно не заведется или я не так думаю?

>> Лучше теперь пробуй stable/12 обновлять и собирать, оно должно собираться.
SA> Я и до этого 12 stable пробовал, щас идет сборка, я сегодня сырцы
SA> обновлял. Только решил добавить две опции, WITНOUT SYSTEM COMPILER и
SA> WITНOUT SYSTEM LINKER (не дословно)
> Если у тебя используются недефолтные опции сборки и система
> не собирается, первым делом надо отключить эти опции -
> из-за них как раз и может не собираться. Типа намёк.

Да я вычистил все из make.conf и src.conf не помогало (
А вот эти опции помогли, мир собрался.

--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Sergey Anokhin написал(а) к Sergey Anokhin в Feb 19 14:55:24 по местному времени:

> Да я вычистил все из make.conf и src.conf не помогало (
> А вот эти опции помогли, мир собрался.

Какая-то хрень, на запуске мускуля все падает )

(pts/2)[root@server:/usr/obj/usr/src/amd64.amd64/sys/SERVER]# kgdb
kernel /var/crash/vmcore.last
GNU gdb (GDB) 8.2 [GDB v8.2 for FreeBSD]
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-portbld-freebsd12.0".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.

For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from kernel...Reading symbols from
/usr/obj/usr/src/amd64.amd64/sys/SERVER/kernel.debug...done.
done.

Unread portion of the kernel message buffer:
panic: Solaris(panic): blkptr at 0xfffffe0063c42980 DVA 0 has invalid
OFFSET 72057594038013952
cpuid = 3
time = 1549711338
KDB: stack backtrace:
#0 0xffffffff80c531c7 at kdb_backtrace+0x67
#1 0xffffffff80c07143 at vpanic+0x1a3
#2 0xffffffff80c06f93 at panic+0x43
#3 0xffffffff826d418f at vcmn_err+0xcf
#4 0xffffffff827819ca at zfspanicrecover+0x5a
#5 0xffffffff827bd223 at zfsblkptrverify+0x303
#6 0xffffffff827bd30c at zio_read+0x2c
#7 0xffffffff82709c54 at arc_read+0x704
#8 0xffffffff827165ed at dbuf_read+0x72d
#9 0xffffffff8271a16f at _dbuf_holdimpl+0x57f
#10 0xffffffff8271a37f at dbuf_hold+0x7f
#11 0xffffffff827210ec at dmubuf_hold_noread_bydnode+0x3c
#12 0xffffffff827212ac at dmubuf_hold_bydnode+0x1c
#13 0xffffffff827a39cd at zapget_leafbyblk+0x4d
#14 0xffffffff827a104f at fzap_lookup+0xcf
#15 0xffffffff827a7c67 at zaplookupimpl+0x117
#16 0xffffffff827a7ad5 at zaplookupnorm+0xa5
#17 0xffffffff827a7a21 at zap_lookup+0x11
Uptime: 45m59s
Dumping 1150 out of 8077
MB:..2%..12%..21%..31%..41%..51%..62%..71%..81%..91%

warning: Could not load shared library symbols for 13 libraries, e.g.
opensolaris.ko.
Use the "info sharedlibrary" command to see the complete listing.
Do you need "set solib-search-path" or "set sysroot"?
curthread () at ./machine/pcpu.h:230
230 asm("movq %%gs:%P1,%0" : "=r" (td) : "n"
(OFFSETOF_CURTНREAD));
(kgdb)
(kgdb) bt
#0 curthread () at ./machine/pcpu.h:230
#1 doadump (textdump=<optimized out>) at
/usr/src/sys/kern/kern_shutdown.c:366
#2 0xffffffff80c06d2b in kern_reboot (howto=260) at
/usr/src/sys/kern/kern_shutdown.c:446
#3 0xffffffff80c071a3 in vpanic (fmt=<optimized out>,
ap=0xfffffe00600e9e10) at /usr/src/sys/kern/kern_shutdown.c:872
#4 0xffffffff80c06f93 in panic (fmt=<unavailable>) at
/usr/src/sys/kern/kern_shutdown.c:799
#5 0xffffffff826d418f in ?? ()
#6 0x61207274706b6c62 in ?? ()
#7 0x6666666678302074 in ?? ()
#8 0x3463333630306566 in ?? ()
#9 0x4156442030383932 in ?? ()
#10 0x6920736168203020 in ?? ()
#11 0x4f2064696c61766e in ?? ()
#12 0x3237205445534646 in ?? ()
#13 0x3330343935373530 in ?? ()
#14 0x0032353933313038 in ?? ()
#15 0xffffffff82718e1a in ?? ()
#16 0xfffff800180d2680 in ?? ()
#17 0xffffffff80fef037 in umazallocarg (zone=0xfffffe00600e9fa0,
udata=0xffffffff80be1431 <free+97>, flags=0) at
/usr/src/sys/vm/uma_core.c:2501
#18 0xffffffff827819ca in ?? ()
#19 0x00000002826d4ba0 in ?? ()
#20 0xfffffe0063c42980 in ?? ()
#21 0x0000000000000000 in ?? ()
(kgdb)


--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Sergey Anokhin написал(а) к All в Feb 19 15:22:23 по местному времени:

сабж с нормальным bt

(pts/2)[root@server:/usr/obj/usr/src/amd64.amd64/sys/SERVER]# kgdb
kernel /var/crash/vmcore.last
GNU gdb (GDB) 8.2 [GDB v8.2 for FreeBSD]
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-portbld-freebsd12.0".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.

For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from kernel...Reading symbols from
/usr/obj/usr/src/amd64.amd64/sys/SERVER/kernel.debug...done.
done.

Unread portion of the kernel message buffer:
panic: Solaris(panic): blkptr at 0xfffffe0063c42980 DVA 0 has invalid
OFFSET 72057594038013952
cpuid = 3
time = 1549711338
KDB: stack backtrace:
#0 0xffffffff80c531c7 at kdb_backtrace+0x67
#1 0xffffffff80c07143 at vpanic+0x1a3
#2 0xffffffff80c06f93 at panic+0x43
#3 0xffffffff826d418f at vcmn_err+0xcf
#4 0xffffffff827819ca at zfspanicrecover+0x5a
#5 0xffffffff827bd223 at zfsblkptrverify+0x303
#6 0xffffffff827bd30c at zio_read+0x2c
#7 0xffffffff82709c54 at arc_read+0x704
#8 0xffffffff827165ed at dbuf_read+0x72d
#9 0xffffffff8271a16f at _dbuf_holdimpl+0x57f
#10 0xffffffff8271a37f at dbuf_hold+0x7f
#11 0xffffffff827210ec at dmubuf_hold_noread_bydnode+0x3c
#12 0xffffffff827212ac at dmubuf_hold_bydnode+0x1c
#13 0xffffffff827a39cd at zapget_leafbyblk+0x4d
#14 0xffffffff827a104f at fzap_lookup+0xcf
#15 0xffffffff827a7c67 at zaplookupimpl+0x117
#16 0xffffffff827a7ad5 at zaplookupnorm+0xa5
#17 0xffffffff827a7a21 at zap_lookup+0x11
Uptime: 45m59s
Dumping 1150 out of 8077
MB:..2%..12%..21%..31%..41%..51%..62%..71%..81%..91%

curthread () at ./machine/pcpu.h:230
230 asm("movq %%gs:%P1,%0" : "=r" (td) : "n"
(OFFSETOF_CURTНREAD));
(kgdb) bt
#0 curthread () at ./machine/pcpu.h:230
#1 doadump (textdump=<optimized out>) at
/usr/src/sys/kern/kern_shutdown.c:366
#2 0xffffffff80c06d2b in kern_reboot (howto=260) at
/usr/src/sys/kern/kern_shutdown.c:446
#3 0xffffffff80c071a3 in vpanic (fmt=<optimized out>,
ap=0xfffffe00600e9e10) at /usr/src/sys/kern/kern_shutdown.c:872
#4 0xffffffff80c06f93 in panic (fmt=<unavailable>) at
/usr/src/sys/kern/kern_shutdown.c:799
#5 0xffffffff826d418f in vcmn_err () from
/boot/testkernels/boot/kernel/opensolaris.ko
#6 0x61207274706b6c62 in ?? ()
#7 0x6666666678302074 in ?? ()
#8 0x3463333630306566 in ?? ()
#9 0x4156442030383932 in ?? ()
#10 0x6920736168203020 in ?? ()
#11 0x4f2064696c61766e in ?? ()
#12 0x3237205445534646 in ?? ()
#13 0x3330343935373530 in ?? ()
#14 0x0032353933313038 in ?? ()
#15 0xffffffff82718e1a in dbufrele_andunlock () from
/boot/testkernels/boot/kernel/zfs.ko
#16 0xffffffff827819ca in zfspanicrecover () from
/boot/testkernels/boot/kernel/zfs.ko
#17 0xffffffff827bd223 in zfsblkptrverify () from
/boot/testkernels/boot/kernel/zfs.ko
#18 0xffffffff827bd30c in zio_read () from
/boot/testkernels/boot/kernel/zfs.ko
#19 0xffffffff82709c54 in arc_read () from
/boot/testkernels/boot/kernel/zfs.ko
#20 0xffffffff827165ed in dbuf_read () from
/boot/testkernels/boot/kernel/zfs.ko
#21 0xffffffff8271a16f in _dbuf_holdimpl () from
/boot/testkernels/boot/kernel/zfs.ko
#22 0xffffffff8271a37f in dbuf_hold () from
/boot/testkernels/boot/kernel/zfs.ko
#23 0xffffffff827210ec in dmubuf_hold_noread_bydnode () from
/boot/testkernels/boot/kernel/zfs.ko
#24 0xffffffff827212ac in dmubuf_hold_bydnode () from
/boot/testkernels/boot/kernel/zfs.ko
#25 0xffffffff827a39cd in zapget_leafbyblk () from
/boot/testkernels/boot/kernel/zfs.ko
#26 0xffffffff827a104f in fzap_lookup () from
/boot/testkernels/boot/kernel/zfs.ko
#27 0xffffffff827a7c67 in zaplookupimpl () from
/boot/testkernels/boot/kernel/zfs.ko
#28 0xffffffff827a7ad5 in zaplookupnorm () from
/boot/testkernels/boot/kernel/zfs.ko
#29 0xffffffff827a7a21 in zap_lookup () from
/boot/testkernels/boot/kernel/zfs.ko
#30 0xffffffff827d11f9 in zfsdirentlookup () from
/boot/testkernels/boot/kernel/zfs.ko
#31 0xffffffff827d12e7 in zfs_dirlook () from
/boot/testkernels/boot/kernel/zfs.ko
#32 0xffffffff827eaacf in zfs_lookup () from
/boot/testkernels/boot/kernel/zfs.ko
#33 0xffffffff827eb1fe in zfsfreebsdlookup () from
/boot/testkernels/boot/kernel/zfs.ko
#34 0xffffffff81314ba8 in VOPCACНEDLOOKUPAPV (vop=<optimized out>,
a=0xfffffe00600e9fa0) at vnode_if.c:195
#35 0xffffffff80cc0846 in VOP_CACНEDLOOKUP (dvp=<optimized out>,
vpp=<optimized out>, cnp=<optimized out>) at ./vnode_if.h:80
#36 vfscachelookup (ap=<optimized out>) at
/usr/src/sys/kern/vfs_cache.c:2109
#37 0xffffffff81314a78 in VOPLOOKUPAPV (vop=<optimized out>,
a=0xfffffe00600ea840) at vnode_if.c:127
#38 0xffffffff80cc9fa1 in VOP_LOOKUP (vpp=0xfffffe00600ea9d8,
cnp=0xfffffe00600eaa00, dvp=<optimized out>) at ./vnode_if.h:54
#39 lookup (ndp=0xfffffe00600ea978) at /usr/src/sys/kern/vfs_lookup.c:879
#40 0xffffffff80cc948b in namei (ndp=0xfffffe00600ea978) at
/usr/src/sys/kern/vfs_lookup.c:444
#41 0xffffffff80ce06a6 in kern_accessat (td=<optimized out>, fd=-100,
path=<optimized out>, pathseg=<optimized out>, flag=<optimized out>,
amode=0)
at /usr/src/sys/kern/vfs_syscalls.c:1986
#42 0xffffffff8118e592 in syscallenter (td=<optimized out>) at
/usr/src/sys/amd64/amd64/../../kern/subr_syscall.c:135
--Type <RET> for more, q to quit, c to continue without paging--RET
#43 amd64_syscall (td=0xfffff8023b3ae580, traced=0) at
/usr/src/sys/amd64/amd64/trap.c:1154
#44 <signal handler called>
#45 0x00000008003e703a in ?? ()
Backtrace stopped: Cannot access memory at address 0x7fffffffd748
(kgdb)
--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Eugene Grosbein написал(а) к Sergey Anokhin в Feb 19 05:27:54 по местному времени:

09 февр. 2019, суббота, в 10:53 NOVT, Sergey Anokhin написал(а):

SA>>> Если не получится, так и придется даунгрейд делать...
SA>>> Там придется наоборот сначала мир поставить а потом ядро?
>>> Всегда надо ставить сначала ядро. Только вот даунгрейд у нас официально
>>> не поддерживается и у тебя могут быть большие проблемы с /etc
SA>> Я как-то забыл ядро на место поставить после nextboot, и получилось
SA>> новый мир и старое ядро, так оно не заводилось, а вот старый мир с новым
SA>> ядром заводилось
>> Это я и сказал.
SA> Так если даунгрейдиться и поставить сначала ядро, после ребута у нас
SA> будет старое ядро и новый мир и так оно не заведется или я не так думаю?

Это одна из причин, по которым даунгрейд официально не поддерживается,
но на самом деле это не большая проблема - ты можешь загрузить
kernel.old один раз. И ты можешь вообще не ребутиться перед установкой мира,
так как этот самый ребут как раз и нужен только для апгрейда -
чтобы получить более новое ядро (которое в твоём случае уже работает)
перед запуском более новых бинарников, что может произойти во время
installworld при апгрейде. Тебе такой ребут противопоказан даже
при даунгрейде.

Eugene
--- slrn/1.0.3 (FreeBSD)

Eugene Grosbein написал(а) к Sergey Anokhin в Feb 19 05:30:42 по местному времени:

09 февр. 2019, суббота, в 14:55 NOVT, Sergey Anokhin написал(а):

>> Да я вычистил все из make.conf и src.conf не помогало (
>> А вот эти опции помогли, мир собрался.
SA> Какая-то хрень, на запуске мускуля все падает )

SA> warning: Could not load shared library symbols for 13 libraries, e.g.
SA> opensolaris.ko.

Рассинхрон у тебя. Как минимум символы не соответствуют ядерным модулям,
а это значит, что несоответствия гораздо серьезней, раз паника приходит.
Тщательно проверяй, чтобы модули грузились от той же версии, что ядро -
и от той же ревизии (то есть, собранные из тех же в точности сорцов).

Eugene
--
И кого не любишь, в лицо не знать, и смотреть на звезды и жить спокойно.
--- slrn/1.0.3 (FreeBSD)

Sergey Anokhin написал(а) к All в Feb 19 10:02:27 по местному времени:

>> Да я вычистил все из make.conf и src.conf не помогало (
>> А вот эти опции помогли, мир собрался.
SA> Какая-то хрень, на запуске мускуля все падает )
SA> warning: Could not load shared library symbols for 13 libraries, e.g.
SA> opensolaris.ko.
> Рассинхрон у тебя. Как минимум символы не соответствуют ядерным модулям,
> а это значит, что несоответствия гораздо серьезней, раз паника приходит.
> Тщательно проверяй, чтобы модули грузились от той же версии, что ядро -
> и от той же ревизии (то есть, собранные из тех же в точности сорцов).

Это я разобрался, ноги вырасли из-за nextboot. Он ищет в
/boot/testkernels/boot/kernel, а я оттуда ядро утащил, то-то дебажное
там оставил. В следующем сообщении полный вывод дебага я прислал. Дошло
письмо?

--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Sergey Anokhin написал(а) к All в Feb 19 17:11:56 по местному времени:

10.02.2019 10:02, Sergey Anokhin пишет:
>>> Да я вычистил все из make.conf и src.conf не помогало (
>>> А вот эти опции помогли, мир собрался.
SA> Какая-то хрень, на запуске мускуля все падает )
SA> warning: Could not load shared library symbols for 13 libraries, e.g.
SA> opensolaris.ko.
>> Рассинхрон у тебя. Как минимум символы не соответствуют ядерным модулям,
>> а это значит, что несоответствия гораздо серьезней, раз паника приходит.
>> Тщательно проверяй, чтобы модули грузились от той же версии, что ядро -
>> и от той же ревизии (то есть, собранные из тех же в точности сорцов).
> Это я разобрался, ноги вырасли из-за nextboot. Он ищет в
> /boot/testkernels/boot/kernel, а я оттуда ядро утащил, то-то дебажное
> там оставил. В следующем сообщении полный вывод дебага я прислал. Дошло
> письмо?


Такое еще словил

(pts/5)[root@server:/usr/obj/usr/src/amd64.amd64/sys/SERVER]# kgdb
kernel /var/crash/vmcore.last
GNU gdb (GDB) 8.2.1 [GDB v8.2.1 for FreeBSD]
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-portbld-freebsd12.0".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.

For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from kernel...Reading symbols from
/usr/obj/usr/src/amd64.amd64/sys/SERVER/kernel.debug...done.
done.

Unread portion of the kernel message buffer:
panic: Solaris(panic): blkptr at 0xfffffe007e50e980 DVA 0 has invalid
OFFSET 72057594038013952
cpuid = 0
time = 1549806098
KDB: stack backtrace:
#0 0xffffffff80c531c7 at kdb_backtrace+0x67
#1 0xffffffff80c07143 at vpanic+0x1a3
#2 0xffffffff80c06f93 at panic+0x43
#3 0xffffffff826d418f at vcmn_err+0xcf
#4 0xffffffff827809ca at zfspanicrecover+0x5a
#5 0xffffffff827bc223 at zfsblkptrverify+0x303
#6 0xffffffff827bc30c at zio_read+0x2c
#7 0xffffffff82708c54 at arc_read+0x704
#8 0xffffffff827155ed at dbuf_read+0x72d
#9 0xffffffff8271916f at _dbuf_holdimpl+0x57f
#10 0xffffffff8271937f at dbuf_hold+0x7f
#11 0xffffffff827200ec at dmubuf_hold_noread_bydnode+0x3c
#12 0xffffffff827202ac at dmubuf_hold_bydnode+0x1c
#13 0xffffffff827a29cd at zapget_leafbyblk+0x4d
#14 0xffffffff827a004f at fzap_lookup+0xcf
#15 0xffffffff827a6c67 at zaplookupimpl+0x117
#16 0xffffffff827a6ad5 at zaplookupnorm+0xa5
#17 0xffffffff827a6a21 at zap_lookup+0x11
Uptime: 1d2h17m51s
Dumping 1076 out of 8077
MB:..2%..11%..21%..32%..41%..51%..61%..72%..81%..91%

curthread () at ./machine/pcpu.h:230
230 asm("movq %%gs:%P1,%0" : "=r" (td) : "n"
(OFFSETOF_CURTНREAD));
(kgdb) bt
#0 curthread () at ./machine/pcpu.h:230
#1 doadump (textdump=<optimized out>) at
/usr/src/sys/kern/kern_shutdown.c:366
#2 0xffffffff80c06d2b in kern_reboot (howto=260) at
/usr/src/sys/kern/kern_shutdown.c:446
#3 0xffffffff80c071a3 in vpanic (fmt=<optimized out>,
ap=0xfffffe0061f16e10) at /usr/src/sys/kern/kern_shutdown.c:872
#4 0xffffffff80c06f93 in panic (fmt=<unavailable>) at
/usr/src/sys/kern/kern_shutdown.c:799
#5 0xffffffff826d418f in vcmn_err () from /boot/kernel/opensolaris.ko
#6 0x61207274706b6c62 in ?? ()
#7 0x6666666678302074 in ?? ()
#8 0x3035653730306566 in ?? ()
#9 0x4156442030383965 in ?? ()
#10 0x6920736168203020 in ?? ()
#11 0x4f2064696c61766e in ?? ()
#12 0x3237205445534646 in ?? ()
#13 0x3330343935373530 in ?? ()
#14 0x0032353933313038 in ?? ()
#15 0x0000005c00000003 in ?? ()
#16 0x000000037fffffff in ?? ()
#17 0x00000000ffffffa7 in ?? ()
#18 0x000000000000000f in ?? ()
#19 0x0000000000000000 in ?? ()
(kgdb)


--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Sergey Anokhin написал(а) к All в Feb 19 08:47:13 по местному времени:

> Такое еще словил

эмпирически выявил что ядро в корку падает когда идет инсерт в базу,
таблицы большие, файлики большие, может и зфс поломали или память
глючит...пробовал отключать лимит на arc и компрессию не помогло.
пробовал базы утаскивать на ufs раздел тоже не помогло.
все это странно
--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0

Sergey Anokhin написал(а) к All в Feb 19 12:00:15 по местному времени:

попробовал racoon, запустилось с первого раза, но подключиться по ипсеку
не вышло, включил дебаг, при рестарте ракуна отвалилось все:

(pts/2)[root@server:/usr/obj/usr/src/amd64.amd64/sys/SERVER]# kgdb
kernel /var/crash/vmcore.last
GNU gdb (GDB) 8.2.1 [GDB v8.2.1 for FreeBSD]
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-portbld-freebsd12.0".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.

For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from kernel...Reading symbols from
/usr/obj/usr/src/amd64.amd64/sys/SERVER/kernel.debug...done.
done.

Unread portion of the kernel message buffer:


Fatal trap 12: page fault while in kernel mode
cpuid = 1; apic id = 01
fault virtual address = 0x28
fault code = supervisor read data, page not present
instruction pointer = 0x20:0xffffffff80ecd31d
stack pointer = 0x28:0xfffffe003fca2a40
frame pointer = 0x28:0xfffffe003fca2a60
code segment = base 0x0, limit 0xfffff, type 0x1b
= DPL 0, pres 1, long 1, def32 0, gran 1
processor eflags = interrupt enabled, resume, IOPL = 0
current process = 0 (softirq_1)
trap number = 12
panic: page fault
cpuid = 1
time = 1549874237
KDB: stack backtrace:
#0 0xffffffff80c531c7 at kdb_backtrace+0x67
#1 0xffffffff80c07143 at vpanic+0x1a3
#2 0xffffffff80c06f93 at panic+0x43
#3 0xffffffff8118d9ff at trap_fatal+0x35f
#4 0xffffffff8118da59 at trap_pfault+0x49
#5 0xffffffff8118d07e at trap+0x29e
#6 0xffffffff81168ac5 at calltrap+0x8
#7 0xffffffff80eca240 at ipsecdeletepcbpolicy+0x20
#8 0xffffffff80dbaeec at inpcbfreedeferred+0x6c
#9 0xffffffff80c4db1a at epochcalltask+0x1ca
#10 0xffffffff80c51a54 at gtaskqueuerunlocked+0x144
#11 0xffffffff80c516b8 at gtaskqueuethreadloop+0x98
#12 0xffffffff80bc6f23 at fork_exit+0x83
#13 0xffffffff81169abe at fork_trampoline+0xe
Uptime: 15m14s
Dumping 968 out of 8077 MB:..2%..12%..22%..32%..42%..52%..62%..72%..81%..91%

curthread () at ./machine/pcpu.h:230
230 asm("movq %%gs:%P1,%0" : "=r" (td) : "n"
(OFFSETOF_CURTНREAD));
(kgdb) bt
#0 curthread () at ./machine/pcpu.h:230
#1 doadump (textdump=<optimized out>) at
/usr/src/sys/kern/kern_shutdown.c:366
#2 0xffffffff80c06d2b in kern_reboot (howto=260) at
/usr/src/sys/kern/kern_shutdown.c:446
#3 0xffffffff80c071a3 in vpanic (fmt=<optimized out>,
ap=0xfffffe003fca2790) at /usr/src/sys/kern/kern_shutdown.c:872
#4 0xffffffff80c06f93 in panic (fmt=<unavailable>) at
/usr/src/sys/kern/kern_shutdown.c:799
#5 0xffffffff8118d9ff in trap_fatal (frame=0xfffffe003fca2980, eva=40)
at /usr/src/sys/amd64/amd64/trap.c:929
#6 0xffffffff8118da59 in trap_pfault (frame=0xfffffe003fca2980,
usermode=0) at /usr/src/sys/amd64/amd64/trap.c:765
#7 0xffffffff8118d07e in trap (frame=0xfffffe003fca2980) at
/usr/src/sys/amd64/amd64/trap.c:441
#8 <signal handler called>
#9 0xffffffff80ecd31d in key_freesp (spp=0xfffff80035b2c800) at
/usr/src/sys/netipsec/key.c:1199
#10 0xffffffff80eca240 in ipsecdeletepcbpolicy
(inp=0xfffff8001c5181e8) at /usr/src/sys/netipsec/ipsec_pcb.c:176
#11 0xffffffff80dbaeec in inpcbfreedeferred (ctx=0xfffff8001c5183c0)
at /usr/src/sys/netinet/in_pcb.c:1576
#12 0xffffffff80c4db1a in epochcalltask (arg=<optimized out>) at
/usr/src/sys/kern/subr_epoch.c:507
#13 0xffffffff80c51a54 in gtaskqueuerunlocked
(queue=0xfffff80003369e00) at /usr/src/sys/kern/subr_gtaskqueue.c:376
#14 0xffffffff80c516b8 in gtaskqueuethreadloop (arg=<optimized out>)
at /usr/src/sys/kern/subr_gtaskqueue.c:557
#15 0xffffffff80bc6f23 in fork_exit (callout=0xffffffff80c51620
<gtaskqueuethreadloop>, arg=0xfffffe00025f5020, frame=0xfffffe003fca2c00)
at /usr/src/sys/kern/kern_fork.c:1059
#16 <signal handler called>
(kgdb)


А это когда в мускуь инсерт идет:

(pts/2)[root@server:/usr/obj/usr/src/amd64.amd64/sys/SERVER]# kgdb
kernel /var/crash/vmcore.8
GNU gdb (GDB) 8.2.1 [GDB v8.2.1 for FreeBSD]
Copyright (C) 2018 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-portbld-freebsd12.0".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<http://www.gnu.org/software/gdb/bugs/>.
Find the GDB manual and other documentation resources online at:
<http://www.gnu.org/software/gdb/documentation/>.

For help, type "help".
Type "apropos word" to search for commands related to "word"...
Reading symbols from kernel...Reading symbols from
/usr/obj/usr/src/amd64.amd64/sys/SERVER/kernel.debug...done.
done.

Unread portion of the kernel message buffer:
panic: Solaris(panic): blkptr at 0xfffffe006b330980 DVA 0 has invalid
OFFSET 72057594038013952
cpuid = 3
time = 1549873232
KDB: stack backtrace:
#0 0xffffffff80c531c7 at kdb_backtrace+0x67
#1 0xffffffff80c07143 at vpanic+0x1a3
#2 0xffffffff80c06f93 at panic+0x43
#3 0xffffffff826d818f at vcmn_err+0xcf
#4 0xffffffff827849ca at zfspanicrecover+0x5a
#5 0xffffffff827c0223 at zfsblkptrverify+0x303
#6 0xffffffff827c030c at zio_read+0x2c
#7 0xffffffff8270cc54 at arc_read+0x704
#8 0xffffffff827195ed at dbuf_read+0x72d
#9 0xffffffff8271d16f at _dbuf_holdimpl+0x57f
#10 0xffffffff8271d37f at dbuf_hold+0x7f
#11 0xffffffff827240ec at dmubuf_hold_noread_bydnode+0x3c
#12 0xffffffff827242ac at dmubuf_hold_bydnode+0x1c
#13 0xffffffff827a69cd at zapget_leafbyblk+0x4d
#14 0xffffffff827a404f at fzap_lookup+0xcf
#15 0xffffffff827aac67 at zaplookupimpl+0x117
#16 0xffffffff827aaad5 at zaplookupnorm+0xa5
#17 0xffffffff827aaa21 at zap_lookup+0x11
Uptime: 13h15m41s
Dumping 1099 out of 8077
MB:..2%..11%..21%..31%..41%..51%..62%..72%..81%..91%

curthread () at ./machine/pcpu.h:230
230 asm("movq %%gs:%P1,%0" : "=r" (td) : "n"
(OFFSETOF_CURTНREAD));
(kgdb) bt
#0 curthread () at ./machine/pcpu.h:230
#1 doadump (textdump=<optimized out>) at
/usr/src/sys/kern/kern_shutdown.c:366
#2 0xffffffff80c06d2b in kern_reboot (howto=260) at
/usr/src/sys/kern/kern_shutdown.c:446
#3 0xffffffff80c071a3 in vpanic (fmt=<optimized out>,
ap=0xfffffe0066552e10) at /usr/src/sys/kern/kern_shutdown.c:872
#4 0xffffffff80c06f93 in panic (fmt=<unavailable>) at
/usr/src/sys/kern/kern_shutdown.c:799
#5 0xffffffff826d818f in vcmn_err () from /boot/kernel/opensolaris.ko
#6 0x61207274706b6c62 in ?? ()
#7 0x6666666678302074 in ?? ()
#8 0x3333623630306566 in ?? ()
#9 0x4156442030383930 in ?? ()
#10 0x6920736168203020 in ?? ()
#11 0x4f2064696c61766e in ?? ()
#12 0x3237205445534646 in ?? ()
#13 0x3330343935373530 in ?? ()
#14 0x0032353933313038 in ?? ()
#15 0x0000000000000000 in ?? ()
(kgdb)
--- Mozilla/5.0 (Windows NT 6.1; rv:60.0) Gecko/20100101 Thunderbird/60.5.0