forum.wfido.ru  

Вернуться   forum.wfido.ru > Прочие эхи > RU.UNIX.BSD

Ответ
 
Опции темы Опции просмотра
  #1  
Старый 27.04.2019, 00:53
Anton Gorlov
Guest
 
Сообщений: n/a
По умолчанию interrupt cpu usage

Anton Gorlov написал(а) к All в Apr 19 22:55:36 по местному времени:

Привет All!

All -а можно ли чего ещ потюнить, дял уменьшения нагурки от прерываний?
Сервре - bgp..порядка 4 гиг трафика в ЧНН.
Согласно графикам cacti и Ко загрука CPU в районе 300-350 попугаев в ЧНН.
На вход ix0 (82599ES). на выход lagg из 8 линков igb (I210/I350)
Отключение/включение НT не влияет почти никак. По ядрам нагрузка размазана почти равномерно.
CPU E5-2620 v3 @ 2.40GНz (2400.05-MНz K8-class CPU)

Пакетов 254к на вход и 160к на выход в чнн.


vmstat -i

interrupt total rate
irq9: acpi0 4 0
irq18: ehci0 ehci1 51930407 3
irq19: xhci0 25259557 1
cpu0:timer 22729636464 1125
cpu1:timer 22273955708 1102
cpu3:timer 22329128970 1105
cpu10:timer 18587128749 920
cpu9:timer 18591892734 920
cpu11:timer 18600405231 920
cpu8:timer 18666867032 924
cpu6:timer 22295731144 1103
cpu4:timer 22330144206 1105
cpu5:timer 22277067474 1102
cpu2:timer 22313905195 1104
cpu7:timer 22302771351 1104
irq264: igb0:que 0 39801982302 1970
irq265: igb0:que 1 39764573051 1968
irq266: igb0:que 2 39836405735 1971
irq267: igb0:que 3 40070634733 1983
irq268: igb0:que 4 40269336470 1993
irq269: igb0:que 5 39748360864 1967
irq270: igb0:que 6 39939576460 1976
irq271: igb0:que 7 39846861760 1972
irq272: igb0:link 2 0
irq273: igb1:que 0 40167339528 1988
irq274: igb1:que 1 40266311642 1993
irq275: igb1:que 2 40400498634 1999
irq276: igb1:que 3 40970251201 2028
irq277: igb1:que 4 41038473458 2031
irq278: igb1:que 5 40139550654 1986
irq279: igb1:que 6 40026629741 1981
irq280: igb1:que 7 40221889546 1990
irq281: igb1:link 3 0
irq282: igb2:que 0 40834730431 2021
irq283: igb2:que 1 40943117345 2026
irq284: igb2:que 2 40853375591 2022
irq285: igb2:que 3 41009947664 2029
irq286: igb2:que 4 41037862596 2031
irq287: igb2:que 5 41282783682 2043
irq288: igb2:que 6 40950508976 2027
irq289: igb2:que 7 40908897073 2024
irq290: igb2:link 3 0
irq291: igb3:que 0 40285199539 1994
irq292: igb3:que 1 40270831455 1993
irq293: igb3:que 2 40117776684 1985
irq294: igb3:que 3 40358638875 1997
irq295: igb3:que 4 40161513091 1987
irq296: igb3:que 5 40367685585 1998
irq297: igb3:que 6 40119433084 1985
irq298: igb3:que 7 40503703766 2004
irq299: igb3:link 3 0
irq300: igb4:que 0 40913463532 2025
irq301: igb4:que 1 40578636492 2008
irq302: igb4:que 2 40401441938 1999
irq303: igb4:que 3 40580942863 2008
irq304: igb4:que 4 40437186972 2001
irq305: igb4:que 5 40330455405 1996
irq306: igb4:que 6 40390698880 1999
irq307: igb4:que 7 40313171593 1995
irq308: igb4:link 3 0
irq309: igb5:que 0 39760253737 1968
irq310: igb5:que 1 39798283299 1970
irq311: igb5:que 2 39933745057 1976
irq312: igb5:que 3 39904506099 1975
irq313: igb5:que 4 39970247551 1978
irq314: igb5:que 5 40057066108 1982
irq315: igb5:que 6 39833894510 1971
irq316: igb5:que 7 39886165139 1974
irq317: igb5:link 3 0
irq318: ix0:q0 263650158556 13047
irq319: ix0:q1 248854553199 12315
irq320: ix0:q2 250807987200 12412
irq321: ix0:q3 251453905263 12444
irq322: ix0:q4 251312554547 12437
irq323: ix0:q5 249700476202 12357
irq324: ix0:q6 250447187107 12394
irq325: ix0:q7 250156358267 12380
irq326: ix0:link 7 0
irq337: igb6:que 0 70526403593 3490
irq338: igb6:que 1 70695195518 3499
irq339: igb6:que 2 70925099823 3510
irq340: igb6:que 3 70687931676 3498
irq341: igb6:link 3 0
irq342: igb7:que 0 70719787353 3500
irq343: igb7:que 1 70564324360 3492
irq344: igb7:que 2 70614772065 3495
irq345: igb7:que 3 71076966485 3517
irq346: igb7:link 3 0
irq347: ahci1 44375201 2
Total 4771218701062 236114

top -CНIPS
last pid: 43397; load averages: 2.74, 2.59, 2.68 up 233+21:09:00 23:14:23
307 processes: 15 running, 183 sleeping, 109 waiting
CPU 0: 0.0% user, 0.0% nice, 0.0% system, 17.4% interrupt, 82.6% idle
CPU 1: 0.0% user, 0.0% nice, 0.0% system, 23.9% interrupt, 76.1% idle
CPU 2: 0.0% user, 0.0% nice, 0.0% system, 14.7% interrupt, 85.3% idle
CPU 3: 0.0% user, 0.0% nice, 0.0% system, 11.0% interrupt, 89.0% idle
CPU 4: 0.0% user, 0.0% nice, 0.0% system, 17.4% interrupt, 82.6% idle
CPU 5: 0.0% user, 0.0% nice, 0.0% system, 22.0% interrupt, 78.0% idle
CPU 6: 0.0% user, 0.0% nice, 0.9% system, 15.6% interrupt, 83.5% idle
CPU 7: 0.0% user, 0.0% nice, 0.0% system, 25.7% interrupt, 74.3% idle
CPU 8: 0.0% user, 0.0% nice, 0.9% system, 2.8% interrupt, 96.3% idle
CPU 9: 0.0% user, 0.0% nice, 0.0% system, 6.4% interrupt, 93.6% idle
CPU 10: 0.0% user, 0.0% nice, 0.0% system, 2.8% interrupt, 97.2% idle
CPU 11: 0.0% user, 0.0% nice, 0.0% system, 3.7% interrupt, 96.3% idle
Mem: 530M Active, 462M Inact, 2521M Wired, 971M Buf, 12G Free
Swap: 4096M Total, 4096M Free

PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND
11 root 155 ki31 0K 192K CPU9 9 5441.3 96.69% idle{idle: cpu9}
11 root 155 ki31 0K 192K CPU10 10 5439.8 96.66% idle{idle: cpu10}
11 root 155 ki31 0K 192K CPU11 11 5442.2 95.49% idle{idle: cpu11}
11 root 155 ki31 0K 192K CPU8 8 5441.8 95.43% idle{idle: cpu8}
11 root 155 ki31 0K 192K CPU3 3 4884.0 84.86% idle{idle: cpu3}
11 root 155 ki31 0K 192K RUN 2 4881.2 84.27% idle{idle: cpu2}
11 root 155 ki31 0K 192K CPU1 1 4879.0 82.58% idle{idle: cpu1}
11 root 155 ki31 0K 192K CPU4 4 4880.9 82.02% idle{idle: cpu4}
11 root 155 ki31 0K 192K CPU7 7 4891.0 81.83% idle{idle: cpu7}
11 root 155 ki31 0K 192K RUN 5 4880.3 81.26% idle{idle: cpu5}
11 root 155 ki31 0K 192K RUN 6 4883.4 80.38% idle{idle: cpu6}
11 root 155 ki31 0K 192K CPU0 0 4876.0 79.42% idle{idle: cpu0}
12 root -92 - 0K 1776K WAIT 0 458.1Н 13.34% intr{irq318: ix0:q0}
12 root -92 - 0K 1776K WAIT 5 457.8Н 12.64% intr{irq323: ix0:q5}
12 root -92 - 0K 1776K WAIT 6 456.8Н 12.33% intr{irq324: ix0:q6}




==== заливка "loader.conf" ====
geommirrorload="YES"

#net.isr.dispatch=deferred
net.route.netisr_maxqlen=1024
net.inet.ip.intrqueuemaxlen=2048

net.isr.maxthreads=8
net.isr.bindthreads=1

net.isr.maxqlimit=40960
net.isr.defaultqlimit=4096

kern.vty=vt

hw.igb.txd=4096
hw.igb.rxd=4096



net.link.ifqmaxlen=10240

cchtcpload="YES"
# test
hw.igb.rxprocesslimit=4096

hw.ix.txd=4096
hw.ix.rxd=4096
hw.ix.rxprocesslimit=4096
hw.ix.txprocesslimit=4096


==== конец "loader.conf" ====


==== заливка "sysctl.conf" ====
net.inet.ip.forwarding: 1
#net.inet.ip.fastforwarding: 1

#net.inet.ip.intrqueuemaxlen=10240
#net.inet.ip.intrqueuemaxlen=20480
#NEED TEST IF netstat -s -spip drop is !0
net.inet.ip.intrqueuemaxlen=40960

net.inet.ip.redirect=0

dev.igb.0.rxprocessinglimit=4096
dev.igb.1.rxprocessinglimit=4096
dev.igb.2.rxprocessinglimit=4096
dev.igb.3.rxprocessinglimit=4096
dev.igb.4.rxprocessinglimit=4096
dev.igb.5.rxprocessinglimit=4096

#dev.igb.6.rxprocessinglimit=4096
#dev.igb.7.rxprocessinglimit=4096


net.inet.icmp.drop_redirect=1

# drop UDP packets destined for closed sockets
net.inet.udp.blackhole=1
# drop TCP packets destined for closed sockets
net.inet.tcp.blackhole=2



net.inet.tcp.drop_synfin=1

#net.inet.tcp.mssdflt=1460 # (default 536)
net.inet.tcp.mssdflt=1400 # (default 536)
net.inet.tcp.minmss=536 # (default 216)


kern.ipc.somaxconn=2048
net.inet.tcp.cc.algorithm=htcp

dev.igb.0.fc=0
dev.igb.1.fc=0
dev.igb.2.fc=0
dev.igb.3.fc=0
dev.igb.4.fc=0
dev.igb.5.fc=0

dev.ix.0.fc=0

#dev.igb.6.fc=0
#dev.igb.7.fc=0

# def 12
kern.sched.slice=1


# def 520221
kern.maxfiles=204800
# def 468198
kern.maxfilesperproc=200000
# def 347979
kern.maxvnodes=200000

# def 1
net.inet.tcp.delayed_ack=0

net.inet.ip.portrange.first=1024
net.inet.ip.portrange.last=65535

# def 2048
kern.ipc.somaxconn=4096

# def 16384
#net.inet.tcp.recvbuf_inc: 524288
net.inet.tcp.recvbuf_inc: 1048576

#Def 2097152
#net.inet.tcp.recvbuf_max=16777216
net.inet.tcp.recvbuf_max=33554432


# def 8192
#net.inet.tcp.sendbuf_inc: 524288
net.inet.tcp.sendbuf_inc: 1048576

#Def 2097152
#net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.sendbuf_max=33554432

# def 1
net.inet.tcp.tso=0

kern.ipc.nmbclusters=2000000

kern.ipc.somaxconn=32768
#kern.ipc.somaxconn: 4096 -> 32768

net.inet.raw.maxdgram=16384
net.inet.raw.recvspace=16384

dev.ix.0.rx.processing_limit=4096
dev.ix.0.txprocessinglimit=4096
==== конец "sysctl.conf" ====



С уважением. Anton aka Stalker

Linux Registered User #386476
[#TEAM:*#] [#Злой СисОп_#] [*Нeavy Metal!*] [*_Усачи]
--- GoldED+/LNX 1.1.5-b20160322
Ответить с цитированием
  #2  
Старый 27.04.2019, 15:51
Eugene Grosbein
Guest
 
Сообщений: n/a
По умолчанию Re: interrupt cpu usage

Eugene Grosbein написал(а) к Anton Gorlov в Apr 19 19:39:59 по местному времени:

26 апр. 2019, пятница, в 20:55 NOVT, Anton Gorlov написал(а):

AG> All -а можно ли чего ещ потюнить, дял уменьшения нагурки от прерываний?

AG> CPU 0: 0.0% user, 0.0% nice, 0.0% system, 17.4% interrupt, 82.6% idle
AG> CPU 1: 0.0% user, 0.0% nice, 0.0% system, 23.9% interrupt, 76.1% idle
AG> CPU 2: 0.0% user, 0.0% nice, 0.0% system, 14.7% interrupt, 85.3% idle
AG> CPU 3: 0.0% user, 0.0% nice, 0.0% system, 11.0% interrupt, 89.0% idle
AG> CPU 4: 0.0% user, 0.0% nice, 0.0% system, 17.4% interrupt, 82.6% idle
AG> CPU 5: 0.0% user, 0.0% nice, 0.0% system, 22.0% interrupt, 78.0% idle
AG> CPU 6: 0.0% user, 0.0% nice, 0.9% system, 15.6% interrupt, 83.5% idle
AG> CPU 7: 0.0% user, 0.0% nice, 0.0% system, 25.7% interrupt, 74.3% idle
AG> CPU 8: 0.0% user, 0.0% nice, 0.9% system, 2.8% interrupt, 96.3% idle
AG> CPU 9: 0.0% user, 0.0% nice, 0.0% system, 6.4% interrupt, 93.6% idle
AG> CPU 10: 0.0% user, 0.0% nice, 0.0% system, 2.8% interrupt, 97.2% idle
AG> CPU 11: 0.0% user, 0.0% nice, 0.0% system, 3.7% interrupt, 96.3% idle

Ничего не нужно делать, всё хорошо.

Нужно понимать, что именно показывает топ в столбце interrupt.
А показывает он всю работу, совершенную ядром в контексте
обрабтчика прерывания. По умолчанию это вообще всё, что делается:
выбирание пакетов из аппаратных очередей NIC, фильтрация файрволом,
routing lookup (весьма дорогая операция при использовании BGP full view),
опять фильтрация файрволом (если есть NAT - до кучи трансляция)
и прочее, буде такое найдётся (bpf etc.), вплоть до помещения пакета
в FIFO исходящего интерфейса.

Если набор сетевых интерфейсов статический (нет создания/удаления
интерфейсов, как в BRAS), можно поиграться с sysctl net.isr.dispatch=defered ,
чтобы при получении пакета обработчик прерывания только укладывал
принятый пакет в одну из очередей ISR и завершал свою работу,
тогда % interrupt сильно упадёт. Всю остальную работу тогда станут
выполнять разгребатели очередей ISR (те самые net.isr.numthreads)
и записываться эта нагрузка станет на system вместо interrupt,
но делать это нужно осторожно - во времена FreeBSD 8 накладные расходы
на синхронизацию вносили заметную дополнительную задержку на обработку,
так что общая прокачка через систему у меня падала, а не увеличивалась,
и падала весьма заметно, до 20% (но у меня железо было перегружено).

Зато при sysctl net.isr.dispatch=defered можно увидеть в top
отдельно сколько занимает именно обработка прерываний,
а сколько всё остальное.

Eugene
--- slrn/1.0.3 (FreeBSD)
Ответить с цитированием
  #3  
Старый 30.04.2019, 13:42
Anton Gorlov
Guest
 
Сообщений: n/a
По умолчанию interrupt cpu usage

Anton Gorlov написал(а) к Eugene Grosbein в Apr 19 12:31:36 по местному времени:

Привет Eugene!

27 апр 19 года (а было тогда 19:39)
Eugene Grosbein в своем письме к Anton Gorlov писал:

EG> Ничего не нужно делать, всё хорошо.
EG> Нужно понимать, что именно показывает топ в столбце interrupt.
EG> А показывает он всю работу, совершенную ядром в контексте
EG> обрабтчика прерывания. По умолчанию это вообще всё, что делается:
EG> выбирание пакетов из аппаратных очередей NIC, фильтрация файрволом,
EG> routing lookup (весьма дорогая операция при использовании BGP full
EG> view), опять фильтрация файрволом (если есть NAT - до кучи трансляция)
EG> и прочее, буде такое найдётся (bpf etc.), вплоть до помещения пакета
EG> в FIFO исходящего интерфейса.

Если вернить pmcstat -TS instretired.anyp -w1 то основная нагрузка это
====
%SAMP IMAGE FUNCTION CALLERS
30.2 kernel ipfwchk ipfw_checkpacket
18.3 kernel cpusearch_highest cpu_search_highest:14.6 sched_idletd:2.1 schedswitch:1.7
3.6 kernel rm_rlock inlocalip
3.1 libc.so.7 bsearch 0x64db
3.1 kernel cpusearch_lowest cpu_searchlowest
====

В ipfw менее 50 правил.. Но подумаю как ещё посокращать. NAT там нет вовсе.

Смущает, что в ЧНН LA до 3-4 скачет.
Тут вон лионуксоиды пишут чоу них на более слаом проце при тарфике поболье чему меня,в раойне 7-8 гиг нагрузка на cpu в разы меньше.

====
model name : AMD FX(tm)-8350 Eight-Core Processor
суммарно под 20 г
ла меньше 1
===




EG> Зато при sysctl net.isr.dispatch=defered можно увидеть в top
EG> отдельно сколько занимает именно обработка прерываний,
EG> а сколько всё остальное.

Когда-то пробовал включать.. танксисты выть начинали. Отключил.




С уважением. Anton aka Stalker

Linux Registered User #386476
[#TEAM:*#] [#Злой СисОп_#] [*Нeavy Metal!*] [*_Усачи]
--- GoldED+/LNX 1.1.5-b20160322
Ответить с цитированием
  #4  
Старый 30.04.2019, 16:31
Eugene Grosbein
Guest
 
Сообщений: n/a
По умолчанию Re: interrupt cpu usage

Eugene Grosbein написал(а) к Anton Gorlov в Apr 19 20:08:27 по местному времени:

30 апр. 2019, вторник, в 10:31 NOVT, Anton Gorlov написал(а):

AG> %SAMP IMAGE FUNCTION CALLERS
AG> 30.2 kernel ipfwchk ipfw_checkpacket
AG> 18.3 kernel cpusearch_highest cpu_search_highest:14.6 schedidletd:2.1
AG> sched_switch:1.7
AG> 3.6 kernel rm_rlock inlocalip
AG> 3.1 libc.so.7 bsearch 0x64db
AG> 3.1 kernel cpusearch_lowest cpu_searchlowest
AG> ====
AG> В ipfw менее 50 правил.. Но подумаю как ещё посокращать. NAT там нет вовсе.

Есть в правилах ipfw слово "me"?

in_localip используется, в частности, когда ipfw проверяет,
является ли IP-адрес (src или dst) собственным адресом роутера,
и для этого код проходит по списку этих адресов,
захватывая блокировку, чтобы не спаниковать, если в это же время
происходит создание или удаление интерфейсов.
Это всё не самые дешевые операции.

Ну и вообще, желательно строить правила так, чтобы большинство
пакетов проходили по минимальному количеству правил,
как можно раньше уходя на allow или эквивалент, для этого
можно использовать skipto.

В идеале для загруженной системы надо вообще отключать все пакетные фильтры,
а доступ к ssh и прочим сервисам фильтровать средствами самих
сервисов и/или через /etc/hosts.allow

Но тут-то система недогружена сильно.

AG> Смущает, что в ЧНН LA до 3-4 скачет.

А надо, чтобы в час наибольшей нагрузки система обрабатывала
эту нагрузку святым духом? Повышение нагрузки под нагрузкой -
так и должно быть.

AG> Тут вон лионуксоиды пишут чоу них на более слаом проце при тарфике поболье чему
AG> меня,в раойне 7-8 гиг нагрузка на cpu в разы меньше.
AG> ====
AG> model name : AMD FX(tm)-8350 Eight-Core Processor
AG> суммарно под 20 г
AG> ла меньше 1
AG> ===

Нельзя сравнивать LA в разных операционных системах,
они несравнимо по-разному считаются. Но можно сравнивать
количество idle CPU.

Кроме того, "более слабый проц" может означать более
старую аппаратуру без NUMA. А использование железа с NUMA
накладывает особые требования на конфигурирование,
а иначе можно получить значительные тормоза просто
на копировании данных между разными доменами.

Eugene
--- slrn/1.0.3 (FreeBSD)
Ответить с цитированием
  #5  
Старый 04.05.2019, 14:42
Anton Gorlov
Guest
 
Сообщений: n/a
По умолчанию interrupt cpu usage

Anton Gorlov написал(а) к Eugene Grosbein в May 19 13:28:56 по местному времени:

Привет Eugene!

30 апр 19 года (а было тогда 20:08)
Eugene Grosbein в своем письме к Anton Gorlov писал:

AG>> %SAMP IMAGE FUNCTION CALLERS
AG>> 30.2 kernel ipfwchk ipfw_checkpacket

[skip]

EG> Есть в правилах ipfw слово "me"?

Да есть. Фильтруется доcтуп к snmp/ssh

EG> in_localip используется, в частности, когда ipfw проверяет,
EG> является ли IP-адрес (src или dst) собственным адресом роутера,
EG> и для этого код проходит по списку этих адресов,
EG> захватывая блокировку, чтобы не спаниковать, если в это же время
EG> происходит создание или удаление интерфейсов.
EG> Это всё не самые дешевые операции.

Да это понятно. Там всего 7 адресов висит, включая линковочные подсети. Динамического создания интерфейсов нет.
А если вместо me прописать явным образом адреса в правилах, например через ipfw table что-то изменится или тоже cамое,вид сбоку?

EG> Ну и вообще, желательно строить правила так, чтобы большинство
EG> пакетов проходили по минимальному количеству правил,
EG> как можно раньше уходя на allow или эквивалент, для этого
EG> можно использовать skipto.

Да так оно и есть. Дропаю входящие ко мне, потом netbios и порт 4444 (несколько раз на него прилетало всякое непотребство)
и остальное в allow.
Ну ещё deny icmp from any to any in icmptype 5,9,13,14,15,16,17


EG> В идеале для загруженной системы надо вообще отключать все пакетные
EG> фильтры, а доступ к ssh и прочим сервисам фильтровать средствами самих
EG> сервисов и/или через /etc/hosts.allow

Уху. Правда не уврен что net-snmp это умеет (вернее даже увtрен, что не умеет) - по крайней мере ldd /usr/local/sbin/snmpd | grep wrap молчит,в отличие от sshd.

EG> Но тут-то система недогружена сильно.

Ещё вариант повесить acl на 65 кошке, которая в данном случае по L2 смотрит на bgp. Но стоит ли?

AG>> Смущает, что в ЧНН LA до 3-4 скачет.
EG> А надо, чтобы в час наибольшей нагрузки система обрабатывала
EG> эту нагрузку святым духом? Повышение нагрузки под нагрузкой -
EG> так и должно быть.

В этом месте вопрсов как бы и нет.

EG> Нельзя сравнивать LA в разных операционных системах,
EG> они несравнимо по-разному считаются. Но можно сравнивать
EG> количество idle CPU.

Вот тут да..не подумал тчо оно по разному считается.

EG> Кроме того, "более слабый проц" может означать более
EG> старую аппаратуру без NUMA. А использование железа с NUMA
EG> накладывает особые требования на конфигурирование,
EG> а иначе можно получить значительные тормоза просто
EG> на копировании данных между разными доменами.

В моём случае в сервере всего 1 процессор и если верить fgrep -i numa-domain /var/run/dmesg.boot
все сететвые находятся в 1 домене:
=====
ix0: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xe020-0xe03f mem 0xfb780000-0xfb7fffff,0xfb804000-0xfb807fff irq 40 at device 0.0 numa-domain 0 on pci5
ix1: <Intel(R) PRO/10GbE PCI-Express Network Driver, Version - 3.2.12-k> port 0xe000-0xe01f mem 0xfb680000-0xfb6fffff,0xfb800000-0xfb803fff irq 44 at device 0.1 numa-domain 0 on pci5

igb0: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> mem 0xfb400000-0xfb4fffff,0xfb50c000-0xfb50ffff irq 26 at device 0.0 numa-domain 0 on pci2
igb1: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> mem 0xfb300000-0xfb3fffff,0xfb508000-0xfb50bfff irq 28 at device 0.1 numa-domain 0 on pci2
igb2: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> mem 0xfb200000-0xfb2fffff,0xfb504000-0xfb507fff irq 29 at device 0.2 numa-domain 0 on pci2
igb3: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> mem 0xfb100000-0xfb1fffff,0xfb500000-0xfb503fff irq 30 at device 0.3 numa-domain 0 on pci2
igb4: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> mem 0xfba00000-0xfbafffff,0xfbb04000-0xfbb07fff irq 32 at device 0.0 numa-domain 0 on pci3
igb5: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> mem 0xfb900000-0xfb9fffff,0xfbb00000-0xfbb03fff irq 36 at device 0.1 numa-domain 0 on pci3
igb6: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xc000-0xc01f mem 0xfbd00000-0xfbd7ffff,0xfbd80000-0xfbd83fff irq 18 at device 0.0 numa-domain 0 on pci8
igb7: <Intel(R) PRO/1000 Network Connection, Version - 2.5.3-k> port 0xb000-0xb01f mem 0xfbc00000-0xfbc7ffff,0xfbc80000-0xfbc83fff irq 19 at device 0.0 numa-domain 0 on pci9
=====






С уважением. Anton aka Stalker

Linux Registered User #386476
[#TEAM:*#] [#Злой СисОп_#] [*Нeavy Metal!*] [*_Усачи]
--- GoldED+/LNX 1.1.5-b20160322
Ответить с цитированием
  #6  
Старый 04.05.2019, 15:32
Eugene Grosbein
Guest
 
Сообщений: n/a
По умолчанию Re: interrupt cpu usage

Eugene Grosbein написал(а) к Anton Gorlov в May 19 19:12:59 по местному времени:

04 мая 2019, суббота, в 11:28 NOVT, Anton Gorlov написал(а):

AG>>> %SAMP IMAGE FUNCTION CALLERS
AG>>> 30.2 kernel ipfwchk ipfw_checkpacket
AG> [skip]
EG>> Есть в правилах ipfw слово "me"?
AG> Да есть. Фильтруется доcтуп к snmp/ssh

Перемести в /etc/hosts.allow

AG> А если вместо me прописать явным образом адреса в правилах, например через ipfw
AG> table что-то изменится или тоже cамое,вид сбоку?

По сравнению с hosts.allow - вид сбоку.

EG>> Ну и вообще, желательно строить правила так, чтобы большинство
EG>> пакетов проходили по минимальному количеству правил,
EG>> как можно раньше уходя на allow или эквивалент, для этого
EG>> можно использовать skipto.
AG> Да так оно и есть. Дропаю входящие ко мне

Зачем? Фряхе всё по-барабану.

AG> потом netbios и порт 4444 (несколько
AG> раз на него прилетало всякое непотребство)

Да и пусть летит, ядро и без пакетного фильтра всё заблочит:
открой для себя sysctl net.inet.tcp.blackhole и net.inet.udp.blackhole

AG> и остальное в allow.
AG> Ну ещё deny icmp from any to any in icmptype 5,9,13,14,15,16,17

Не нужно низачем вообще.

EG>> В идеале для загруженной системы надо вообще отключать все пакетные
EG>> фильтры, а доступ к ssh и прочим сервисам фильтровать средствами самих
EG>> сервисов и/или через /etc/hosts.allow
AG> Уху. Правда не уврен что net-snmp это умеет (вернее даже увtрен, что не умеет)
AG> - по крайней мере ldd /usr/local/sbin/snmpd | grep wrap молчит,в отличие от
AG> sshd.

А зачем тебе вообще net-snmpd? Используй штатный bsnmpd,
он нормально фильтрует запросы по /etc/hosts.allow (имя сервиса snmpd).

EG>> Но тут-то система недогружена сильно.
AG> Ещё вариант повесить acl на 65 кошке, которая в данном случае по L2 смотрит на
AG> bgp. Но стоит ли?

Да у тебя система недогружена очень сильно, тебе вообще только
из академического интереса можно всем этим заниматься.

Eugene
--- slrn/1.0.3 (FreeBSD)
Ответить с цитированием
  #7  
Старый 04.05.2019, 20:13
Anton Gorlov
Guest
 
Сообщений: n/a
По умолчанию interrupt cpu usage

Anton Gorlov написал(а) к Eugene Grosbein в May 19 18:05:08 по местному времени:

Привет Eugene!

04 май 19 года (а было тогда 19:12)
Eugene Grosbein в своем письме к Anton Gorlov писал:

AG>> [skip]
EG>>> Есть в правилах ipfw слово "me"?
AG>> Да есть. Фильтруется доcтуп к snmp/ssh
EG> Перемести в /etc/hosts.allow

Можно конечно, но не хотелось всё размазывать по кучке мест.
А так всё в 1 месте и применяется ко всем нужным сервисам.

AG>> А если вместо me прописать явным образом адреса в правилах,
AG>> например через ipfw table что-то изменится или тоже cамое,вид
AG>> сбоку?
EG> По сравнению с hosts.allow - вид сбоку.

А по сравнению с "me"?

EG>>> как можно раньше уходя на allow или эквивалент, для этого
EG>>> можно использовать skipto.
AG>> Да так оно и есть. Дропаю входящие ко мне
EG> Зачем? Фряхе всё по-барабану.

Я имею ввиду дропаю точто мнене нужно тчобы светило во вне и там где нет libwrap.

AG>> потом netbios и порт 4444 (несколько
AG>> раз на него прилетало всякое непотребство)
EG> Да и пусть летит, ядро и без пакетного фильтра всё заблочит:

Так дропаю в том числе и на транзите. Достали всякие ботнетики и прчоие непотребства.
На 4444 несколько раз прилетал такой хороший флуд в сторону клиента,причём клиент ещё и отвечал на него. Вангую чт оатм ботнетик был, как и на микротиках с открытым 53 udp.
С тех пор как заабнил больше туда ничгео не прилетало,по кр мерре в таком объёме.

EG> открой для себя sysctl net.inet.tcp.blackhole и net.inet.udp.blackhole

Давно.
===
# drop UDP packets destined for closed sockets
net.inet.udp.blackhole=1
# drop TCP packets destined for closed sockets
net.inet.tcp.blackhole=2
===

Но тут речь и про открытые порты на стороне клиентов с реальниками, которые таки приходится подфильтровывать.

AG>> и остальное в allow.
AG>> Ну ещё deny icmp from any to any in icmptype 5,9,13,14,15,16,17
EG> Не нужно низачем вообще.

Ну.. не уверен что оно не нужно. В сети клиентов полно говна, которое на такое всё ещё местами клюёт.

EG> А зачем тебе вообще net-snmpd? Используй штатный bsnmpd,
EG> он нормально фильтрует запросы по /etc/hosts.allow (имя сервиса
EG> snmpd).

Уже не помню почему на него перешёл.. но чего-то в ранние времена не хватало. Опять же унификация ПО.

EG>>> Но тут-то система недогружена сильно.
AG>> Ещё вариант повесить acl на 65 кошке, которая в данном случае по
AG>> L2 смотрит на bgp. Но стоит ли?
EG> Да у тебя система недогружена очень сильно, тебе вообще только
EG> из академического интереса можно всем этим заниматься.

Да из-за него и ковыряю в общем-то.


С уважением. Anton aka Stalker

Linux Registered User #386476
[#TEAM:*#] [#Злой СисОп_#] [*Нeavy Metal!*] [*_Усачи]
--- GoldED+/LNX 1.1.5-b20160322
Ответить с цитированием
  #8  
Старый 04.05.2019, 22:14
Eugene Grosbein
Guest
 
Сообщений: n/a
По умолчанию Re: interrupt cpu usage

Eugene Grosbein написал(а) к Anton Gorlov в May 19 01:12:43 по местному времени:

04 мая 2019, суббота, в 16:05 NOVT, Anton Gorlov написал(а):

AG>>> А если вместо me прописать явным образом адреса в правилах,
AG>>> например через ipfw table что-то изменится или тоже cамое,вид
AG>>> сбоку?
EG>> По сравнению с hosts.allow - вид сбоку.
AG> А по сравнению с "me"?

Сравни.

Eugene
--
Научить не кланяться авторитетам, а исследовать их и сравнивать их поучения
с жизнью. Научить настороженно относиться к опыту бывалых людей, потому что
жизнь меняется необычайно быстро.
--- slrn/1.0.3 (FreeBSD)
Ответить с цитированием
  #9  
Старый 04.05.2019, 23:48
Anton Gorlov
Guest
 
Сообщений: n/a
По умолчанию interrupt cpu usage

Anton Gorlov написал(а) к Eugene Grosbein в May 19 22:34:30 по местному времени:

Привет Eugene!

05 май 19 года (а было тогда 01:12)
Eugene Grosbein в своем письме к Anton Gorlov писал:

AG>>>> А если вместо me прописать явным образом адреса в правилах,
AG>>>> например через ipfw table что-то изменится или тоже cамое,вид
AG>>>> сбоку?
EG>>> По сравнению с hosts.allow - вид сбоку.
AG>> А по сравнению с "me"?
EG> Сравни.


Ок. по результатам отпишусь. На днях проверю.



С уважением. Anton aka Stalker

Linux Registered User #386476
[#TEAM:*#] [#Злой СисОп_#] [*Нeavy Metal!*] [*_Усачи]
--- GoldED+/LNX 1.1.5-b20160322
Ответить с цитированием
  #10  
Старый 25.05.2019, 11:42
Alex Korchmar
Guest
 
Сообщений: n/a
По умолчанию Re: interrupt cpu usage

Alex Korchmar написал(а) к Anton Gorlov в May 19 10:29:29 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Anton Gorlov <Anton.Gorlov@f37.n5059.z2.fidonet.org> wrote:

AG> Ок. по результатам отпишусь. На днях проверю.
и тишина ;-)

> Alex

--- ifmail v.2.15dev5.4
Ответить с цитированием
Ответ

Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 18:58. Часовой пояс GMT +4.


Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2024, vBulletin Solutions, Inc. Перевод: zCarot