[FUGSPBR] Spamassassin comendo muita CPU....
Patrick Tracanelli
eksffa em freebsdbrasil.com.br
Ter Dez 16 14:10:34 BRST 2003
Vini wrote:
> Fala Patrick,
>
> Tudo certo?
>
> Vc usa spamassassin junto com seu qmail-scanner?
>
> Qual é a carga que esse servidor recebe por dia?
>
> O que afunda o barco é o PERL, então se eu ativo o SA aqui putz a coisa
> fica feia, se eu deixo o qmail-scanner só com o AV vai numa boa, mesmo
> com alguns processos de perl comendo um pouco a cpu.
>
> Valeu
> Até mais
> Vini
Então vamos lá, coleção de dados que eu levantei agora:
São 441 domínios, 10370 usuarios.
--------------
Segundo o qmailmrtg7 concorrência remota em média de 40 instancias
simultaneas, concorrencia local em media 20 instancias simultaneas,
média de 800 mensagens a cada 5 minutos, tamanho médio da fila em 300
mensagens, das quais 95% é failure-notice, tempo maximo das mensagens em
fila é 4 horas, média de 0,01 mensagens não pre-processadas na fila por
dia.
---------------
Só acompanho média de tamanho das mensagens em e-mails do dominio
principal do provedor, a média é 270k.
----------------
Sensibilidade do SA em 3.5 pontos, média de "Spam Status YES" é de 93
mensagens por minuto.
-----------------
Detalhe que acho que vale mencionar, tem SPAMCONTROL e RBLSMTPD
consultando 5 listas, então o SA só é usado depois que o SPAM passa por
esses dois, isso quer dizer que não fica tudo nas costas dele.
-----------------
Hardware normal, 512MB DDR, 1.4G de SWAP em 2 discos separados (700M
cada), discos IDE (UDMA100), 1 processador:
CPU: Intel(R) Pentium(R) 4 CPU 1.90GHz (1894.25-MHz 686-class CPU)
Pentium Pro MTRR support enabled
------------------
O filtro básico é feito por qmail-scanner+sa+uvscan
------------------
Não tenho estatistica nenhuma de virus pra te falar, a não ser numero de
virus por mês (a unica coisa q eu calculo):
31 - Logs do qmail-queue junto ao antivirus.
32 - Apagar todas as mensagens com virus do Quarantine.
33 - Apagar todas as mensagens com virus verificadas agora.
34 - Contar virus encontrados.
50 - Sair.
Qual opcao voce deseja? 34
Total de virus interceptados segundo os logs recentes (rotacioado
mensalmente): 142375 Virus!
----------------
load averages: 1.30, 2.52, 2.68
----------------
Detalhe desse load, não é tudo culpa do Perl. O servidor é webmail para
todos os dominios do provedor, com uebimiau que é bonito, fácil,
funcional, consideravelmente seguro, mas nunca foi modelo de boa
performance:
# top -nb 4
last pid: 38159; load averages: 1.25, 2.44, 2.65 up 32+01:27:27
13:39:13
140 processes: 3 running, 137 sleeping
Mem: 175M Active, 184M Inact, 99M Wired, 15M Cache, 61M Buf, 27M Free
Swap: 1024M Total, 14M Used, 1010M Free, 1% Inuse
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND
51408 www 18 0 9788K 6032K lockf 0:02 1.51% 1.51% httpd
37826 qscand -6 0 4552K 3992K piperd 0:00 0.74% 0.39%
perl5.00503
37954 qscand -6 0 4544K 3988K piperd 0:00 1.04% 0.34%
perl5.00503
47935 www 18 0 9300K 5524K lockf 0:01 0.24% 0.24% httpd
-----------------------
# perl -v | head -2
This is perl, version 5.005_03 built for i386-freebsd
------------------------
# fstat | grep perl | wc -l
185
------------------------
O servidor é completamente "tunned" mas como você pode notar a
utilizacao de recursos não ta muito proxima de realmente precisar de tuning.
-------------------------
Todos FS (exceto /) com Soft Updates, isso inclui o /var/qmail (fs
separado com algum tuning, bem como /usr/local/vpopmail, newfs options é
-b 4096 -f 512 - blocos de 4k com frag size de 512 bytes - ambos com
otimizacao fixada para performance e nao espaco. Contrariando o DJB, tem
softupdates no /var/qmail (o queue fica ai dentro, nao em um FS
separado). FreeBSD 4.9-STABLE de +/- 1 mes atras.
O resto do tunning (arquivos simultaneos, descritores, buffer tcp/ip,
etc) não faz diferenca aqui, como vc pode ver ta bem baixo o uso desses
recursos.
--------------------------
# iostat -w1
tty ad0 ad2 fd0 cpu
tin tout KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s us ni sy in id
0 80 0.00 0 0.00 0.00 0 0.00 0.00 0 0.00 40 0 7 1 51
0 310 8.73 33 0.28 8.00 0 0.30 0.00 0 0.00 54 0 12 2 33
0 190 92.52 31 2.77 0.00 0 0.00 0.00 0 0.00 36 0 9 2 53
0 534 69.15 91 6.15 0.00 0 0.00 0.00 0 0.00 75 0 21 3 2
0 416 12.00 36 0.43 0.00 0 0.00 0.00 0 0.00 24 0 10 3 63
0 77 9.65 17 0.16 0.00 0 0.00 0.00 0 0.00 45 0 8 1 47
0 291 15.23 31 0.46 0.00 0 0.00 0.00 0 0.00 50 0 15 2 33
0 76 12.00 1 0.01 0.00 0 0.00 0.00 0 0.00 6 0 1 2 91
0 310 16.41 170 2.73 0.00 0 0.00 0.00 0 0.00 4 0 3 2 91
0 297 12.89 9 0.11 0.00 0 0.00 0.00 0 0.00 2 0 5 2 91
----------------------
Não sei se faz alguma diferenca pras suas conclusoes, mas o servidor
firewall tem
#ipfw sh | grep limit
00405 13289741 6177955210 allow tcp from any to me 25 limit src-addr 5
in recv fxp0 setup
----------------------
Essa maquina nunca grita?
Grita, quando alguns clientes (autenticos) desse provedor resolve fazer
SPAM (saida, por tanto, não recebimento). Infelizmente o administrador
não usa o "tarpit" (do SPAMCONTROL, não aplicado separado) com a mesma
severidade que eu aconselho, e as vezes os clientes dele abusam... Mas
isso não é muito comum e é problema administrativo deles, uma vez que
daria pra diminuir a intensidade desse problema com tarpitdelay 5
tarpitcount 5.
--
Atenciosamente,
Patrick Tracanelli
FreeBSD Brasil LTDA.
The FreeBSD pt_BR Documentation Project
http://www.freebsdbrasil.com.br
patrick @ freebsdbrasil.com.br
"Long live Hanin Elias, Kim Deal!"
_______________________________________________________________
Sair da Lista: http://lists.fugspbr.org/listinfo.cgi
Historico: http://www4.fugspbr.org/lista/html/FUG-BR/
Mais detalhes sobre a lista de discussão freebsd