[FUG-BR] maxproc limit uid 89, tuning qmail
Joel Cappellesso
cappellesso em gmail.com
Quinta Maio 20 09:41:59 BRT 2010
# cat /usr/local/etc/spamdyke.conf |grep -v "^$" |grep -v "#"
max-recipients=100
reject-empty-rdns
reject-missing-sender-mx
reject-unresolvable-rdns
log-level=info
log-target=syslog
ip-whitelist-file=/usr/local/etc/spamdyke-whitelist
dns-blacklist-entry=DNSRBL
dns-blacklist-file=/usr/local/etc/spamdyke-blacklist
graylist-level=none
graylist-dir=/usr/local/vpopmail/graylist
graylist-max-secs=86400
graylist-min-secs=300
graylist-exception-ip-file=/usr/local/etc/spamdyke-graylist-exception
graylist-exception-rdns-file=/usr/local/etc/spamdyke-graylist-exception-rdns
relay-level=normal
access-file=/usr/local/vpopmail/etc/tcp.smtp
local-domains-file=/var/qmail/control/rcpthosts
rejection-text-empty-rdns="Negado. Voce nao tem o DNS reverso
configurado, contato o Administrador de sua rede."
rejection-text-missing-sender-mx="Recusado. O dominio do seu endereco
de email nao possui uma entrada MX no DNS."
rejection-text-unresolvable-rdns="Recusado. Seu servidor nao possui o
Dns Reverso configurado, contate o administrador da sua rede!"
Quanto as mensagens na fila , elas são de tudo que é tipo. Spams,
destinos inexistentes e as mensagens reais.
# cat /usr/local/etc/spamdyke-blacklist
bl.spamcop.net
xbl.spamhaus.org
sbl.spamhaus.org
Não estou usando o graylist porque os alguns usuários reclamam se o
email demorar mais que 5 min. E fica inviável ficar administrando
whitlist para o graylist.
Pelo jeito o softfail é mais inteligente vou ver o que consigo com
ele. Valeu pela dica, não conhecia.
O spamassassin eu chamo via .qmail-default
| /var/qmail/bin/preline /usr/local/bin/spamc -u "$DEFAULT"@"$HOST" |
/usr/local/vpopmail/bin/vdelivermail '' delete
A intenção quando postei a dúvida era aumentar a eficiência das
entreguas simultâneas. A impressão como falei é que o hardware está
limitando. Inicialmente por exemplo se eu não trabalha-se com
grayllist o servidor não aguentava o tranco, gerava muita fila. Depois
que alterei o :
>> >> kern.ipc.nsfbufs="79872" # Set the number of sendfile(2)
Ele deslanchou. Depois disso pude trabalhar sem o graylist que ele aguenta.
Por isso a dúvida se existe algum parametro ainda para ajuste ou se o
hardware está no limite. Talvez algo no simscan ou anti-virus que
esteja segurando.
Agora só usando alguma ferramenta como o softfail para aliviar o serviço?
Obrigado a todos pela ajuda.
Em 19 de maio de 2010 22:19, Luciano Antonio Borguetti Faustino
<lucianoborguetti.listas em gmail.com> escreveu:
> Joel,
> Quais são os filtros que você está utilizando no spamdyke?
> Tenho experiência com servidores de e-mail/qmail e uso o spamdyke, talves
> possa te ajudar.
> Essas mensagens que ficam na fila como não processadas são spam's ?
> Posso compartilhar algumas configurações que uso aqui em alguns clientes
> (também provedores de acesso).
>
> Abraço,
>
> 2010/5/19 Joel Cappellesso <cappellesso em gmail.com>
>>
>> Obrigado pelo retorno, vou dar uma olhada no patch que mencionaram,
>> deve ajudar tmb. Vamos lá:
>>
>> Meu tcpserver está configurado para atender até 160 conexões simultâneas.
>> Qmailmrtg do tcpserver: média de 112 simultâneas.
>> Max Average Current
>> SMTP 150.0 SMTP (150.0%) 112.0 SMTP (112.0%) 127.0 SMTP
>> (127.0%)
>> SMTP 150.0 SMTP (150.0%) 112.0 SMTP (112.0%) 127.0 SMTP
>> (127.0%)
>>
>> Queue Size: O problema é quando ele aumenta as mensagens não
>> processadas. No momento por exemplo 194 ainda não foram processadas.
>> Max Average Current
>> msg 1531.0 Msg (15.3%) 590.0 Msg (5.9%) 673.0 Msg (6.7%)
>> unprocessed msg: 1210.0 Msg (12.1%) 58.0 Msg (0.6%)
>> 194.0 Msg (1.9%)
>>
>> Mensagens/hora
>> Max Average Current
>> Deliveries: 12.9 kmsg (129.1%) 6065.0 msg (60.6%) 10.6 kmsg
>> (105.8%)
>> Attempts: 14.8 kmsg (148.3%) 7081.0 msg (70.8%) 12.0 kmsg
>> (119.5%)
>>
>> # cat concurrencyincoming
>> 150
>> # cat concurrencyremote
>> 200
>> # cat concurrencylocal
>> 200
>>
>> Utilizo o spamdyke + simscan + spamassassin + clamd.
>>
>> Recebo muito spam, com certeza. São aproximadamente 7.000 caixas
>> postais. Provedor.
>> No geral está funcionando bem. Só achei que ele deveria entregar mais
>> mensagens locais simultâneamente.
>>
>> Tenho a impressão que é o disco, fiz um iostat em 2 momentos. Com fila e
>> sem.
>> Não encontrei diferença nos dois. Alguma dica para tirar a certeza se
>> é ou não disco?
>>
>> #sem fila
>> # /var/qmail/bin/qmail-qstat
>> messages in queue: 455
>> messages in queue but not yet preprocessed: 0
>> # iostat -c 10
>> tty ad4 cpu
>> tin tout KB/t tps MB/s us ni sy in id
>> 0 1 15.87 89 1.38 18 0 4 0 78
>> 0 129 8.97 89 0.78 23 0 6 0 71
>> 0 43 9.79 56 0.53 20 0 7 0 73
>> 0 43 6.67 83 0.54 6 0 3 0 92
>> 0 43 8.92 104 0.90 16 0 4 0 80
>> 0 43 11.17 118 1.29 10 0 5 0 86
>> 0 43 16.16 141 2.22 16 0 3 0 81
>> 0 43 20.33 129 2.56 18 0 5 0 77
>> 0 43 16.80 142 2.33 24 0 6 0 69
>> 0 43 20.48 146 2.92 35 0 7 0 58
>>
>> #com fila/mensagens na espera para serem processadas.
>> # iostat -c 10
>> tty ad4 cpu
>> tin tout KB/t tps MB/s us ni sy in id
>> 0 16 15.92 91 1.42 18 0 4 0 77
>> 0 129 6.54 92 0.59 46 0 9 0 45
>> 0 43 7.79 122 0.93 77 0 6 0 17
>> 0 43 5.96 100 0.58 82 0 6 0 12
>> 0 43 7.03 97 0.67 54 0 13 0 34
>> 0 43 5.61 132 0.72 10 0 2 0 88
>> 0 43 22.04 134 2.88 61 0 20 0 18
>> 0 43 8.62 146 1.23 71 0 13 0 16
>> 0 43 12.49 181 2.20 41 0 6 0 53
>> 0 43 13.84 126 1.70 39 0 7 0 54
>>
>>
>> # cat /usr/local/etc/clamd.conf |grep -v "#" |grep -v "^$"
>> LogFile /var/log/clamav/clamd.log
>> PidFile /var/run/clamav/clamd.pid
>> DatabaseDirectory /var/db/clamav
>> LocalSocket /var/run/clamav/clamd.sock
>> FixStaleSocket yes
>> MaxConnectionQueueLength 40
>> MaxThreads 45 <--- talvez
>> MaxQueue 200
>> User clamav
>> AllowSupplementaryGroups yes
>> ScanMail yes
>>
>> Não parece ser limite no spamassassin. Está configurado para até 100
>> conexões.
>> /usr/local/bin/spamd -c -v -u simscan -d -m 100 -r
>> /var/run/spamd/spamd.pid -s /var/log/spamd.log (perl5.8.9)
>>
>> Obrigado
>> Joel
>>
>>
>>
>>
>> Em 18 de maio de 2010 08:17, renato martins <renatobsd em gmail.com>
>> escreveu:
>> > cara o qmail mesmo com muito trafego não consome tanto cpu e memoria
>> > assim é
>> > possivel que voce esteja rodando mais aplicativos como spamassassin,
>> > clamav
>> > que estão consumido essa sua memoria e cpu.
>> >
>> > rode o top por um tempo e veja oque esta consumindo tanto outra coisa
>> > use o
>> > qmhandle para verificar sua fila que deve estar lotada de spams
>> >
>> > Em 17 de maio de 2010 14:16, Joel Cappellesso
>> > <cappellesso em gmail.com>escreveu:
>> >
>> >> Ola Pessoal,
>> >>
>> >> May 17 09:22:21 avalon kernel: maxproc limit exceeded by uid 89,
>> >> please see tuning(7) and login.conf(5).
>> >> May 17 09:22:50 avalon last message repeated 9 times
>> >>
>> >> meu login.conf o default está:
>> >>
>> >>
>> >> default:\
>> >> ....
>> >> :maxproc=unlimited:\
>> >> ....
>> >>
>> >> Não deveria estar sem limite .
>> >>
>> >> Ou ele utiliza:
>> >>
>> >> kern.maxproc: 6164
>> >> kern.maxprocperuid: 5547
>> >>
>> >> Estou aumentando agora:
>> >> sysctl kern.maxprocperuid=8547
>> >> kern.maxprocperuid: 5547 -> 8547
>> >> para teste.
>> >>
>> >> Para melhorar a performance adicionei no arquivo : /boot/loader.conf
>> >> kern.ipc.nsfbufs="79872" # Set the number of sendfile(2)
>> >> bufs
>> >>
>> >> Isso já melhorou o número de mensagens entregues ao mesmo tempo. Mas
>> >> ainda não ficou legal, não passa das 40 simultâneos.
>> >>
>> >> Alguem tem alguma dica para melhorar a performance do qmail?
>> >>
>> >> # netstat -m
>> >> 700/1325/2025 mbufs in use (current/cache/total)
>> >> 279/733/1012/25600 mbuf clusters in use (current/cache/total/max)
>> >> 279/476 mbuf+clusters out of packet secondary zone in use
>> >> (current/cache)
>> >> 0/726/726/12800 4k (page size) jumbo clusters in use
>> >> (current/cache/total/max)
>> >> 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
>> >> 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
>> >> 733K/4701K/5434K bytes allocated to network (current/cache/total)
>> >> 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
>> >> 0/0/0 requests for jumbo clusters denied (4k/9k/16k)
>> >> 0/22/79872 sfbufs in use (current/peak/max)
>> >> 0 requests for sfbufs denied
>> >> 0 requests for sfbufs delayed
>> >> 1112 requests for I/O initiated by sendfile
>> >> 0 calls to protocol drain routines
>> >>
>> >> last pid: 42903; load averages: 2.12, 3.70, 3.03
>> >> up 9+22:11:27 14:12:33
>> >> 327 processes: 12 running, 298 sleeping, 1 zombie, 16 lock
>> >> CPU: 69.0% user, 0.0% nice, 26.6% system, 0.4% interrupt, 3.9% idle
>> >> Mem: 541M Active, 2032M Inact, 235M Wired, 69M Cache, 112M Buf, 625M
>> >> Free
>> >> Swap: 4096M Total, 204K Used, 4096M Free
>> >>
>> >> Valeu
>> >> Joel
>> >> -------------------------
>> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >>
>> > -------------------------
>> > Histórico: http://www.fug.com.br/historico/html/freebsd/
>> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
>
>
> --
> #!/bin/bash
>
> Luciano Antonio Borguetti Faustino
> GNU/Linux user number: 339110
> ICQ UIN number: 82092097 - ICQ ainda na atividade :)
> http://lucianoborguetti.blogspot.com
>
> Preconceito é opinião sem conhecimento.
>
> :wq
>
Mais detalhes sobre a lista de discussão freebsd