[FUG-BR] maxproc limit uid 89, tuning qmail
Joel Cappellesso
cappellesso em gmail.com
Sexta Maio 21 11:02:25 BRT 2010
Pelo que vejo é o disco mesmo, veja:
real memory = 3748200448 (3574 MB)
avail memory = 3668545536 (3498 MB)
ad4: 238475MB <Seagate ST3250318AS CC44> at ata2-master SATA150
dT: 1.001s w: 1.000s
L(q) ops/s r/s kBps ms/r w/s kBps ms/w %busy Name
3 113 18 152 129.1 95 7385 133.6 103.0| ad4
3 113 18 152 129.1 95 7385 133.6 103.1| ad4s1
0 0 0 0 0.0 0 0 0.0 0.0| ad4s1a
0 0 0 0 0.0 0 0 0.0 0.0| ad4s1b
0 0 0 0 0.0 0 0 0.0 0.0| ad4s1c
1 19 2 4 173.2 17 138 112.0 105.2| ad4s1d
0 54 0 0 0.0 54 6905 74.5 69.6| ad4s1e
2 40 16 148 123.6 24 342 282.2 102.6| ad4s1f
Para dar uma aliviada vou ver a questão do softfail.
Valeu pela ajuda.
Joel
Em 20 de maio de 2010 20:52, renato martins <renatobsd em gmail.com> escreveu:
> Qual o cpu desta maquina ?
> Outra coisa seria bom voce por mais memoria nessa maquina 512 é muito pouco
> para rodar o clamav e spamassin na mesma maquina
> acredito que voce deva ter ai ainda um mysql para ajudar a comer a memoria ?
>
>
>
> os hds são sata ou scsi ?
>
> eu rodava esses mesmo aplicativos com 8.000 mil caixas de email em um del
> com 2 gb de memoria e um xeon 3.0 bem folgado
>
> Em 20 de maio de 2010 09:41, Joel Cappellesso <cappellesso em gmail.com>escreveu:
>
>> # cat /usr/local/etc/spamdyke.conf |grep -v "^$" |grep -v "#"
>> max-recipients=100
>> reject-empty-rdns
>> reject-missing-sender-mx
>> reject-unresolvable-rdns
>> log-level=info
>> log-target=syslog
>> ip-whitelist-file=/usr/local/etc/spamdyke-whitelist
>> dns-blacklist-entry=DNSRBL
>> dns-blacklist-file=/usr/local/etc/spamdyke-blacklist
>> graylist-level=none
>> graylist-dir=/usr/local/vpopmail/graylist
>> graylist-max-secs=86400
>> graylist-min-secs=300
>> graylist-exception-ip-file=/usr/local/etc/spamdyke-graylist-exception
>>
>> graylist-exception-rdns-file=/usr/local/etc/spamdyke-graylist-exception-rdns
>> relay-level=normal
>> access-file=/usr/local/vpopmail/etc/tcp.smtp
>> local-domains-file=/var/qmail/control/rcpthosts
>> rejection-text-empty-rdns="Negado. Voce nao tem o DNS reverso
>> configurado, contato o Administrador de sua rede."
>> rejection-text-missing-sender-mx="Recusado. O dominio do seu endereco
>> de email nao possui uma entrada MX no DNS."
>> rejection-text-unresolvable-rdns="Recusado. Seu servidor nao possui o
>> Dns Reverso configurado, contate o administrador da sua rede!"
>>
>> Quanto as mensagens na fila , elas são de tudo que é tipo. Spams,
>> destinos inexistentes e as mensagens reais.
>>
>> # cat /usr/local/etc/spamdyke-blacklist
>> bl.spamcop.net
>> xbl.spamhaus.org
>> sbl.spamhaus.org
>>
>>
>> Não estou usando o graylist porque os alguns usuários reclamam se o
>> email demorar mais que 5 min. E fica inviável ficar administrando
>> whitlist para o graylist.
>>
>> Pelo jeito o softfail é mais inteligente vou ver o que consigo com
>> ele. Valeu pela dica, não conhecia.
>>
>> O spamassassin eu chamo via .qmail-default
>> | /var/qmail/bin/preline /usr/local/bin/spamc -u "$DEFAULT"@"$HOST" |
>> /usr/local/vpopmail/bin/vdelivermail '' delete
>>
>>
>> A intenção quando postei a dúvida era aumentar a eficiência das
>> entreguas simultâneas. A impressão como falei é que o hardware está
>> limitando. Inicialmente por exemplo se eu não trabalha-se com
>> grayllist o servidor não aguentava o tranco, gerava muita fila. Depois
>> que alterei o :
>> >> >> kern.ipc.nsfbufs="79872" # Set the number of
>> sendfile(2)
>> Ele deslanchou. Depois disso pude trabalhar sem o graylist que ele aguenta.
>> Por isso a dúvida se existe algum parametro ainda para ajuste ou se o
>> hardware está no limite. Talvez algo no simscan ou anti-virus que
>> esteja segurando.
>> Agora só usando alguma ferramenta como o softfail para aliviar o serviço?
>>
>> Obrigado a todos pela ajuda.
>>
>>
>>
>>
>>
>>
>>
>> Em 19 de maio de 2010 22:19, Luciano Antonio Borguetti Faustino
>> <lucianoborguetti.listas em gmail.com> escreveu:
>> > Joel,
>> > Quais são os filtros que você está utilizando no spamdyke?
>> > Tenho experiência com servidores de e-mail/qmail e uso o spamdyke, talves
>> > possa te ajudar.
>> > Essas mensagens que ficam na fila como não processadas são spam's ?
>> > Posso compartilhar algumas configurações que uso aqui em alguns clientes
>> > (também provedores de acesso).
>> >
>> > Abraço,
>> >
>> > 2010/5/19 Joel Cappellesso <cappellesso em gmail.com>
>> >>
>> >> Obrigado pelo retorno, vou dar uma olhada no patch que mencionaram,
>> >> deve ajudar tmb. Vamos lá:
>> >>
>> >> Meu tcpserver está configurado para atender até 160 conexões
>> simultâneas.
>> >> Qmailmrtg do tcpserver: média de 112 simultâneas.
>> >> Max Average Current
>> >> SMTP 150.0 SMTP (150.0%) 112.0 SMTP (112.0%) 127.0 SMTP
>> >> (127.0%)
>> >> SMTP 150.0 SMTP (150.0%) 112.0 SMTP (112.0%) 127.0 SMTP
>> >> (127.0%)
>> >>
>> >> Queue Size: O problema é quando ele aumenta as mensagens não
>> >> processadas. No momento por exemplo 194 ainda não foram processadas.
>> >> Max Average Current
>> >> msg 1531.0 Msg (15.3%) 590.0 Msg (5.9%) 673.0 Msg (6.7%)
>> >> unprocessed msg: 1210.0 Msg (12.1%) 58.0 Msg (0.6%)
>> >> 194.0 Msg (1.9%)
>> >>
>> >> Mensagens/hora
>> >> Max Average Current
>> >> Deliveries: 12.9 kmsg (129.1%) 6065.0 msg (60.6%) 10.6
>> kmsg
>> >> (105.8%)
>> >> Attempts: 14.8 kmsg (148.3%) 7081.0 msg (70.8%) 12.0
>> kmsg
>> >> (119.5%)
>> >>
>> >> # cat concurrencyincoming
>> >> 150
>> >> # cat concurrencyremote
>> >> 200
>> >> # cat concurrencylocal
>> >> 200
>> >>
>> >> Utilizo o spamdyke + simscan + spamassassin + clamd.
>> >>
>> >> Recebo muito spam, com certeza. São aproximadamente 7.000 caixas
>> >> postais. Provedor.
>> >> No geral está funcionando bem. Só achei que ele deveria entregar mais
>> >> mensagens locais simultâneamente.
>> >>
>> >> Tenho a impressão que é o disco, fiz um iostat em 2 momentos. Com fila e
>> >> sem.
>> >> Não encontrei diferença nos dois. Alguma dica para tirar a certeza se
>> >> é ou não disco?
>> >>
>> >> #sem fila
>> >> # /var/qmail/bin/qmail-qstat
>> >> messages in queue: 455
>> >> messages in queue but not yet preprocessed: 0
>> >> # iostat -c 10
>> >> tty ad4 cpu
>> >> tin tout KB/t tps MB/s us ni sy in id
>> >> 0 1 15.87 89 1.38 18 0 4 0 78
>> >> 0 129 8.97 89 0.78 23 0 6 0 71
>> >> 0 43 9.79 56 0.53 20 0 7 0 73
>> >> 0 43 6.67 83 0.54 6 0 3 0 92
>> >> 0 43 8.92 104 0.90 16 0 4 0 80
>> >> 0 43 11.17 118 1.29 10 0 5 0 86
>> >> 0 43 16.16 141 2.22 16 0 3 0 81
>> >> 0 43 20.33 129 2.56 18 0 5 0 77
>> >> 0 43 16.80 142 2.33 24 0 6 0 69
>> >> 0 43 20.48 146 2.92 35 0 7 0 58
>> >>
>> >> #com fila/mensagens na espera para serem processadas.
>> >> # iostat -c 10
>> >> tty ad4 cpu
>> >> tin tout KB/t tps MB/s us ni sy in id
>> >> 0 16 15.92 91 1.42 18 0 4 0 77
>> >> 0 129 6.54 92 0.59 46 0 9 0 45
>> >> 0 43 7.79 122 0.93 77 0 6 0 17
>> >> 0 43 5.96 100 0.58 82 0 6 0 12
>> >> 0 43 7.03 97 0.67 54 0 13 0 34
>> >> 0 43 5.61 132 0.72 10 0 2 0 88
>> >> 0 43 22.04 134 2.88 61 0 20 0 18
>> >> 0 43 8.62 146 1.23 71 0 13 0 16
>> >> 0 43 12.49 181 2.20 41 0 6 0 53
>> >> 0 43 13.84 126 1.70 39 0 7 0 54
>> >>
>> >>
>> >> # cat /usr/local/etc/clamd.conf |grep -v "#" |grep -v "^$"
>> >> LogFile /var/log/clamav/clamd.log
>> >> PidFile /var/run/clamav/clamd.pid
>> >> DatabaseDirectory /var/db/clamav
>> >> LocalSocket /var/run/clamav/clamd.sock
>> >> FixStaleSocket yes
>> >> MaxConnectionQueueLength 40
>> >> MaxThreads 45 <--- talvez
>> >> MaxQueue 200
>> >> User clamav
>> >> AllowSupplementaryGroups yes
>> >> ScanMail yes
>> >>
>> >> Não parece ser limite no spamassassin. Está configurado para até 100
>> >> conexões.
>> >> /usr/local/bin/spamd -c -v -u simscan -d -m 100 -r
>> >> /var/run/spamd/spamd.pid -s /var/log/spamd.log (perl5.8.9)
>> >>
>> >> Obrigado
>> >> Joel
>> >>
>> >>
>> >>
>> >>
>> >> Em 18 de maio de 2010 08:17, renato martins <renatobsd em gmail.com>
>> >> escreveu:
>> >> > cara o qmail mesmo com muito trafego não consome tanto cpu e memoria
>> >> > assim é
>> >> > possivel que voce esteja rodando mais aplicativos como spamassassin,
>> >> > clamav
>> >> > que estão consumido essa sua memoria e cpu.
>> >> >
>> >> > rode o top por um tempo e veja oque esta consumindo tanto outra coisa
>> >> > use o
>> >> > qmhandle para verificar sua fila que deve estar lotada de spams
>> >> >
>> >> > Em 17 de maio de 2010 14:16, Joel Cappellesso
>> >> > <cappellesso em gmail.com>escreveu:
>> >> >
>> >> >> Ola Pessoal,
>> >> >>
>> >> >> May 17 09:22:21 avalon kernel: maxproc limit exceeded by uid 89,
>> >> >> please see tuning(7) and login.conf(5).
>> >> >> May 17 09:22:50 avalon last message repeated 9 times
>> >> >>
>> >> >> meu login.conf o default está:
>> >> >>
>> >> >>
>> >> >> default:\
>> >> >> ....
>> >> >> :maxproc=unlimited:\
>> >> >> ....
>> >> >>
>> >> >> Não deveria estar sem limite .
>> >> >>
>> >> >> Ou ele utiliza:
>> >> >>
>> >> >> kern.maxproc: 6164
>> >> >> kern.maxprocperuid: 5547
>> >> >>
>> >> >> Estou aumentando agora:
>> >> >> sysctl kern.maxprocperuid=8547
>> >> >> kern.maxprocperuid: 5547 -> 8547
>> >> >> para teste.
>> >> >>
>> >> >> Para melhorar a performance adicionei no arquivo : /boot/loader.conf
>> >> >> kern.ipc.nsfbufs="79872" # Set the number of
>> sendfile(2)
>> >> >> bufs
>> >> >>
>> >> >> Isso já melhorou o número de mensagens entregues ao mesmo tempo. Mas
>> >> >> ainda não ficou legal, não passa das 40 simultâneos.
>> >> >>
>> >> >> Alguem tem alguma dica para melhorar a performance do qmail?
>> >> >>
>> >> >> # netstat -m
>> >> >> 700/1325/2025 mbufs in use (current/cache/total)
>> >> >> 279/733/1012/25600 mbuf clusters in use (current/cache/total/max)
>> >> >> 279/476 mbuf+clusters out of packet secondary zone in use
>> >> >> (current/cache)
>> >> >> 0/726/726/12800 4k (page size) jumbo clusters in use
>> >> >> (current/cache/total/max)
>> >> >> 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
>> >> >> 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
>> >> >> 733K/4701K/5434K bytes allocated to network (current/cache/total)
>> >> >> 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
>> >> >> 0/0/0 requests for jumbo clusters denied (4k/9k/16k)
>> >> >> 0/22/79872 sfbufs in use (current/peak/max)
>> >> >> 0 requests for sfbufs denied
>> >> >> 0 requests for sfbufs delayed
>> >> >> 1112 requests for I/O initiated by sendfile
>> >> >> 0 calls to protocol drain routines
>> >> >>
>> >> >> last pid: 42903; load averages: 2.12, 3.70, 3.03
>> >> >> up 9+22:11:27 14:12:33
>> >> >> 327 processes: 12 running, 298 sleeping, 1 zombie, 16 lock
>> >> >> CPU: 69.0% user, 0.0% nice, 26.6% system, 0.4% interrupt, 3.9%
>> idle
>> >> >> Mem: 541M Active, 2032M Inact, 235M Wired, 69M Cache, 112M Buf, 625M
>> >> >> Free
>> >> >> Swap: 4096M Total, 204K Used, 4096M Free
>> >> >>
>> >> >> Valeu
>> >> >> Joel
>> >> >> -------------------------
>> >> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >> >>
>> >> > -------------------------
>> >> > Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >> >
>> >> -------------------------
>> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >
>> >
>> >
>> > --
>> > #!/bin/bash
>> >
>> > Luciano Antonio Borguetti Faustino
>> > GNU/Linux user number: 339110
>> > ICQ UIN number: 82092097 - ICQ ainda na atividade :)
>> > http://lucianoborguetti.blogspot.com
>> >
>> > Preconceito é opinião sem conhecimento.
>> >
>> > :wq
>> >
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
Mais detalhes sobre a lista de discussão freebsd