[FUG-BR] KERNEL-CUSTOM p/ Squid

Joao Rocha Braga Filho goffredo em gmail.com
Quarta Agosto 9 11:01:35 BRT 2006 

On 8/8/06, Andreh Chiodi <andreh at itapemanet.com.br> wrote:
>
>
> Eu estou bem, memo sem diskd, mas estou usando Soft Updates.
>
> Estou com uma lista negra, mas pequena. A lista negra tem que ser bem
> escolhida. Por regex parece consumir muita CPU. Talvez por domínio não
> cosuma muita CPU. Então, se fizer lista negra, coloque o máximo possível
> por domínio. E se o domínio for em uma máquina que só hospede ele, então
> faça uma lista negra por IP e coloque em uma table do ipfw(8), e faça um
> deny antes de chegar ao squid.
>
> Continuo achando que é máquina demais para só 80 GB da cache.
>
> Me lembrei de uma coisa. Não precisa fazer RAID para a cache do
> squid usar mais de um HD. Pode criar várias caches em vários discos,
> e pedir para o squid usá-las.
>
> Por exemplo, com dois discos:
>
> cache_dir ufs /usr/local/squid/cache1 80000 32 256
> cache_dir ufs /usr/local/squid/cache2 80000 32 256
>
> Monte cada um dos discos em cada um dos diretórios que aparecem
> acima.
>
>
> Abraços,
>     João Rocha.
>
>
> =========================================================
>
>
> E o que daria melhor performance?  Usar raid 0 ou colocar 2 discos
> separados?
> Pela logica, 2 discos em raid 0 duplicaria a velocidade de leitura e
> gravacao e usando menos da metade da capacidade de cada disco vc preserva o
> hd pq ele trabalharia menos (nao lembro onde li isso).

Não é exatamente verdade.

Acho que os discos separados pode aumentar o desempenho, pois as
escritas do squid, em sua maioria, é pequena. Eu tenho uma média menor
que 14 KB por arquivo. O RAID 0 pode aumentar em alguns casos e piorar
em outros. Acho que este é um dos casos que pode piorar.

> O squid nao exige muito processamento... o que precisa mesmo eh disco e
> memoria.
> Eu com esse p4 2.4 ja to axando exagerado pq o processamento nunca passou de
> 20%

Eu atingo 20% nos horários de pico com a máqui que eu tenho.

Eu também acho exagerado, especialmente só para 80 GB de cache. Eu
acho que ele suportaria bem 200 GB de cache ou mais, com mais de
12 milhões de ítens de cache.


João Rocha.

>
>  andreh chiodi
>
>
>
> >
> >
> > ----- Original Message -----
> > From: "Joao Rocha Braga Filho" <goffredo at gmail.com>
> > To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)"
> > <freebsd at fug.com.br>
> > Sent: Tuesday, August 08, 2006 6:05 PM
> > Subject: Re: [FUG-BR] KERNEL-CUSTOM p/ Squid
> >
> >
> > On 8/8/06, Marcos Fco. A. Silva <marcos at linuxtec.com.br> wrote:
> > >
> > >
> > > Joao Rocha Braga Filho escreveu:
> > > > On 8/8/06, Marcos Fco. A. Silva <marcos at linuxtec.com.br> wrote:
> > > >
> > > >> Boa tarde a todos,
> > > >>
> > > >>    Estou com server ITAUTEC LS200 com dois processadores Xeon 3.0 e 4
> > > >> GB
> > > >> de RAM DDR2 ECC.
> > > >>    Estou customizando o KERNEL e gostaria de saber a opinião do
> > > >> pessoal
> > > >> da lista.
> > > >>    Compensa eu ajustar o parâmetro que define a quantidade máxima de
> > > >> memória alocada por processo, nesta máquina vou rodar o SQUID e
> > > >> algumas
> > > >> Jails mas o principal é o SQUID. Tenho mais ou menos 1200 clientes
> > > >> que
> > > >> vão ficar pendurados neste proxy.
> > > >>
> > > >
> > > > Eu tenho alguma experiência nisto.
> > > >
> > > > Quanto vai deixar de cache de disco para o squid?
> > > >
> > > Estou deixando um disco de 80GB SCSI Utra320 só para cache...
> > > > No meu caso eu tive de aumentar para 768MB por prrocesso só por
> > > > causa do squid, que neste momento está usando 676 MB. Ele está
> > > > usando 72 GB de disco, com cerca de 5.300.000 ítens na cache, e
> > > > 64 MB de cache em memória.
> > > >
> > > > Sugiro que use um File System só para o cache de disco do squid, e
> > > > NÃO FAÇA RAID 5. Se fizer RAID, que seja o 1 ou o 10.
> > > >
> > > Não fiz RAID não, deixei um disco só para cache.
> > > > Se quiser eu passo as opções importantes para você, e todos da lista.
> > > >
> > >     Gostaria sim, tem como?
> >
> > A quantidade de memória configurada para cache em memória: cache_mem
> >
> > Outra opção interessante relativa ao cache em memória é
> > maximum_object_size_in_memory. Sugiro uns 100 KB se a cache em
> > memória for grande.
> >
> > A opção maximum_object_size é boa, pois pode evitar downloads grandes.
> > Aqui está com 16 MB, e isto faz até mesmo que o pacote de instalação do
> > Skype fique em cache. Isto faz diferença.
> >
> > Vai se proxy trasparente?
> >
> > Se sim, tem mais algumas opções importantes.
> >
> > Configure estas opções como:
> >
> > httpd_accel_host virtual
> > httpd_accel_port 80
> > httpd_accel_uses_host_header on
> > ie_refresh on
> >
> >
> > Leia os textos explicando cada uma das opções acima. Uma delas vai
> > ser MUITO interessante. :^)))
> >
> >
> >
> > > > Com 4 GB de ram dá para fazer caches em memória e em disco
> > > > MUITO grandes. Eu estou restrito em 1 GB.
> > > >
> > > O que vc sugere?
> >
> > Crescer aos poucos, especialmente no primeiro mês, monitorando. Sugiro
> > que configure o kernel, já que tem 4 GB, para permnitir que programas
> > usem até 3 GB, mas não deixe o squid atingir isto. Não configure para
> > usar muito mais, pois o sistema tem que ter memória para outras coisas.
> >
> > Use a opção high_memory_warning para deixar log se o squid passar de
> > um limite de memória. Se possibilitar 3 GB, sugiro que coloque 2700 MB
> > neste parâmetro.
> >
> > Sugiro que o kernel também seja compilado com:
> >
> > options         UFS_DIRHASH             # Improve performance on big
> > directories
> >
> > Acho que o GENERIC já é assim.
> >
> > Nesta opção abaixo está configurado para usar 80 GB de memória, e
> > criar uma árvore de diretórios com 256 sub-diretórios dentro de 16
> > diretórios.
> >
> > cache_dir ufs /usr/local/squid/cache 80000 16 256
> >
> > Se fizer uma cache muito grande, aumente de 16 para 64, ou até mesmo
> > para 256. No meu caso estou com uma média aproximada de 1300 arquivos
> > por diretório (5.300.000/16/256).
> >
> > Nunca coloque para usar todo o disco no cache.
> >
> > Cuidado com os logs, pois tem que ser rotacionados. Tanbém tenho um
> > script para colocar no cronta para isto.
> >
> > ----- 8x ----- Corte aqui ----- Cut here -----
> > #!/bin/sh
> >
> > #
> > # Este script e' para ser rodado a meia noite. O nome do arquivo
> > # de logs compactados representara' a data dos logs, mas se no
> > # dia anterior este script nao executado, o arquivo acumulara' os
> > # logs dos dias dias em que nao rodou.
> > #
> > # Criado por Joao Rocha em 23/06/2006.
> > #
> >
> > cd /usr/local/squid/logs
> >
> > ls -ls
> >
> > /usr/local/sbin/squid -k rotate
> >
> > sleep 120
> >
> > /usr/bin/tar cvjf squid_logs_`/bin/date -v-6H '+%Y-%m-%d'`.tbz2 *.[0.9]
> >
> > rm *.[0-9]
> >
> > ls -ls
> >
> > ----- 8x ----- Corte aqui ----- Cut here -----
> >
> >
> > Coloque no crontab do usuário squid.
> >
> > Na realidade você tem máquina demais só para 80 GB de cache. Aqui
> > temos pouco mais de 300 clientes, e um link de 4 Mbits/s. Pode fazer
> > um RAID 0 ou 10? Este disco é de 15.000 RPM ? Aqui estou com um IDE
> > Seagate de 7200 e está dando conta. O processador é um AMD 64 939
> > 3000+. Quantos HDs você tem? Quantos HDs a máquina pode ter?
> >
> > Não se esqueça de fazer as ACLs, e também pode fazer algumas listas
> > negras de vírus e coisas assim.
> >
> > Adoraria instalar este servidorzinho. :^) Você é de onde?
> >
> >
> > Abraços,
> >     João Rocha.
> >
> > > >
> > > > Abraços,
> > > >     João Rocha.
> > > >
> > > >
> > > >
> > > >>     Estou pensando em fazer assim.
> > > >>
> > > >>     options            MAXDSIZ="(512*1024*1024)
> > > >>     options            MAXSSIZ="(512*1024*1024)
> > > >>     options            DFLDSIZ="(256*1024*1024)
> > > >>
> > > >> O que vocês acham?
> > > >>
> > > >> Grato,
> > > >>
> > > >> --
> > > >> Marcos Francisco A. Silva
> > > >>
> > > >> Existem indivíduos que estão consideravelmente adiantados nessa
> > > >> trajetória para o Criador....
> > > >> É extremamente importante saber que ninguém ensina nada, mas que
> > > >> existem pessoas que aprendem
> > > >>
> > > >>
> > > >> -------------------------
> > > >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> > > >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> > > >>
> > > >>
> > > >
> > > >
> > > >
> > >
> > > --
> > > Marcos Francisco A. Silva
> > > Consultor Linux e Unix
> > >
> > > LinuxTEC Soluções em tecnologia da informação
> > > http://www.linuxtec.com.br
> > >
> > > ---
> > > Existem indivíduos que estão consideravelmente adiantados nessa
> > > trajetória
> > > para o Criador....
> > > É extremamente importante saber que ninguém ensina nada, mas que existem
> > > pessoas que aprendem
> > >
> > >
> > > -------------------------
> > > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> > >
> >
> >
> > --
> > "Sempre se apanha mais com as menores besteiras. Experiência própria."
> >
> > goffredo at goffredo.eti.br
> > goffredo at gmail.com
> > http://www.goffredo.eti.br
> > -------------------------
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >
> > -------------------------
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >
>
>
> --
> "Sempre se apanha mais com as menores besteiras. Experiência própria."
>
> goffredo at goffredo.eti.br
> goffredo at gmail.com
> http://www.goffredo.eti.br
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


-- 
"Sempre se apanha mais com as menores besteiras. Experiência própria."

goffredo at goffredo.eti.br
goffredo at gmail.com
http://www.goffredo.eti.br

Mais detalhes sobre a lista de discussão freebsd