[FUG-BR] KERNEL-CUSTOM p/ Squid

<<Gustavo>> baldim em gmail.com
Quarta Agosto 9 22:03:22 BRT 2006 

Como q eu configuro para meu squid funcionar o cache em dois hds ???




----- Original Message ----- 
From: "Marcos Fco. A. Silva" <marcos em linuxtec.com.br>
To: ""Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)"" 
<freebsd em fug.com.br>
Sent: Wednesday, August 09, 2006 8:16 AM
Subject: Re: [FUG-BR] KERNEL-CUSTOM p/ Squid




Joao Rocha Braga Filho escreveu:
> On 8/8/06, Andreh Chiodi <andreh em itapemanet.com.br> wrote:
>
>> Eu to usando aki um p4 2.4 com 2 hds sata de 80 em raid 0 por software pq 
>> o
>> bsd naum reconheceu a controladora da mobo...
>> To usando soh 30gb de cada hd pra cache pra tentar ganhar velocidade.
>> A maquina possue 1gb de memoria e desses 800 estao alocados pro squid.
>> Ta funcionando redondinha.
>> Uma coisa... evite usar listas negras.
>> Tivemos um problema serio com essas listas. O proxy praticamente morria.
>> Parava tudo...
>> Foi soh tirar a lista e foi a milhao.
>> Outra coisa... Use o diskd
>>
>
> Eu estou bem, memo sem diskd, mas estou usando Soft Updates.
>
> Estou com uma lista negra, mas pequena. A lista negra tem que ser bem
> escolhida. Por regex parece consumir muita CPU. Talvez por domínio não
> cosuma muita CPU. Então, se fizer lista negra, coloque o máximo possível
> por domínio. E se o domínio for em uma máquina que só hospede ele, então
> faça uma lista negra por IP e coloque em uma table do ipfw(8), e faça um
> deny antes de chegar ao squid.
>
> Continuo achando que é máquina demais para só 80 GB da cache.
>
    Disco SCSI não vou ter mais, o que eu posso conseguir é um disco SATA.
> Me lembrei de uma coisa. Não precisa fazer RAID para a cache do
> squid usar mais de um HD. Pode criar várias caches em vários discos,
> e pedir para o squid usá-las.
>
> Por exemplo, com dois discos:
>
> cache_dir ufs /usr/local/squid/cache1 80000 32 256
> cache_dir ufs /usr/local/squid/cache2 80000 32 256
>
> Monte cada um dos discos em cada um dos diretórios que aparecem
> acima.
>
>
> Abraços,
>     João Rocha.
>
>
>
>> andreh chiodi
>>
>>
>> ----- Original Message -----
>> From: "Joao Rocha Braga Filho" <goffredo em gmail.com>
>> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)"
>> <freebsd em fug.com.br>
>> Sent: Tuesday, August 08, 2006 6:05 PM
>> Subject: Re: [FUG-BR] KERNEL-CUSTOM p/ Squid
>>
>>
>> On 8/8/06, Marcos Fco. A. Silva <marcos em linuxtec.com.br> wrote:
>>
>>> Joao Rocha Braga Filho escreveu:
>>>
>>>> On 8/8/06, Marcos Fco. A. Silva <marcos em linuxtec.com.br> wrote:
>>>>
>>>>
>>>>> Boa tarde a todos,
>>>>>
>>>>>    Estou com server ITAUTEC LS200 com dois processadores Xeon 3.0 e 4
>>>>> GB
>>>>> de RAM DDR2 ECC.
>>>>>    Estou customizando o KERNEL e gostaria de saber a opinião do 
>>>>> pessoal
>>>>> da lista.
>>>>>    Compensa eu ajustar o parâmetro que define a quantidade máxima de
>>>>> memória alocada por processo, nesta máquina vou rodar o SQUID e 
>>>>> algumas
>>>>> Jails mas o principal é o SQUID. Tenho mais ou menos 1200 clientes que
>>>>> vão ficar pendurados neste proxy.
>>>>>
>>>>>
>>>> Eu tenho alguma experiência nisto.
>>>>
>>>> Quanto vai deixar de cache de disco para o squid?
>>>>
>>>>
>>> Estou deixando um disco de 80GB SCSI Utra320 só para cache...
>>>
>>>> No meu caso eu tive de aumentar para 768MB por prrocesso só por
>>>> causa do squid, que neste momento está usando 676 MB. Ele está
>>>> usando 72 GB de disco, com cerca de 5.300.000 ítens na cache, e
>>>> 64 MB de cache em memória.
>>>>
>>>> Sugiro que use um File System só para o cache de disco do squid, e
>>>> NÃO FAÇA RAID 5. Se fizer RAID, que seja o 1 ou o 10.
>>>>
>>>>
>>> Não fiz RAID não, deixei um disco só para cache.
>>>
>>>> Se quiser eu passo as opções importantes para você, e todos da lista.
>>>>
>>>>
>>>     Gostaria sim, tem como?
>>>
>> A quantidade de memória configurada para cache em memória: cache_mem
>>
>> Outra opção interessante relativa ao cache em memória é
>> maximum_object_size_in_memory. Sugiro uns 100 KB se a cache em
>> memória for grande.
>>
>> A opção maximum_object_size é boa, pois pode evitar downloads grandes.
>> Aqui está com 16 MB, e isto faz até mesmo que o pacote de instalação do
>> Skype fique em cache. Isto faz diferença.
>>
>> Vai se proxy trasparente?
>>
>> Se sim, tem mais algumas opções importantes.
>>
>> Configure estas opções como:
>>
>> httpd_accel_host virtual
>> httpd_accel_port 80
>> httpd_accel_uses_host_header on
>> ie_refresh on
>>
>>
>> Leia os textos explicando cada uma das opções acima. Uma delas vai
>> ser MUITO interessante. :^)))
>>
>>
>>
>>
>>>> Com 4 GB de ram dá para fazer caches em memória e em disco
>>>> MUITO grandes. Eu estou restrito em 1 GB.
>>>>
>>>>
>>> O que vc sugere?
>>>
>> Crescer aos poucos, especialmente no primeiro mês, monitorando. Sugiro
>> que configure o kernel, já que tem 4 GB, para permnitir que programas
>> usem até 3 GB, mas não deixe o squid atingir isto. Não configure para
>> usar muito mais, pois o sistema tem que ter memória para outras coisas.
>>
>> Use a opção high_memory_warning para deixar log se o squid passar de
>> um limite de memória. Se possibilitar 3 GB, sugiro que coloque 2700 MB
>> neste parâmetro.
>>
>> Sugiro que o kernel também seja compilado com:
>>
>> options         UFS_DIRHASH             # Improve performance on big
>> directories
>>
>> Acho que o GENERIC já é assim.
>>
>> Nesta opção abaixo está configurado para usar 80 GB de memória, e
>> criar uma árvore de diretórios com 256 sub-diretórios dentro de 16
>> diretórios.
>>
>> cache_dir ufs /usr/local/squid/cache 80000 16 256
>>
>> Se fizer uma cache muito grande, aumente de 16 para 64, ou até mesmo
>> para 256. No meu caso estou com uma média aproximada de 1300 arquivos
>> por diretório (5.300.000/16/256).
>>
>> Nunca coloque para usar todo o disco no cache.
>>
>> Cuidado com os logs, pois tem que ser rotacionados. Tanbém tenho um
>> script para colocar no cronta para isto.
>>
>> ----- 8x ----- Corte aqui ----- Cut here -----
>> #!/bin/sh
>>
>> #
>> # Este script e' para ser rodado a meia noite. O nome do arquivo
>> # de logs compactados representara' a data dos logs, mas se no
>> # dia anterior este script nao executado, o arquivo acumulara' os
>> # logs dos dias dias em que nao rodou.
>> #
>> # Criado por Joao Rocha em 23/06/2006.
>> #
>>
>> cd /usr/local/squid/logs
>>
>> ls -ls
>>
>> /usr/local/sbin/squid -k rotate
>>
>> sleep 120
>>
>> /usr/bin/tar cvjf squid_logs_`/bin/date -v-6H '+%Y-%m-%d'`.tbz2 *.[0.9]
>>
>> rm *.[0-9]
>>
>> ls -ls
>>
>> ----- 8x ----- Corte aqui ----- Cut here -----
>>
>>
>> Coloque no crontab do usuário squid.
>>
>> Na realidade você tem máquina demais só para 80 GB de cache. Aqui
>> temos pouco mais de 300 clientes, e um link de 4 Mbits/s. Pode fazer
>> um RAID 0 ou 10? Este disco é de 15.000 RPM ? Aqui estou com um IDE
>> Seagate de 7200 e está dando conta. O processador é um AMD 64 939
>> 3000+. Quantos HDs você tem? Quantos HDs a máquina pode ter?
>>
>> Não se esqueça de fazer as ACLs, e também pode fazer algumas listas
>> negras de vírus e coisas assim.
>>
>> Adoraria instalar este servidorzinho. :^) Você é de onde?
>>
>>
>> Abraços,
>>     João Rocha.
>>
>>
>>>> Abraços,
>>>>     João Rocha.
>>>>
>>>>
>>>>
>>>>
>>>>>     Estou pensando em fazer assim.
>>>>>
>>>>>     options            MAXDSIZ="(512*1024*1024)
>>>>>     options            MAXSSIZ="(512*1024*1024)
>>>>>     options            DFLDSIZ="(256*1024*1024)
>>>>>
>>>>> O que vocês acham?
>>>>>
>>>>> Grato,
>>>>>
>>>>> --
>>>>> Marcos Francisco A. Silva
>>>>>
>>>>> Existem indivíduos que estão consideravelmente adiantados nessa
>>>>> trajetória para o Criador....
>>>>> É extremamente importante saber que ninguém ensina nada, mas que
>>>>> existem pessoas que aprendem
>>>>>
>>>>>
>>>>> -------------------------
>>>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>>>>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>>>>
>>>>>
>>>>>
>>>>
>>>>
>>> --
>>> Marcos Francisco A. Silva
>>> Consultor Linux e Unix
>>>
>>> LinuxTEC Soluções em tecnologia da informação
>>> http://www.linuxtec.com.br
>>>
>>> ---
>>> Existem indivíduos que estão consideravelmente adiantados nessa 
>>> trajetória
>>> para o Criador....
>>> É extremamente importante saber que ninguém ensina nada, mas que existem
>>> pessoas que aprendem
>>>
>>>
>>> -------------------------
>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>>
>>>
>> --
>> "Sempre se apanha mais com as menores besteiras. Experiência própria."
>>
>> goffredo em goffredo.eti.br
>> goffredo em gmail.com
>> http://www.goffredo.eti.br
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>
>>
>
>
>

-- 
Marcos Francisco A. Silva
Consultor Linux e Unix

LinuxTEC Soluções em tecnologia da informação
http://www.linuxtec.com.br

---
Existem indivíduos que estão consideravelmente adiantados nessa trajetória 
para o Criador....
É extremamente importante saber que ninguém ensina nada, mas que existem 
pessoas que aprendem


-------------------------
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Mais detalhes sobre a lista de discussão freebsd