[FUG-BR] Cache de conteúdo dinâmico

Renato Frederick renato em frederick.eti.br
Sexta Abril 30 11:30:10 BRT 2010 

Modesto, tem alguma idéia de que pode ser o erro que tive

para testar fiz um teste muito simples, sem regra de firewall alguma ativei 
2 regras:

ipfw add fwd 187.X.X.X,8080 tcp from { 187.X.50.0/24 or 187.X.51.0/24 or 
187.X.52.0/24 or 187.X.53.0/24 or 187.X.54.0/24 or 187.X.55.0/24 } to any 80 
in via igb1
ipfw add fwd 187.x.X.X,8080 tcp from any 80 to { 187.X.50.0/24 or 
187.X.51.0/24 or 187.X.52.0/24 or 187.X.53.0/24 or 187.X.54.0/24 or 
187.X.55.0/24 } in via bce0

bce0 - interface externa
igb1 - interface interna

Note que tem 6 redes /24 ai, isto funciona 100%. Dei

Se eu colocar mais 6 redes, começam os problemas do thundercache.




--------------------------------------------------
From: "Modesto" <modesto em isimples.com.br>
Sent: Friday, April 30, 2010 10:46 AM
To: "Lista Brasileira deDiscussãosobre FreeBSD (FUG-BR)" 
<freebsd em fug.com.br>
Subject: Re: [FUG-BR] Cache de conteúdo dinâmico

> Aqui eu rodei o Thundercache sem o Squid, não deu nenhum problema,
> cerca de 8 redes /24 passando por ele.
> Adailton, sua solução de Integração do Squid e o Thunder esta
> funcionando com T-PROXY? Nos sites que que redirecionava pro thunder não
> abriam.
> On Fri, 2010-04-30 at 10:18 -0300, Adailton Milhorini wrote:
>> Para distribuir o processamento, pois quando se ativa o thunder junto ao
>> squid em uma rede de tamanho moderado...
>>
>> o cpu do squid vai a 100% e fica lento..
>> e também o squid não e multithread, e com isto voce consegue um melhor
>> uso dos processadores...
>>
>> Adailton Milhorini
>>
>> Em 30/04/2010 10:08, Ricardo Nascimento Ferreira escreveu:
>> > Adailton, náo entendi a sua configuração com 4 instâncias do lusca.
>> > Poderia explicar o porquê dessa configuração ?
>> >
>> > Um abraço,
>> >
>> > Ricardo
>> >
>> > 2010/4/30 Adailton Milhorini<milhorini em hardonline.com.br>
>> >
>> >
>> >> Aqui eu uso tranquilamente o thundercache ah uns 3 meses....
>> >>
>> >> sem problemas
>> >>
>> >> meu cenário aqui e o seguinte
>> >>
>> >> 4 instancias do lusca fazendo cache com coss de objetos pequenos em 4 
>> >> hd
>> >> scsi de 15k....
>> >> e fazendo aufs em arquivos maiores... e integração com o thundercache 
>> >> 4...
>> >>
>> >> hoje tenho , agora cedo não é horário de pico
>> >>
>> >> last pid: 51306;  load averages:  0.69,  0.71,  0.79    up 8+23:26:09
>> >> 09:49:12
>> >> 3835 processes:4 running, 3831 sleeping
>> >> CPU: 23.7% user,  0.0% nice,  5.3% system,  0.2% interrupt, 70.8% idle
>> >> Mem: 5683M Active, 645M Inact, 1345M Wired, 228M Cache, 827M Buf, 18M 
>> >> Free
>> >> Swap: 16G Total, 729M Used, 15G Free, 4% Inuse, 40K In
>> >>
>> >>    PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU 
>> >> COMMAND
>> >> 42044 root      769  44    0  1957M  1545M ucond   1 170:42 23.00% 
>> >> squid2
>> >> 94973 root      769  44    0  1993M  1400M ucond   0 846:46 22.80% 
>> >> squid3
>> >> 94584 root      769  44    0  1993M  1415M ucond   3 734:35 14.01% 
>> >> squid1
>> >> 75444 root      769  44    0  1941M  1392M ucond   0  93:28 10.94% 
>> >> squid4
>> >>
>> >> cache# ps -ax | grep thunder | wc -l
>> >>       702
>> >>
>> >> hoje tenho ocupado em cache nada menos que....
>> >> /dev/concat/gc0    2.6T    2.1T    295G    88%    /cache/storage
>> >>
>> >> vou adicionar amanha + 2 discos de 2t, estou usando gconcat para 
>> >> isto..
>> >> e sonhando com o SUJ....
>> >>
>> >> a minha rede esta sendo usada nada mais nada menos por um /20 todo....
>> >> fora alguns ips invalidos via nat...
>> >> rodando tproxy , zph.. com cache full(patch no lusca para funcionar 
>> >> com
>> >> thunder) ....
>> >>
>> >> a maquina é um xeon x3360, com 8G de ram... gostaria de ter mais ram 
>> >> mas
>> >> a mboard não suporta...
>> >> e controla mais de 40mb de trafego somente http...
>> >>
>> >> estou muito satisfeito, logico tambem com todo o trabalho do Patrick 
>> >> da
>> >> FreeBsdBrasil , com isto... e no servidor tambem...
>> >>
>> >> ahhh esqueci de falar que é free8 amd64...
>> >>
>> >> eu tambem torcia o nariz para estas aplicações como o thundercache, 
>> >> pois
>> >> usei ele no inicio, e dava muito problema mas o software está muito
>> >> estável, e depois que foi abençoado pelas maos do Patrick, isto sem
>> >> duvida não tem limites....
>> >>
>> >> ai vai meu 1 centavo... acho que vale perder tempo para fazer um
>> >> servidor bem feito...
>> >>
>> >> Adailton Milhorini
>> >>
>> >>
>> >>
>> >>
>> >> Em 30/04/2010 09:18, Renato Frederick escreveu:
>> >>
>> >>> Funcionou corretamente aí?
>> >>>
>> >>> Não sei que acontece aqui, quando eu coloco umas 10 redes /24 prá 
>> >>> usar o
>> >>> thundercache ele dá isto:
>> >>>
>> >>> 38419 29/04/2010 14:09:24 accept() failed: Software caused connection
>> >>>
>> >> abort
>> >>
>> >>> 38422 29/04/2010 14:09:24 accept() failed: Software caused connection
>> >>>
>> >> abort
>> >>
>> >>> 38423 29/04/2010 14:09:25 accept() failed: Software caused connection
>> >>>
>> >> abort
>> >>
>> >>> 38426 29/04/2010 14:09:25 accept() failed: Software caused connection
>> >>>
>> >> abort
>> >>
>> >>> 38431 29/04/2010 14:09:25 accept() failed: Software caused connection
>> >>>
>> >> abort
>> >>
>> >>> 38432 29/04/2010 14:09:25 accept() failed: Software caused connection
>> >>>
>> >> abort
>> >>
>> >>> ativando o debug ele fala:
>> >>>
>> >>> 38437 29/04/2010 14:09:26 Connection Error (-10): Url:
>> >>> www.orkut.com.br/Profile?rl=fpp&uid=4861845023377327288
>> >>> 38440 29/04/2010 14:09:26 (187.1.X.X) Invalid request from browser
>> >>> 38398 29/04/2010 14:09:26 (187.1.X.X) Could not send body to browser
>> >>>
>> >>> Se eu deixo só umas 5 redes /24 ou até menos tudo funciona 100% por
>> >>>
>> >> vários
>> >>
>> >>> dias.
>> >>>
>> >>> Detalhe é que mudando do thunder pro squid funciona ok com todos os
>> >>> clientes.
>> >>>
>> >>> Ou seja, não é nada de errado com o Free ou regras :-/
>> >>>
>> >>>
>> >>>
>> >>>
>> >>> --------------------------------------------------
>> >>> From: "Modesto"<modesto em isimples.com.br>
>> >>> Sent: Friday, April 30, 2010 8:18 AM
>> >>> To: "Lista Brasileira deDiscussãosobre FreeBSD (FUG-BR)"
>> >>> <freebsd em fug.com.br>
>> >>> Subject: Re: [FUG-BR] Cache de conteúdo dinâmico
>> >>>
>> >>>
>> >>>
>> >>>> Bom dia,
>> >>>>
>> >>>> Eu testei a solução do Patrick, no FreeBSD, e é excelente, so estou
>> >>>> esperando o responsavel autorizar a compra da licença, aqui temos 
>> >>>> uns
>> >>>> 600 Clientes passando pelo proxy, e com 120GB cacheados tinha 
>> >>>> momentos
>> >>>> de economia de 7Mbits, claro que varia, nosso trafego aqui é em 
>> >>>> torno de
>> >>>> 28Mbits saindo da lan do proxy para os clientes, com o thunder, 
>> >>>> tinha
>> >>>> momentos que estava entrando 23Mbits e Saindo 30Mbits para os 
>> >>>> clientes!
>> >>>>
>> >>>> On Thu, 2010-04-29 at 20:30 -0300, Rogério Moura wrote:
>> >>>>
>> >>>>
>> >>>>> E ai galera... blz!!
>> >>>>>
>> >>>>> Seguinte, estou procurando uma solução para fazer cache de conteúdo
>> >>>>> dinâmico
>> >>>>> e pesquisando vi o ThunderCache, realizei uns testes só que em 
>> >>>>> linux e
>> >>>>>
>> >> o
>> >>
>> >>>>> desempenho não foi satisfatório, a rede aqui tem uns 500 hosts e a
>> >>>>> máquina
>> >>>>> onde roda o TC entope de processos http quando habilito pra rede 
>> >>>>> pra
>> >>>>> passar
>> >>>>> por ele.
>> >>>>>
>> >>>>> Vi que p o Patrick fez um  excelente tutorial para fazer funcionar 
>> >>>>> o TC
>> >>>>> no
>> >>>>> free, então minha pergunta é... essa limitação do TC no free foi
>> >>>>> resolvida?
>> >>>>> consigo ter boa performance em redes maiores?
>> >>>>>
>> >>>>> Valeu
>> >>>>> -------------------------
>> >>>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >>>>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >>>>>
>> >>>>>
>> >>>>>
>> >>>> -------------------------
>> >>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >>>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >>>>
>> >>>>
>> >>>>
>> >>> -------------------------
>> >>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >>>
>> >>>
>> >>>
>> >>>
>> >> -------------------------
>> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >>
>> >>
>> >
>> >
>> >
>>
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>
>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

Mais detalhes sobre a lista de discussão freebsd