[FUG-BR] Comportamento incomum, Switch HP ProCurve e Servidor FreeBSD

Segunda Junho 18 10:29:05 BRT 2012

Em 18/6/2012 09:48, Antônio Pessoa escreveu:
> 2012/6/17 Marcelo Gondim<gondim em bsdinfo.com.br>
>>
>> Em 17/06/2012 19:38, Paulo Henrique BSD Brasil escreveu:
>>> Saudações Sr. Godim,
>>>
>>> Realmente em primeiro momento ficou meio que obscuro, a abordagem do Sr.
>>> foi mais intuitiva de compreender.
>>>
>>> Cenários reformulados ao final do e-mail.
>>>
>>> Em 17/6/2012 18:23, Marcelo Gondim escreveu:
>>>> Em 17/06/2012 14:06, Paulo Henrique BSD Brasil escreveu:
>>>>> Saudações companheiros,
>>>>>
>>>>> Postei em ambas as listas pois o problema pode ser tanto no switch da HP
>>>>> como no servidor FreeBSD.
>>>>>
>>>>> Venho acompanhando um comportamento pouco comum.
>>>>> Adquirimos a um alguns meses um switch Gigabit da HP, modelo Procurve
>>>>> 2910al muito bom, desde que liguei e configurei o mesmo na rede está até
>>>>> hoje em produção se qualquer anomalia que gere indisponibilidade de
>>>>> serviços, porem venho observando que um dos servidores FreeBSD muito
>>>>> raramente chega a passar mais que 100Mbits de trafego na porta, mesmo
>>>>> quando se está copiando arquivos na ordem de 93Gb.
>>>> Olá Paulo,
>>>>
>>>> Vamos lá que ficou meio obscura a explicação  :)
>>>>
>>>>> Observei que quando uma das estações que está comunicando-se com tal
>>>>> servidor e a placa de rede é 10/100 ele apresenta tal comportamento,
>>>>> quando todos os comunicantes com tal servidor é gigabit o comportamento
>>>>> não se repete.
>>>>>
>>>>> Seria comum tal comportamento da porta só trafegar em gigabit quando
>>>>> todos os participantes da comunicação ser gigabit e do contrario mesmo o
>>>>> enlace estar configurado para gigabit trafegar no maximo em 10/100.
>>>> Servidor FreeBSD - Interface Gigabit Ethernet ligada em uma porta
>>>> gigabit do switch.
>>>> Estação A - com interface 10/100 ligada no switch.
>>>> Estação B - com interface Gigabit ligada no switch.
>>>>
>>>> Quando a estação A está ligada no switch o tráfego máximo saindo do
>>>> FreeBSD é 100Mbps mesmo que outra estação gigabit esteja transferindo do
>>>> FreeBSD pra ela?
>>>> Quando você retira a estação A da rede, o restante normaliza?
>>>> Seria isso? Porque se for isso acredito que esteja relacionado com o
>>>> switch. Mas sinceramente nunca vi algo assim em switch. Só via isso em
>>>> comunicação com modems onde a velocidade era regulada pela menor
>>>> velocidade entre os 2 modems.   :)
>>>>
>>>>> Espero ter conseguido explanar a minha duvida.
>>>>>
>>>>> Att.
>>> Switch 24 Gigabit
>>>
>>> Porta 01 ->    Servidor FreeBSD com IF Gigabit Intel enlace em 10/100/1000
>>> Porta 02 ->    Servidor Linux com IF Gigabit Intel enlace em 10/100/1000
>>> Porta 03 ->    Up-link para switch 3com velocidade 10/100
>>> Porta 04 ->    Estação de trabalho IF Marvell 10/100
>>> Porta 05 ->    Estação de trabalho IF Intel 10/100/1000
>>>
>>> Cenário 01
>>>
>>> Transferência de arquivos grandes entre Porta 01 com Porta 02
>>> Comunicação a 10/100/1000 Taxa media de transferência 930 Mbits sobre
>>> FTP, SMB e NFS.
>>> Funcionamento esperado, afinal todo o caminho é Gigabit, onde mesmo com
>>> limitações de acesso a disco por se tratar de arquivos com origem em
>>> arrays distintos não há limitantes.
>>>
>>> Cenário 02 ( comportamento normal ).
>>>
>>> Transferência entre a Porta 01 e a Porta 03.
>>> A taxa de velocidade é de 98.4 Mb/s, como a interface do switch 3Com é o
>>> limitante a comunicação encontra-se dentro do limite da camada de enlace
>>> ( 10/100 ), sobre FTP, SMB e NFS.
>>>
>>> Cenário 03 ( comportamento normal )
>>>
>>> Transferência simultâneas entre Porta 01 com Porta 02 e Porta 01 com
>>> Porta 05
>>> Toda a comunicação é gigabit e o trafego beira os 980 Mb/s
>>> Sobre protocolos FTP, SMB e NFS
>>>
>>> Cenário 04 ( Comportamento anômalo )
>>>
>>> Transferências simultâneas entre:
>>> Porta 01 com Porta 02 e Porta 01 com porta 04
>>>
>>> Taxa de transferência máxima de 116mb/s ( isso nos melhores momentos )
>>> durante todo o período a porta do servidor FreeBSD raramente ultrapassa
>>> as taxas de enlace sobre 10/100 , mesmo havendo 90% do enlace para ser
>>> utilizado entre o switch e o FreeBSd fica meio que limitando a
>>> velocidade a menor porta envolvida na transferência.
>>>
>>>
>>> Obs auxiliares,
>>> Se estiver usando FTP essa limitação meio que some pois consigo taxas de
>>> 300Mb/s entre Porta 01 e Porta 02, 98,4 Mb/s entre Porta 01 e Porta 04 e
>>> 300Mb/s entre Porta 01 e Porta 05, a limitação mesmo só se torna
>>> perceptivel sobre SMB e NFS
>>>
>>>
>>> Em algums momentos onde a porta 03 ( 10/100 ) se comunica com o FreeBSD
>>> e há uma comunicação entre a Porta 01 e Porta 02 o problema não ocorre,
>>> mesmo sobre SMB e fica assim por dias.
>>>
>>> Ja atualizei e troquei o samba entre varias versões em determinados
>>> momento a conexão se segue sem problemas e alcança taxas realmente altas
>>> sobre o SMB porem do nada volta a ter tal limitação.
>>>
>>> Já zerei os QoS que havia configurado no switch para priorizar o trafego
>>> SMB porem nem fez diferença.
>>>
>>> Setei manualmente também o vinculo de enlaces em todas as interfaces
>>> respeitando as resoluções da IEEE e o mesmo problema tornou a aparecer,
>>> atualmente encontra-se com as configurações quase que padrões do switch.
>>>
>>> Espero que tenha ficado melhor exposto o cenário Sr. Godim.
>>>
>>>
>> É meio estranho o que ocorre. Você teria como testar com outro switch
>> não gerenciável de portas gigabit? Isso eliminaria ser a switch HP ou
>> confirmaria ser ela a causadora do problema.
>> Essa switch tem alguma amostragem de drop de pacotes? Pra vermos se não
>> está tendo algum drop no momento dos testes.
>> Outra coisa procure usar um programa específico de teste de performance
>> como o iperf pra gente ter outros dados [1].
>>
>> [1]
>> http://www.bsdinfo.com.br/2012/04/27/testando-a-performance-da-sua-rede-com-o-iperf/
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
>
> Verifique a placa de rede Marvel 10/100, ela pode estar causando o
> problema, já tive dores de cabeça com esse chipset. Acredito que não
> seja o switch, nem tampouco o servidor, o elo fraco neste caso é a
> interface 10/100 problemática.
>
> --
> Atenciosamente,
>
> Antônio Pessoa
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
Vou ficar hoje na wireless e testar sobre o IPerf, assim que tiver 
resultado posto aqui !!

Godim, infelizmente não possuo outro switch equiparável a este, pois 
todos são 3com 4500 SFP e 3com 4400 SE, esse é o switch de interligação 
de todos os equipamentos ( core da rede ).
Não há tambem qualquer mensagem de drop de pacotes nos logs e conseguir 
consumir mais de 18% de CPUs neles é quase um desafio.
Vou analisar todas as sugestões hojes pois algumas ainda não havia 
pensado a respeito.

Agradeço a atenção de todos !!

Att. Paulo Henrique.

-- 
"Quando a Morte decide contar uma historia,
A melhor ação que possa fazer é ouvi-la,
e torcer por não ser a sua própria a tal história."

Flames > /dev/null ( by Irado !! ).
RIP Irado!

Paulo Henrique.
Analista de Sistemas / Programador
BSDs Brasil.
Genuine Unix/BSD User.
Fone: (21) 9683-5433.