[FUG-BR] Problemas com roteamento FreeBSD-9.2

Terça Fevereiro 4 01:26:03 BRST 2014

Em 03/02/14 23:42, Samuel Peres escreveu:
> On 2/3/2014 7:01 PM, Marcelo Gondim wrote:
>> Em 03/02/14 16:41, Samuel Peres escreveu:
>>> On 03/02/2014 15:57, Edinilson - ATINET wrote:
>>>>> ----- Original Message -----
>>>>> From: "Samuel Peres" <samuelperes em migtelecom.com.br>
>>>>> To: <freebsd em fug.com.br>
>>>>> Sent: Monday, February 03, 2014 2:39 PM
>>>>> Subject: [FUG-BR] Problemas com roteamento FreeBSD-9.2
>>>>> Boa tarde,
>>>>> Estou com um problema estranho no FreeBSD-9.2 (r260799) com OpenBGPD.
>>>>> Não consigo remover 1 rota específica, retorna o seguinte erro:
>>>>> # route delete -inet 187.xx.xxx.0/22 -iface vlan569 -fib 0
>>>>> route: writing to routing socket: Address already in use
>>>>> delete net 187.16.216.0: gateway vlan569 fib 0: gateway uses the same route
>>>>> Exit 1
>>>>> No momento não estou com  nenhum IP configurado na mesma subnet da rota
>>>>> que estou tentando remover (tinha, mas removi com ifconfig sem nenhum
>>>>> problema). Com netstat ou bgpctl consigo ver a rota em questão, vejam:
>>>>> # netstat -nr | grep 187.xx.xxx
>>>>> 187.xx.xxx.0/22    187.xx.xx.xx       UG1         0  3806179 vlan569
>>>>> Entretanto, não era para essa rota na está na VLAN 569, era para está em
>>>>> outra VLAN. Esse mesmo problema foi tratado em [1], onde aparentemente
>>>>> só foi corrigido aplicando um patch, mas não estou muito otimista e
>>>>> recorro a FUG em busca de ajuda.
>>>>> Já tive esse problema umas duas ou três vezes, infelizmente só consegui
>>>>> resolver após um reboot. Percebi que esse problema acontece da seguinte
>>>>> forma (simulei isso para constatar):
>>>>> * Todas sessões BGP estão down no início. Em seguida:
>>>>> 1- Subo a sessão BGP do PTT;
>>>>> 2- Subo a sessão BGP da Algar;
>>>>> Tudo ok até aqui
>>>>> 3- down na sessão com PTT;
>>>>> 4- down na sessão da Algar;
>>>>> 5- Subo novamente a sessão da Algar;
>>>>> 6- Tento subir novamente a sessão com o PTT;
>>>>> Ou seja, o sexto passo eu não executo com sucesso, visto que perco
>>>>> comunicação com o roteador do PTT. Loucura não? Com certeza, mas
>>>>> acontece isso aqui e já tentei atualizar o FreeBSD para tentar resolver
>>>>> e nada. O negócio é tão maluco que nem mesmo a tabela arp dos endereços
>>>>> associados a VLAN do PTT eu consigo remover quando acontece isso.
>>>>> Retorna o erro "arp: writing to routing socket: Invalid argument". Se
>>>>> tento adicionar o IP novamente a VLAN retorna o erro "ifconfig: ioctl
>>>>> (SIOCAIFADDR): Address already in use".
>>>>> Em outra localidade tenho um Mikrotik (estou aguardando a chegada de um
>>>>> Juniper MX10) com o mesmo cenário (PTT e Algar) e não acontece esse
>>>>> problema.
>>>>> Alguém tem alguma dica?
>>>>> [1] http://forums.freebsd.org/viewtopic.php?t=42547
>>>>> Obrigado!
>>>>> Samuel Peres
>>>> Caro Samuel, eu não tive especificamente este problema com o OpenBGPD. O
>>>> problema que tive foi com a 2a. parte do seu problema, que está relacionado
>>>> ao ARP ("....O negócio é tão maluco que nem mesmo a tabela arp dos endereços
>>>> associados a VLAN do PTT eu consigo remover quando acontece isso. Retorna o
>>>> erro "arp: writing to routing socket: Invalid argument". ).
>>>> O que percebi, na epoca (isto foi com o FreeBSD 5.xx até o 7.xx, é que SE
>>>> deixasse a opcao net.inet.ip.fastforwarding=1, e digitasse um simples:
>>>> arp -a -d acontecia este problema e, as vezes, kernel panic.
>>>>
>>>> Desligue esta opcao e faca um teste. Cuidado tambem com queues do ipfw.
>>>>
>>>> Edinilson
>>>> ------------------------------------------
>>>> ATINET
>>>> Tel Voz: (0xx11) 4412-0876
>>>> http://www.atinet.com.br
>>>>
>>>>
>>>> -------------------------
>>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>>>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>> Olá Edinilson,
>>>
>>> Vou fazer esse teste mais tarde e reporto os resultados. Uma coisa é
>>> fato, já bem próximo de 800Mb de tráfego passando por esse FreeBSD, em
>>> um hardware bem dimensionado, devo admitir que estou perdendo um pouco a
>>> confiança no sistema para roteamento. Não importa o que os mais
>>> experientes e  saudosistas digam. Uso FreeBSD há mais de 10 anos
>>> (comecei com a versão 4.7) e uso aqui para praticamente tudo, até mesmo
>>> como desktop no meu notebook, mas para roteamento acima de 500Mb estou
>>> caindo fora. Alguém roda com mais de 1Gb de tráfego? Parabéns e fico
>>> feliz por você! Eu aqui estou tendo problema até mesmo com um simples
>>> route delete. Preciso atualizar para a versão 10, regredir para a 9.1 ou
>>> aplicar patch para corrigir um troço desse? Fala sério, muitos sabem que
>>> não é tão simples assim, principalmente quando é 800Mbit/s passando pelo
>>> sistema.
>>>
>>>
>> Pois é cada um é cada um. Eu já tive sérios problemas com Linux em
>> tráfegos de 100 e 200Mbps. Hoje tenho link de 2Gbps e cheguei à bater
>> 1.8Gbps de tráfego sem problemas usando FreeBSD 9.x + OpenBGP + Link
>> Aggregation + vlans
>>
>> Esse mesmo router bgp segura 4 cidades com um pico até o momento de
>> 11.145 assinantes simultâneos, fecha 14 sessões BGP sendo 2 full IPv4 e
>> 4 sessões IPv6 iBGP.
>> Atualmente atualizei para a versão 10.0R e continuo muito contente com o
>> sistema e não vejo a menor possibilidade de eu trocar ele. :)  Ao meu
>> ver a pilha TCP/IP dos BSD são muito superiores às dos GNU/Linux e
>> outros sistemas por aí. A própria Juniper usa o FreeBSD em sua base para
>> seus routers.
>>
>> Como implementei meu terceiro PeerApp Cache em 3 cidades que atendo, meu
>> consumo médio caiu de 1.6Gbps para 1.2Gbps, 1.3Gbps.
>>
>> []'s
>> Gondim
>>
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> Prezado Marcelo,
>
> Obrigado por relatar seu caso de sucesso e acredito sinceramente que eu
> conseguiria o mesmo por aqui usando FreeBSD. Também tenho 2 PeerApp por
> aqui,  fazendo o bypass do tráfego chego a ter picos de quase 950Mb sem
> nenhum problema (relacionado a tráfego). Tenho sessões full-routing com
> 3 operadoras, uma delas IPv6 e tenho também Laggs com LACP, inúmeras
> VLANs e o conjunto hardware/sistema bem "tunado". Mas o que mata mesmo é
> quando aparece um caso atípico como esse que relatei. Um dia você poderá
> passar por isso e poderá refletir melhor sobre a afirmação de não trocar
> o FreeBSD sob quaisquer possibilidades. Eu tinha Thundercache rodando
> com FreeBSD e atendeu por um tempo, mas vivia dando manutenção no
> negócio. Hoje tenho duas caixa PeerApp (salve engano, roda SUSE Linux) e
> as vezes até esqueço que elas existem - tive alguns problemas com
> atualizações de PS3 e com o novo método de streaming do YouTube que
> afetava alguns poucos vídeos, mas isso foi resolvido na versão 5.1.619.
>
> Com certeza não trocaria o FreeBSD para muitas coisas, mas na medida do
> possível o trocaria por coisas que considero muito críticas e que não
> dependem apenas de um sistema robusto. Prefiro mil vezes ter um Dell
> EqualLogic PS6100E ou até mesmo um mais singelo MD3200i do que uma
> Supermicro com trocentos HDs rodando FreeNAS com RAID-Z1, Z2, Z3 ou
> diabo a quatro. Com certeza serve para muitas coisas (aqui eu o utilizo
> para VMware Data Protection exportando os volumes via NFS), mas para
> muitas outras coisas ... pode até servir, mas confiar é outra coisa.
>
> Peço desculpas pela divagação e volto agora ao FreeBSD em si, atuando
> como roteador. Pois bem, conforme você bem lembrou, a própria Juniper
> usa FreeBSD na base do JunOS, e para ser sincero, já considero um dos
> motivos  para substituir o FreeBSD por um MX10 ou qualquer outro modelo
> superior dependendo do cenário. Gosto de FreeBSD e tenho certeza que a
> Juniper Networks fez uma excelente escolha para sistema base. Pegando o
> datasheet de qualquer modelo de Juniper da para ter  confiança no
> negócio, diferente de pegar manual de arquitetura de motherboard para
> saber se ela é dual northbridge ou não, ficar lendo datasheet de placa
> de rede que pode se comportar de forma diferente no FreeBSD ou no Linux,
> ficar atento quanto a velocidade de barramento, memória, etc e etc.
> Depois da escolha do hardware, vem o sistema, instalar, configurar,
> compilar e  o divertido tuning. Legal, mexer em um monte de systcl,
> fazer CPU affinity  e depois partir para o OpenBGPD. Deixar tudo isso
> funcionando no FreeBSD é muito gratificante e pode ter certeza que
> continuo fazendo essas coisas, mas jamais vou ter uma fé cega no sistema
> ou em qualquer outro, até mesmo no MX10 (que estou comprando), mas tenho
> certeza que é mais confiável do que qualquer hardware rodando FreeBSD puro.
>
> Sempre atenciosamente,
>
> Samuel Peres
> -------------------------
>
Eu entendo a sua opção e não está errada, é mais opção mesmo. Eu ainda 
gosto de fazer tudo isso aí que você colocou, embora não tenha mais o 
tempo necessário para estar sempre melhorando. Sou partidário da 
filosofia KISS ( Keep It Simple, Stupid)  :)  mas gosto também de muita 
compilação e tunning.
O PeerApp foi justamente a minha opção de cache terceirizado pois eu não 
queria ter qualquer problema ou manutenção com cache. Também tive 
Thunder Cache no passado e tive muitos problemas, não foi com o FreeBSD 
em si porque com Linux também tive os mesmos problemas usando o Thunder. 
O PeerApp é SuSE sim e para mim poderia ser qualquer sistema pois 
escolhi não me importar com isso já que com o PeerApp eu apenas cobro o 
funcionamento dele da empresa que me vende o serviço. Eu vejo o PeerApp 
como um appliance fechado.  :)

Já meus outros servidores e routers eu gosto de montá-los e 
configurá-los, gosto de ter o controle sobre o que está rodando ali. São 
como "filhos" rsrsrs e eu pessoalmente cuido da saúde deles. Não existe 
sistema perfeito, todos eles vão apresentar bugs ou problemas e assim 
como em qualquer sistema, eles vão ser corridos mais cedo ou mais tarde. 
Já abri alguns reports de problemas e sempre fui bem atendido pelo 
pessoal de desenvolvimento do FreeBSD. Isso vai ocorrer com Cisco, 
Juniper, RedHat, SuSE, FreeBSD, etc. A diferença vai estar em pra quem 
você vai ligar, tentar passar o problema para que seja resolvido, em que 
tempo de resposta e por quanto R$?

Gosto dessa frase: "Especialista é alguém que lhe diz uma coisa simples 
mas de maneira confusa de tal forma que faz parecer que a confusão é 
culpa sua". rsrsrsr Podemos tentar ser esse especialista ou pagar alguém 
pra ser... vai depender se você mesmo vai querer resolver o problema ou 
não se preocupar e passar a bola pra frente.

Grande abraço e sucesso com o Juniper porque é uma senhora combinação de 
hardware e sistema.