Serviço Experimental de CIrcuitos aPrOvisionados dinamicamente (SE-CIPÓ)

Skip to end of metadata
Go to start of metadata

Objetivos

 

  • Revisão do peering CIPO/AutoGOLE para 10G
  • Melhoria e atualização dos componentes do CIPO e AutoGOLE
  • Migração da infraestrutura para o IDC da RNP
  • Integração dos componentes ao padrão NSI

 

Resumo do Projeto

Percentual Concluído:41%
Data:Julho 2015

Relatório de Progresso

Implantação

1. OSCARS

1.1. Cronograma

AtividadeJanFevMarAbrMaiJunJulAgoSetOutNovDez

1. NSI Aggregator RNP em produção

            

2. Revisão do peering internacional

            
2.1. Link dedicado 1G            
2.2. Link compartilhado 20G com produção            
3. Revisão e atualização das documentações            
4. Apoio a atividades            
4.1. Implantação do OSCARS            
4.2. Capacitação e disseminação do OSCARS e serviço CIPO            
4.3. Verificações e testes do OSCARS em produção            
4.4. Modelagem do Serviço CIPO            
4.5. Preparação de Material para Curso da ESR            
4.6. Suporte na divulgação do WRNP 2015            

1.2. Acompanhamento

Status

Atividade

Percentual concluídoTrimestre 1 (31/03)Trimestre 2 (30/06)Trimestre 3 (30/09)Trimestre 4 (23/11)
(tick)NSI Aggregator RNP em produção100%

Implantado o novo servidor do Aggregator da RNP composto pelos módulos PCE, DDS e safnari.

 

Configurações adicionais para aprimorar o funcionamento do aggregator.

Configuração de peering direto entre aggregator da RNP e provider da Amlight.

Atualizações dos módulos DDS, PCE e safnari para versões mais novas e com mais funcionalidades.

Configuração de peering direto entre aggregator da RNP e da Geant.

Atualização dos módulos de software do aggregator para correção de erros na informação da VLAN escolhida quando a reserva é solicitada através de um range de VLANs.
(tick)

Revisão do peering internacional

100%

Não iniciada.

Peering internacional com link dedicado de 1G restabelecido. Plano de controle através da solução NSI com a implantação do aggregator da RNP. Circuitos internacionais até a ESNET foram criados e validados.

Problemas para o estabelecimento de circuitos até a Europa ainda precisam ser depurados.

Realizada a configuração do link de produção de 20Gb no OSCARS e NSI. Velocidade ainda configurada em 1 Gb.

Ampliação das velocidades dos links de produção e alguns links internos do Cipó para 10 Gbps.

 

(tick)

Revisão e atualização das documentações

100%Não iniciada.IniciadaDocumentação de instalação e configuração das VMs do OSCARS e Aggregator entregue.finalizada.
(tick)

Apoio a atividades

100%

Auxílio às equipes dos outros grupos de trabalho do projeto Cipó (MEICAN, Monitoramento, Weathermap) e também à equipe do projeto ATER em respeito ao acesso aos recursos da rede Cipó, do OSCARS e do aggregator da RNP.

Parte técnica do serviço Cipó utilizará a solução NSI. Definições sobre a parte de operação permanecem em aberto.

Continuidade do apoio às outras equipes.

Auxílio na realização de demonstração no WRNP 2015.

Continuidade do apoio às outras equipes.


Continuidade do apoio às outras equipes.

  100%    

2. MEICAN (Prod)

2.1. Cronograma

AtividadeJanFevMarAbrMaiJunJulAgoSetOutNovDez

1. Transferência do serviço para produção

            
1.1. Auxílio na modelagem do serviço CIPÓ            
1.2. Capacitação das equipes operacionais            

1.3. Melhorias dos componentes MEICAN que sejam reveladas ao longo
processo de transferência do serviço

            
1.4. Revisão e atualização das documentações            
1.5. Apoio para a realização do registro do software            
2. Apoio à implantação do MEICAN            
2.1. Migração para a infraestrutura da RNP            
2.2. Migração da Federação Chimarrão para CAFé            
3. Apoio a preparação de material para Curso da ESR            
4. Participação na divulgação no WRNP 2015            

2.2. Acompanhamento

Status

Atividade

Percentual concluídoTrimestre 1 (31/03)Trimestre 2 (29/06)Trimestre 3 (30/09)Trimestre 4 (23/11)
(tick)

Revisão e atualização das documentações

100%Iniciada. Vídeos realizados sobre a nova interface.Refeito o tutorial de instalação. A documentação das interfaces disponíveis no wiki estão sendo reformuladas, nas ainda não foram atualizadas. Estamos também trabalhando em migrar a documentação de usuário para dentro da ajuda do sistema. Também estamos atualizando as informações do repositório do github do projeto (https://github.com/ufrgs-hyman/meican2).Temos várias páginas da documentação prontas que estão sendo aos poucos publicadas no Wiki (usuário do Diego que está fazendo as atualizações foi liberado há pouco). Foi preparado também um manual de uso do serviço a pedido do pessoal da CAFé.

A atualização da documentação foi finalizada no wiki. Foi também atualizado o help do sistema para espelhar as últimas mudanças.

(tick)Apoio à implantação do MEICAN100%Não iniciada.O tutorial de instalação foi atualizado e enviado para a lista do CIPÓ. O sistema será instalado em uma VM na infraestrutura da RNP. Aguardando novas informações. Em relação a migração para a federação CAFé, a configuração do Meican foi realizada e foi enviado o pedido à equipe responsável pela federação. A equipe solicitou que retornássemos as configurações para a federação Chimarrão para que o sistema pudesse ser homologado. A configuração foi revertida e aguardamos a conclusão do processo de homologação.Foi preparado um tutorial de instalação no CentOS a pedido do pessoal de operações. Ainda aguardando a migração para a CAFé, o guia solicitado está junto a documentação (item anterior). Adicionalmente, foi criado um branch de produção no Github específico para poder dar suporte e resolver bugs nessa versão. Liberada uma versão "zero" do Meican no ambiente de produção para testes por parte do pessoal de operações.

Foram realizadas algumas conversas para definir os requisitos para implantação de uma versão de produção do serviço do Meican na integração do STC2 e Cipó. Em princípio, deverão ser definidas soluções para adequar o sistema aos requisitos até Janeiro de 2016.

(tick)Apoio a preparação de material para Curso da ESR100%Não iniciada.Não iniciada.Não iniciada.

Foi preparado um material sobre o Meican para o curso do ATER ministrado durante o SCI, incluindo uma demonstração do sistema durante o curso.

(tick)Apoio para a realização do registro do software100%Não iniciada.Meican já está "registrado" através da licença BSD2. A informação de licença foi adicionada nesse commit https://github.com/ufrgs-hyman/meican/commit/27d1b8f5107024255f257fb1c754719caf63d5e2 no github do projeto. A decisão pela licença BSD foi para permitir compatibilidade com o OSCARS, para o caso de o Meican ser distribuído num futuro provável juntamente com o OSCARS como uma interface para gerenciar reservas. Aguardando feedback da RNP sobre as necessidades de registro.Não ouve feedback sobre a necessidade de registro. Se não houver objeção podemos considerar essa atividade concluída.Nenhum feedback, consideramos finalizada a atividade.
(tick)Participação na divulgação no WRNP 2015100%Iniciada. O roteiro utilizado na demonstração para a ESnet pode ser a referência no WRNPO Maurício representou a equipe do Meican no evento e realizou a demonstração das funcionalidades.Concluída. 
  100%    

3. MonCircuitos (Prod)

3.1. Cronograma

AtividadeJanFevMarAbrMaiJunJulAgoSetOutNovDez

1. Acompanhamento a evolução dos projetos OSCARS, MEICAN, DCN Weathermap e NSI

            
2. Atualização de ferramentas e ambientes de monitoração            
2.1. Levantamento das versões recentes E2EMON, NAGIOS, Smokeping, Console, Status Service MA, SNMP MA            
3. Avaliar e/ou implantar mecanismos para consulta dos históricos das medições de utilização dos circuitos, perdas ou o que houver de informação            
4. Estender e integrar medições ao GOLE SouthernLight            
5. Desenvolver e implantar serviços para suporte a equipe do projeto DCN Weathermap no escopo de monitoramento            

3.2. Acompanhamento

Status

Atividade

Percentual concluídoTrimestre 1 (31/03)Trimestre 2 (29/06)Trimestre 3 (30/09)Trimestre 4 (23/11)
(tick)Acompanhamento a evolução dos projetos OSCARS, MEICAN, DCN Weathermap e NSI100%Ajustado o sistema de monitoração para o OSCARS 0.6Ajustado o sistema de monitoramento para o DCN WeathermapForam realizadas reuniões com EsNet para conhecer suas ferramentas de monitoração de circuitos. Estas estão em avaliaçãoForam avaliadas as ferramentas de visualização e armazenamento de informação de monitoração de circuitos. Identificada possível integração destas ferramentas com ferramentas do moncircuitos.
(tick)Atualização de ferramentas e ambientes de monitoração100%Nagios atualizado para a versão mais recente.Foi verificado que serviços Status Service MA e SNMP MA estão obsoletos e sem suporte dos desenvolvedores.A ferramentas de monitoração da EsNET Pond, React-Network-Diagrams, e React-Timeseries-ChartsIdentificada possibilidade de integração das ferramentas EsNET Pond, React-Network-Diagrams, e React-Timeseries-Charts com ferramentas do moncircuitos
(error)Avaliar e/ou implantar mecanismos para consulta dos histórico das medições de utilização dos circuitos, perdas ou o que houver de informação-Atividade não iniciadaAtividade não iniciadaAtividade canceladaAtividade cancelada
(tick)Estender e integrar medições ao GOLE SouthernLight100%Atividade não iniciada. É necessário participação da RNP para detalhamento da atividade.Atividade não iniciada. É necessário participação da RNP para detalhamento da atividade.Atividade não iniciada. É necessário participação da RNP para detalhamento da atividade.

Definido junto a RNP que a monitoração será feita através do Nagios, assim como a infraestrutura do CIPO. Configurações estão sendo implementadas.

(tick)Desenvolver e implantar serviços para suporte a equipe do projeto DCN Weathermap no escopo de monitoramento100%Não houve demanda por parte da equipe DCN WeathermapAs demandas geradas pela equipe do DCN Weathermap foram atendidas. As demandas geradas pela equipe do DCN Weathermap foram atendidas. Não houve novas demandas
  100%    

Desenvolvimento

1. AutoGOLE

1.1. Cronograma

AtividadeJanFevMarAbrMaiJunJulAgoSetOutNovDez

1. Atualização e Teste do software do GOLE do SOL

            

2. Projeto do peering para ser escalável e permanente

            
2.1. Definição topologia (SOL, AMLight)            
3. Revisão e atualização das documentações            
3.1. Revisão e melhorias do Guia de Instalação (implantação)            
3.2. Revisão e melhorias do Guia do Usuário (utilização)            
4. Prospecção de novos peerings internacional (RedClara/GEANT)            

1.2. Acompanhamento

Status

Atividade

Percentual concluídoTrimestre 1 (31/03)Trimestre 2 (29/06)Trimestre 3 (30/09)Trimestre 4 (23/11)
(grey lightbulb)Atualização e Teste do software do GOLE do SOL100%Aguardando software usado na Ampath para o controle do XMR via SNMP.Software da Ampath de controle do XMR instalado e testado. OpenNSA atualizado via git. Configurações TLS realizadas.

XMR substituído pelo MLXe.

Controle via SNMP do MLXe realizado.

Concluída.
(grey lightbulb)Projeto do peering para ser escalável e permanente100%Projeto concluído. Necessita ser implantado e testado.Aguardando engenharia da RNP para a migração para o LAG de 20Gbps de ligação entre o SOL e a RNP.

Migração para o LAG do MLXe realizada.

Ainda falta a retirada do XMR e nova configuração do LAG.

XMR retirado e reconfiguração do LAG realizada.

Concluída.

(grey lightbulb)Revisão e atualização da documentação100%Iniciada.Em andamento.Em andamento.Primeira versão concluída.
(grey lightbulb)Apoio a atividades100%Participação na implantação do NSI Aggregator da RNP.Participação na demo do WRNP 2015.

Apoio na produção do material para o SCI 2015.

Concluída.
(grey lightbulb)Prospecção de novos peerings internacionais (RedClara/GEANT)100%Não iniciada.Não iniciada.Peering com a GEANT projetado e  realizado.Concluída
  100%    

2. MEICAN (Dev)

2.1. Cronograma

AtividadeJanFevMarAbrMaiJunJulAgoSetOutNovDez

1. Comunicação assíncrona com o OSCARS e NSI

            
2. Suportar caminhos explícitos e caminhos secundários pela interface
NSI
            
3. Aprimoramento e modernização da interface gráfica do usuário            
4. Criação de biblioteca de workflows complexos de autorização            
5. Manutenção da consistência das informações topológicas            

2.2. Acompanhamento

Status

Atividade

Percentual concluídoTrimestre 1 (31/03)Trimestre 2 (29/06)Trimestre 3 (30/09)Trimestre 4 (23/11)
(tick)Comunicação assíncrona com o OSCARS e NSI100%Iniciado. O estudo inicial mostrou que o protocolo NSI não oferece uma operação para auxiliar essa funcionalidade. Deve ser aberta uma thread junto à ESnet para discutir o assunto.A discussão foi iniciada com o pessoal da ESnet. Eles pretendem retirar uma restrição de acesso as reservas que estava hard-coded no aggregator. Com isso, o Meican já vai ser capaz de acessar informações de reservas realizadas por outros sistemas. Isso já permitiria que tais informações sejam importadas pelo Meican. Num futuro iremos sugerir que o Meican sirva como um sistema remoto de autorização para o aggregator, recebendo notificações de novas solicitações de reservas.O Meican está adaptado para receber as listas de reservas de outros requesters (apesar que o protocolo ainda não foi alterado). Não está em produção apenas na versão de desenvolvimento. Foi sugerido um filtro adicional pela data de criação para evitar receber muitas informações repetidas todas as vezes que uma sincronização for feita. Não temos previsão sobre o filtro. A ESnet concordou com a remoção da restrição que não permitia a consulta, a alteração será vai ser feita na versão 2.1 do protocolo NSI. 

Não evoluímos mais, ainda aguarda publicação das alterações do NSI.

(tick)Suportar caminhos explícitos e caminhos secundários pela interface
NSI
100%Iniciado. O MEICAN já suporta caminhos explícitos (NSI ERO) a partir da definição de intermediários. Ainda está em estudo o suporte aos caminhos secundários.A atividade não avançou, vamos aguardar resolver a atividade da comunicação assíncrona antes de retomar essa com a ESnet.Foram definidos os requisitos e opções de caminhos secundários (protection e explicito). Iniciamos uma implementação do modo protected. Preparamos uma especificação das mensagens para adicionar ao NSI (vamos compartilhar em breve internamente e depois com a ESnet). A ESnet solicitou um modo de especificação do caminho explícito em modo "texto" sem mapa e estamos estudando a possibilidade de incorporar no nosso roadmap.

Foi feita uma proposta detalhada com dois cenários incluindo alterações/adição de mensagens no protocolo NSI. A RNP solicitou que aguardemos para verificar como essas features podem ser implementadas nos sistemas de reserva de circuitos de cada domínio (OSCARS, AutoBAHN, OESS) e somente então iniciar as discussões sobre as abstrações mais altas como o NSI para mapear essas features de forma única. Por enquanto, como parte das adequações necessárias para integração do STC2 e Cipó foi implementada a opção “Protected” para reservas na interface do Meican de desenvolvimento.

(tick)Aprimoramento e modernização da interface gráfica do usuário100%Iniciado. A nova interface apresenta um mapa maior e novas funcionalidades.Foi criado um novo sistema de notificações que será útil para otimizar os processos de autorização de reservas e manutenção da topologia. Fora isso, foram feitas melhorias visuais na interface.Pode ser considerado concluído. A interface foi renovada principalmente na parte dos mapas e dos workflows. Futuras funcionalidades do sistema seguirão usando os mesmos estilos. 
(tick)Criação de biblioteca de workflows complexos de autorização100%Iniciado. O ambiente de criação e edição de workflows foi significativamente melhorado.Foram criadas novas unidades para permitir a criação de workflows mais complexos. Ainda estamos estudando a possibilidade de criação de unidades baseadas em informações de reservas concorrentes e importadas de outros sistemas.Foi feito um trabalho para verificar a possibilidade de incorporar os workflows do SD da RNP no Meican. Foi incluída a unidade nova de filtro por device. No futuro cada pop será um domínio e cada um terá o seu workflow. Temos atualmente um workflow cadastrado, mas desativado, na versão "zero" do Meican. Tentar ver com alguém de operações que use a versão "zero" do Meican para dar um feedback do que eles acham que podemos melhorar ainda nessa parte do sistema.

Atividade não evoluiu mais, as novas unidades estão implementadas, aguardamos feedback sobre o uso do sistema de workflows em produção.  

(tick)Manutenção da consistência das informações topológicas100%Iniciado. O sistema ainda está em estudo, mas a solução parece apontar para um Proxy Aggregator.Foram criadas as rotinas de importação, sincronização e comparação de topologias. O processo ainda é feito sob demanda (o usuário precisa iniciar), no futuro será automatizado.Sincronização automatizada de topologia através do proxy aggregator está em produção.

Alguns bugs reportados na versão de produção foram corrigidos e serão atualizados na versão de desenvolvimento. Em princípio, a funcionalidade está estável. A versão de produção será atualizada em breve.

  100%    

3. MonCircuitos (Dev)

3.1. Cronograma

AtividadeJanFevMarAbrMaiJunJulAgoSetOutNovDez

1. Suporte a implantação e treinamento da operação das ferramentas de monitoramento

            
2. Buscar aderência com processos de implantação sendo definido pela  RNP/GTI            
3. Documentações            
3.1. Revisão arquitetura do serviço de monitoração (incluir segurança, firewall, etc)            
3.2. Revisão e melhorias do Guia de Instalação (implantação)            
3.3. Revisão e melhorias do Guia do Usuário (utilização)            
3.4. Participação na elaboração de modelo de Suporte (Service Desk e Troubleshoot) do serviço CIPO            
4. Apoio a atividades            
4.1. Implantação das ferramentas de monitoramento            
4.2. Capacitação e disseminação do monitoramento do serviço CIPO            
4.3. Verificações e testes das ferramentas de monitoramento em produção            
4.4. Modelagem do Serviço CIPO            
4.5. Preparação de Material para Curso da ESR            

3.2. Acompanhamento

Status

Atividade

Percentual concluídoTrimestre 1 (31/03)Trimestre 2 (29/06)Trimestre 3 (30/09)Trimestre 4 (23/11)
(tick)Suporte a implantação e treinamento da operação das ferramentas de monitoramento100%Atividade não iniciadaAtividade de suporte a implantação sendo executada sob demanda da RNP. Treinamento depende de definição da RNP.Elaborado material para treinamento realizado no SCI no escopo do projeto ATER.Não houve nova demanda no período
(grey lightbulb)Buscar aderência com processos de implantação sendo definido pela  RNP/GTI-Atividade não iniciadaAtividade não iniciadaAtividade não iniciadaAtividade não iniciada
(tick)Documentações100%Participação na revisão da arquitetura do serviço e segurança.Atividade sem modificação.Atividade sem modificação.Atividade sem modificação.
(warning)Apoio a atividades100%Ferramentas de monitoramento implantadas e em produção. Participação na modelagem do serviçoMarcada reunião para verificar possível integração com o sistema de monitoração de circuitos da ESNet.Realizada reunião com a ESNet para apresentação da ferramentas de monitoração que passaram a ser avaliadasForam avaliadas ferramentas de visualização e monitoração de circuitos da ESNet. Identificada possível integração entre ferramentas utilizadas no moncircuitos e ESNet.
  100%    

4. DCN Weathermap

4.1. Cronograma

AtividadeJanFevMarAbrMaiJunJulAgoSetOutNovDez

1. Melhoria do mecanismo de consulta a informações de circuitos

            

1.1. Utilizar cliente Java (ESnet) convertido para Ruby para falar com OSCARS 0.6

            
1.2. Suportar consultas assincronas (AJAX) para atualização dinamica das medições em tempo real            
1.3. Apresentar dinamicamente no mapa o status up/down de nós e enlaces            
2. Persistência das medições            
2.1. Levantar quais medições serão persistidas por cada componente, como e onde será feita a persistência das medições            
2.2. Implementar persistência das medições            
3. Fornecimento de acesso às informações persistidas no WM
            
3.1. Suporte a API perfSONAR exportando informações do Nagios            
3.2. Possibilitar consultas ao histórico de medições            
3.3. Consolidar consultas a circuitos e medições para serem feitas como backgroup jobs            
3.4. Definir interface de acesso ao histórico de circuitos encerrados e status do backbone, possibilitando formas de seleção            
3.5. Definir modos de exibição de informações associadas a circuitos encerrados (caminho no backbone, tráfego, etc)            
3.6. Definir modos de exibição do histórico de status do backbone            
3.7. Implementar exibição das informações persistidas de status e circuitos            
4. Melhorias do ambiente            
4.1. Consulta a circuitos agendados            
4.2. Usar as informações persistidas para geração de consultas personalizadas            
4.3. Agregar informações do Backbone da rede IPÊ no Weathermap            
4.4. Utilizar do Weathermap como solução a outras DCNs (suporte a API NSI)            

4.2. Acompanhamento

Status

Atividade

Percentual concluídoTrimestre 1 (31/03)Trimestre 2 (29/06)Trimestre 3 (30/09)Trimestre 4 (23/11)
(grey lightbulb)Melhoria do mecanismo de consulta a informações de circuitos90%Status de up/down no mapa realizado através de scripts em python, contudo a implementação tem uma questão conceitual a ser debatida, já que apenas as interfaces dos circuitos ativos podem ter seu status consultado via web service do monitoramento.Definido o uso do oscar-driver, desenvolvido pelo Micael. Instalação pendente no ambiente de produção, instalação e configuração do oscars-driver em ambiente de desenvolvimento concluídas. Concluída a construção da topologia de forma dinâmica através de background jobs (atividade não mapeada).Consolidadas algumas rotinas referentes ao backend. Entrada de novo bolsista em substituição ao anterior. Pendente a configuração de certificados para comunicação com OSCARS 0.6 para testes com ambiente de produção.Problema de certificados resolvido, acesso ao OSCARS 0.6 implementado e testado, pendente de validação com circuitos. Atualização dinâmica via AJAX implementada. Forma para apresentar up/down de enlaces e nós depende de ajustes que, por sua vez, dependem do fornecimento destas informações por algum serviço de monitoramento da RNP ou do CIPÓ. Itens 1.1 e 1.2 finalizados.
 Persistência das medições99%Definido que a persistência do tráfego do circuito se dará através do software Sidekiq.Sidekiq implementado no ambiente de desenvolvimento e de produção, faltando realizar mais testes em produção.Mesmo status.Itens 2.1 e 2.2 finalizados, porém Sidekiq não está inicializando no ambiente de produção.
(grey lightbulb)Fornecimento de acesso às informações persistidas no WM
65%Pendente.Pendente.Pendente.API PerfSONAR exportando informações não foi implementada. Background jobs implementados, necessário resolver problema de inicialização do serviço no ambiente de produção. Obtenção de status de interfaces não foi realizado uma vez que os dados estavam sendo coletados do MonCircuitos e verificou-se que apenas os circuitos ativos possuíam interfaces monitoradas. Instrumentada a parte necessária para consulta a informações persistidas. Interface usada para especificar janela de tempo para visualização de reservas de circuitos num enlace pode ser generalizada para consulta de informações persistidas. Item 3.3 finalizado no ambiente de desenvolvimento.
(grey lightbulb)Melhorias do ambiente20%Mais a frente no cronograma.Mais a frente no cronograma.Mais a frente no cronograma.Código instrumentado para possibilitar a listagem e a consulta de circuitos agendados.
  68,5%    

 

Legenda

Ícone

Descrição

(grey lightbulb)

Ação nova

(lightbulb)

Ação adiantada

(red star)

Ação atrasada

(warning)

Ação iniciada

(tick)

Ação finalizada

(error)

Ação cancelada

(plus)

Ação contínua

(question)

Necessita informação

(minus)

Não aplicável

(blue star)

Ação não prevista

  • No labels