Pesquisa

Big Data & Analytics

fluxos de dados: no lugar certo, na hora certa

Uma plataforma de transmissão em nuvem para o setor de telecomunicações

PONTO DE PARTIDA

A quantidade de dados disponíveis para uma empresa de telecomunicação e o quanto ela gera deles diariamente é enorme, mas também extremamente útil. Isso inclui informações sobre contratos de clientes, registros de dados internos e muito mais. Para possibilitar que todos os departamentos de um grande provedor de telecomunicação usem eficientemente essa grande quantidade de dados que chegam, são deslocados ou saem da organização todos os dias, a empresa passou a usar há algum tempo a abordagem de fluxo de dados.

Era importante para a empresa que diferentes departamentos pudessem receber os mesmos conjuntos de dados para poder usá-los em suas respectivas necessidades. Enquanto a inteligência de negócios de uma empresa se concentra na análise de dados e na obtenção de novos casos de uso com a maior precisão possível, os departamentos técnicos os utilizam para desenvolver novos aplicativos. No geral, as informações obtidas com a análise de dados permitem que uma empresa obtenha informações sobre muitos aspectos de sua organização e atividades do cliente, como atividade do servidor ou uso de serviços, e possa responder rapidamente a situações de mudança.

SOLUÇÃO

Para poder reagir a todos os desafios relacionados ao processamento de grandes quantidades de dados, o provedor de serviços de telecomunicação decidiu implementar uma solução baseada em nuvem nas unidades de negócios, juntamente com os especialistas da Data Reply.

Além disso, para implementar com eficiência a plataforma de transmissão de dados usada para isso, foi escolhido o Kubernetes aa AWS com múltiplas contas. Com esta solução, os dados recebidos poderiam ser lidos em tempo real.

REQUISITOS


1. O cliente queria que os vários ambientes de Kafka cluster fossem configurados de maneira que permitisse a captura de dados de suas fontes reais. Além dessa infraestrutura escalável, novos casos de uso de big data agora poderam ser criados.

2. A solução deveria ser automatizada, escalável e tolerante a falhas. O desafio para os especialistas da Data Reply foi transferir o conhecimento atual sobre a construção de plataformas de data lake nas instalações para a nuvem. Isso gerou mais trabalho de desenvolvimento em termos de segurança e dimensionamento adequado dos Kafka clusters.

IMPLEMENTAÇÃO TÉCNICA

A solução desenvolvida é totalmente criptografada - para garantir a segurança necessária - e habilitou a autorização e autenticação em nível dos dados. A Data Reply redesenhou toda a infraestrutura Kafka em um cluster Kubernetes para resolver alguns dos problemas que, de outra forma, seriam difíceis de resolver. Uma das vantagens do Kafka é a verificação automatizada da consistência dos dados. Se, por exemplo, uma coluna de um conjunto de dados for excluída acidentalmente, isso não significa a falha de um processo: o Kafka detecta automaticamente inconsistências e interrompe o sistema antes que o conjunto de dados seja destruído.

Além disso, a abordagem DevOps foi escolhida para o projeto, visando garantir o desenvolvimento ágil e rápido da solução e, ao mesmo tempo, facilitar a colaboração entre os especialistas em data lake da Data Reply e colegas da empresa de telecomunicação.

DISPONIBILIDADE EM MINUTOS

A solução aumentou significativamente a velocidade com a qual as plataformas puderam ser implantadas. A implantação de um cluster com todos os dados solicitados, agora leva menos de 30 minutos. Com a automação e a escalabilidade da solução, tudo se tornou replicável para cada departamento da organização e não leva mais que alguns meses para que a organização faça uma implantação sem a infraestrutura. Além disso, a variedade de casos de uso que podem ser implementados na plataforma corporativa se expandiu.

Atualmente, o projeto está sendo desenvolvido para poder implementar novas tarefas internas, como a implementação do GDPR. A diretriz exige novas ferramentas que tratem rapidamente de requisitos, como a exclusão de dados do cliente mediante solicitação.

VANTAGENS DA SOLUÇÃO

  • Produto de código aberto flexível
  • Infraestrutura simples
  • Perfeito para transmissão de dados e ações de acionamento
  • Escalonável automaticamente
  • Verificação automatizada de consistência de dados