IMPLEMENTAÇÃO TÉCNICA
A solução desenvolvida é totalmente criptografada - para garantir a segurança necessária - e habilitou a autorização e autenticação em nível dos dados. A Data Reply redesenhou toda a infraestrutura Kafka em um cluster Kubernetes para resolver alguns dos problemas que, de outra forma, seriam difíceis de resolver. Uma das vantagens do Kafka é a verificação automatizada da consistência dos dados. Se, por exemplo, uma coluna de um conjunto de dados for excluída acidentalmente, isso não significa a falha de um processo: o Kafka detecta automaticamente inconsistências e interrompe o sistema antes que o conjunto de dados seja destruído.
Além disso, a abordagem DevOps foi escolhida para o projeto, visando garantir o desenvolvimento ágil e rápido da solução e, ao mesmo tempo, facilitar a colaboração entre os especialistas em data lake da Data Reply e colegas da empresa de telecomunicação.