Pesquisa

Big Data & Analytics

Iniciando a jornada orientada por dados com a AWS

Uma plataforma de Big Data como valor agregado

CENÁRIO

Uma empresa renomada de esportes, iniciou uma jornada de transformação orientada por dados. Em particular, o departamento de análise de dados estava envolvido e o objetivo principal era ter as principais tecnologias na base do sucesso da marca. Como parte da sua visão digital, o cliente lançou um projeto de plataforma para criar uma nova Plataforma de Big Data, reduzindo custos de manutenção e melhorando a qualidade, flexibilidade e desempenho. O projeto, desenvolvido em conjunto com a Data Reply, consistiu na migração de um Hadoop cluster para uma plataforma mais flexível e orientada para autoatendimento, baseada na Amazon EMR. Aumentou o desempenho e desacoplou as cargas de trabalho em diferentes ambientes de computação, permitindo maior flexibilidade.

A SOLUÇÃO

A Data Reply desenvolveu uma plataforma personalizada usando os serviços gerenciados da AWS e as abordagens sem servidor para reduzir os custos de manutenção e melhorar a disponibilidade e a escalabilidade do serviço.

PLATAFORMA BIG DATA E SEU DESENVOLVIMENTO

Dois ambientes foram desenvolvidos, ambos baseados na Amazon EMR: um ambiente de laboratório, para análise de dados e desenvolvimento de casos de uso de Data Science e de algoritmos, com acesso a interfaces de usuário e ferramentas de desenvolvimento, e um ambiente de fábrica para cargas de trabalho de produção e fluxos de preparação de dados, a serem acessados por meio de APIs customizadas. Os metadados são gerados na fábrica e fornecidos aos laboratórios por meio do Glue Data Catalog.
Um Chatbot foi desenvolvido para permitir que os usuários do laboratório realizassem tarefas operacionais em seu próprio laboratório, como iniciar, parar, ampliar ou reduzir a escala, consultar status etc.
Durante todo o processo de desenvolvimento, a segurança, o monitoramento e os alertas sempre foram levados em consideração para oferecer, juntamente com a flexibilidade, a escalabilidade e o desempenho, um alto grau de confiança em relação à própria plataforma. Melhores práticas foram implementadas para proteger os dados e o poder de computação de não permissão de acesso.
As próximas etapas serão a integração com mais serviços relacionados ao Big Data da AWS (como, Athena, Redshift, Fargate etc.) para oferecer suporte a diversos tipos de casos de uso (painéis, aplicativos controlados por dados, aplicativos de streaming, processamento de imagem etc.) na parte superior da Big Data Platform.


  • strip-0

    Data Reply

    Data Reply é uma empresa do Grupo Reply especializada em Big Data, Data Science e Inteligência Artificial. Possui experiência em 4 áreas de negócios principais: Inteligência de Vendas e Marketing, Engenharia de Big Data e Inteligência de Segurança, Inteligência Corporativa, IoT e Inteligência na Indústria 4.0.