Um modelo harmonizado de GestÃo do Big Data

exigências E OBJETIVOS

O surgimento e desenvolvimento de técnicas inovadoras em Big Data e Machine Learning (Aprendizagem de Máquinas) abriu, para a RCS MediaGroup, novos cenários e oportunidades de business para valorizar e rentabilizar os dados relativos a usuários e conteúdos, coletados diretamente ou através de softwares de terceiros. A fim de dar os primeiros passos nesta direção, a RCS procurou a Data Reply que, graças à sua considerável experiência nestas áreas, projetou e implementou uma plataforma capaz de coletar e agregar várias fontes de dados, para produzir os primeiros resultados promissores em termos de análises avançadas através de modelos de Machine Learning.

Com um total de 15 milhões de usuários mensais, a oferta on-line da RCS MediaGroup gera uma incrível quantidade de informação que pode ser preservada e enriquecida, tanto com fontes externas quanto com relações sinérgicas entre as fontes existentes, para gerar valor para o próprio grupo e para seus usuários. Em particular, as iniciativas nas quais a RCS e a Data Reply colaboram têm como objetivo permitir iniciativas de marketing on-line direcionadas, melhorar significativamente a experiência do usuário e promover a retenção de clientes.

Através da plataforma realizada, a RCS e a Data Reply puderam rapidamente trabalhar para a habilitação dos primeiros projetos de data monetization:

• Audience enrichment: prever os parâmetros demográficos (sexo, idade, etc.) de usuários anônimos para poder oferecer a eles conteúdos dedicados do mesmo modo que se faz com usuários registrados;
• Category intenders: identificar os consumidores interessados em categorias específicas de produtos, para assim apresentar as suas campanhas publicitárias de interesse ou produtos em linha com as suas preferências;
• Propensity to click: identificar os usuários que têm mais probabilidade de clicar no banner de uma determinada campanha web;
• Churn prevention: identificar as características comportamentais, sociodemográficas e de assinatura que levam um usuário ao não renovar a sua assinatura e, com a ajuda destas informações, tentar manter os clientes através de campanhas de marketing direcionadas;
• Content and product recommendation: identificar produtos ou conteúdos sabidamente interessantes para um determinado público-alvo.

a SOLUÇÃO

A partir dos requisitos da RCS e com base na experiência adquirida com vários clientes, a Data Reply projetou e implementou uma solução na nuvem Microsoft IaaS baseada na plataforma Hadoop e, especificamente, na distribuição da Cloudera, uma empresa da qual a Data Reply é Silver Partner. São diferentes e heterogêneas as informações registradas nos sistemas da RCS de acordo com a navegação dos usuários:

• Data Management Platform: metadados sobre páginas e seu conteúdo, eventos de navegação (por exemplo: cliques em um artigo) e visualização (ex: a reprodução de vídeo), o mapeamento dos usuários em seus segmentos de interesse em termos de conteúdo;
• Web analytics solution: informações de navegação em tempo real (app, loja, C+);
• Datawarehouse: visão 360° de usuários como assinantes e compradores;
• Semantic analysis platform: informações taxonômicas e semânticas sobre os conteúdos textuais.

Para integrar essas fontes de dados entre si e colocá-las em sinergia, foi projetada e implementada uma camada de data ingestion (ingestão de dados) no ambiente Cloudera, que mantém a informação sincronizada com a fonte. Assim, o ambiente de Big Data torna-se um playground natural para a exploração e a análise de dados, e, as técnicas de análise avançada, como um único ponto de acesso e integração de informações. A arquitetura e a capacidade de escalonar horizontalmente típicas do Hadoop, que através da adição de novas máquinas commodity permite crescer de acordo com a necessidade de poder informático, também permitem tratar os dados de forma agnóstica no que diz respeito ao seu volume, velocidade e variedade, de modo a permitir que a equipe dedicada à ciência de dados possa explorar e processar dados livremente para a criação de modelos no contexto de iniciativas voltadas aos principais objetivos de negócios. R e Python utilizados através uma plataforma de colaboração inovadora para a ciência de dados permitiu que o time de “cientistas de dados” agilizasse a obtenção dos primeiros resultados promissores, exibidos através do KPI de business em uma dashboard custom dedicada.

ROADMAP

No Q2 de 2016 a RCS estava dando os primeiros passos nesta nova experiência e, com a ajuda da Data Reply, implementou a plataforma de Big Data e obteve os primeiros resultados importantes nas áreas de Audience Enrichment e Category Intenders. Durante o H2 de 2016, os esforços foram concentrados na consolidação da plataforma existente e na industrialização dos casos de uso já implementados. Durante 2017 a RCS vai continuar a buscar novas iniciativas ambiciosas: a plataforma irá migrar para a infraestrutura on-premisse para reduzir os custos operacionais e vai implementar os diferentes cenários que foram inicialmente hipotisados.