Big Data in Connected Vehicle

Technology Reply ha implementato una soluzione che ha consentito al cliente di raccogliere, immagazzinare ed analizzare i dati del veicolo connesso, con l’obiettivo di individuare pattern comuni e permettere al business e al team di data scientist di effettuare analisi deep dive sui fenomeni legati al veicolo connesso.

Scenario

Al giorno d’oggi i Big Data rappresentano sempre di più una grossa opportunità nel campo dell’automotive. Per uno dei più importanti gruppi nel settore dell’automotive, Technology Reply ha realizzato una soluzione rivolta a raggiungere due obiettivi principali: supportare il cliente nella realizzazione di un insieme di indicatori utili a misurare le abitudini di guida e i comportamenti di ricarica del veicolo elettrico e, con una visione più ampia, arricchire il Corporate Data Lake aziendale con i dati provenienti dai veicoli.


SOLUZIONE

La soluzione sviluppata da Technology Reply consente di effettuare la raccolta dei dati su un unico Data Lake aziendale, permettendo di elaborare in maniera efficace ed efficiente una grossa mole di dati. I Connected Vehicles data possono adesso essere incrociati anche con diverse fonti dati, come la posizione geografica delle officine e gli interventi di assistenza, permettendo quindi di rilevare le attività e le condizioni dei veicoli, abilitando nuovi paradigmi di analisi dati sia in ottica di analisi dati descrittiva che predittiva e fornendo un valore aggiunto al mondo degli analytics.

Questa soluzione consente nuove opportunità di business: le informazioni raccolte forniscono visibilità sull’utilizzo reale di un veicolo in termini di tempi e di attività e, attraverso l’utilizzo di tecniche di Machine Learning, i dati raccolti possono essere utilizzati per condurre analisi avanzate come attività di predictive maintenance, segmentazione della clientela, analisi del driving behaviour e, sfruttando i dati tecnici del veicolo, si possono anticipare le esigenze dei propri clienti proponendo loro servizi tailor-made basati sulle reali necessità.

La realizzazione della soluzione ha previsto la ricezione di molteplici flussi, provenienti da sorgenti eterogenee, sia in modalità real-time che batch. In particolare, oltre ai flussi del sistema che raccoglie i dati provenienti dalla centralina del veicolo all’accensione e allo spegnimento dello stesso (livello del carburante, la pressione dei pneumatici, valore del contachilometri, etc), sono coinvolte molte altre fonti contenenti i dati raccolti durante l'utilizzo reale del veicolo, come ad esempio lo stato della batteria o del veicolo stesso, i dati provenienti dalle remote operations effettuate dall’utente e dagli abbonamenti ai servizi.


Technology Reply si è occupata dello studio, della progettazione e della realizzazione delle componenti di acquisizione e integrazione dei dati del veicolo connesso all’interno del Corporate Data Lake aziendale: una data platform distribuita, cloud-based, che elabora giornalmente circa 1.5 mld di record con più di 5.000 processi di integrazione dati prelevati da molteplici sorgenti.

L’acquisizione dei dati del veicolo connesso, a partire dai sistemi sorgenti eterogenei, è stata realizzata attraverso uno strumento di ETL leader di mercato e inoltre la realizzazione dell’integrazione dati e delle strutture è stata disegnata in modo da poter favorire soluzioni di front end orientate agli interactive report e self service analysis.

Per la progettazione, il disegno e la realizzazione della soluzione sono stati organizzati quattro stream progettuali distinti:

  • Data Ingestion & Architecture, responsabile della definizione dell’architettura di riferimento, setup e coordinamento delle attività di integrazione dati
  • Data Modeling & Use Case definition, responsabile della progettazione degli scenari di business e delle regole di alimentazione degli indicatori di interesse
  • Data Governance, responsabile delle aree di Data Quality, Metadata Management e della definizione di un Business Glossary comune
  • Data Privacy, responsabile della definizione e implementazione delle logiche di Security e Privacy quali ad esempio Data Retention, anonimizzazione dei dati sensibili

VANTAGGI

La soluzione disegnata e realizzata da Technology Reply ha fornito alti standard in linea con quanto adottato per la realizzazione del Corporate Data Lake aziendale:

  • Funzionalità: idoneità, accuratezza, interoperabilità e compliance
  • Affidabilità: l’architettura utilizzata presenta un'alta tolleranza ai guasti (fault tolerance)
  • Efficienza: sono stati ottimizzati i tempi di risposta dei caricamenti adottando anche soluzioni di compressione ad hoc
  • Portabilità: i dati raccolti possono essere condivisi verso altri sistemi esterni ed utilizzabili da differenti soluzioni di front-end


CHALLENGE

La sfida intrapresa da Technology Reply in questo contesto, ha riguardato principalmente due punti chiave:

  • Il coordinamento e la velocità di realizzazione della soluzione: grazie al team di Specialisti e di Data Engineer, è riuscita in tempi ridotti a soddisfare le esigenze del cliente e mettere in campo la soluzione in un elapsed estremamente ridotto
  • L’integrazione giornaliera di un’ingente quantità di dati: quotidianamente sono integrati all’interno del Corporate Data Lake più di 100 GB di dati provenienti dal veicolo connesso. Technology Reply ha saputo far fronte a questa sfida adottando una soluzione innovativa di compressione logica sui dati ingestionati, in modo da rendere possibile l’elaborazione di dati in modalità real-time con frequenze di aggiornamento degli indicatori di business più volte al giorno