AlerTable: Data Quality automatizzata in modo efficiente e scalabile

Un framework per semplificare la gestione dei processi di data quality.

L’approccio tradizionale

Nella classica modalità convenzionale di data quality, il processo previsto è solitamente così composto: individuazione di un problema di qualità dei dati tramite la gestione di una segnalazione o ticket, gestione della problematica in reperibilità tramite “workaround”, censimento del problema e della regola che permette di individuarlo, implementazione del controllo di data quality, gestione della soglia e dell’eventuale tolleranza, definizione del workflow da innescare a fronte del ripresentarsi del problema e infine il mantenimento nel tempo del controllo stesso.

Si tratta quindi di svariati passaggi reiterati nel tempo. Data la possibilità che una piattaforma dati possa richiedere l'introduzione di centinaia o migliaia di controlli di qualità dei dati, è evidente che l'impegno richiesto sia considerevole. Inoltre, poiché tutte le operazioni sono manuali, è probabile incontrare difficoltà.

Data Quality: un nuovo approccio

Data Reply ha sviluppato il framework AlerTable in grado di agevolare e automatizzare l’intero processo di gestione della Data Quality, attraverso le seguenti funzionalità.

  • Suggerimento di regole di Data Quality tramite il processamento dei dati presenti nelle fonti dato
  • Le soglie suggerite si adattano in autonomia nel tempo, facilitando così il lavoro di manutenzione
  • Un’applicazione web semplice e immediata per poter creare e gestire le regole di Data Quality a tutti i livelli, dall’IT al business
  • Integrazione con AI per poter introdurre regole di data quality in linguaggio naturale
  • Possibilità di ottenere la documentazione dei controlli configurati con un click

AlerTable: dettagli del framework per Augmented Data Quality

A seguito dell’esperienza pluriennale maturata nei progetti di Data Quality, è emerso che il framework suggerisce regole che coprono solitamente il 90% dei controlli di integrità mediamente necessari in una qualsiasi data platform. Per poter colmare il 10% rimanente è possibile introdurre manualmente le regole necessarie tramite un’interfaccia grafica semplice e immediata.

Modulo 1

Il framework adotta algoritmi di Machine Learning per estrarre informazioni rilevanti e apprendere dai dati elaborati, con lo scopo di identificare in modo proattivo i controlli da implementare, valutare l'impatto che questi avranno e suggerirne l’introduzione alle figure responsabili. Sfrutta modelli di Anomaly Detection (es. Isolation Forest) per individuare correlazioni statistiche tra i dati presenti nelle fonti dato e quindi suggerire controlli contestualizzati.

Modulo 2

La soluzione offre grande flessibilità e scalabilità, sia per quanto riguarda la fonte ed il volume dei dati su cui eseguire i controlli, sia per l'architettura su cui implementarla. Il framework è stato sviluppato con lo scopo di monitorare e segnalare i problemi di qualità dei dati presenti su qualsiasi data platform, data warehouse, data lake, su processi ETL (Extract, Transform, Load) e di business intelligence.

Modulo 3

L'interfaccia di AlerTable permette sia ad utenti tecnici sia ad utenti business di gestire e monitorare qualsiasi controllo di Data Quality con semplicità e immediatezza. Grazie ad una serie di API, la soluzione permette inoltre la gestione di notifiche via mail, l’utilizzo di strumenti di ticketing e l'esportazione degli esiti delle regole di Data Quality per creare dashboard, KPI o grafici personalizzati. Infine, la soluzione è anche in grado di gestire dati sensibili e quindi aderire alle esigenze di data privacy e data protection.

I vantaggi di Business

Il framework AlerTable viene implementato sull'architettura del cliente, prediligendo la metodologia Agile e il criterio DevOps, questo approccio e il design stesso del framework rendono possibile il rilascio in produzione in tempi molto brevi. Alcuni risultati ottenuti sui clienti che già adottano AlerTable.
Unica soluzione “enterprise” per la Data Quality
Più di 1000 regole di Data Quality suddivise in varie ed eterogenee fonti dati
Regole suddivise in diverse tematiche (anagrafica, contabile…), ognuna con un workflow specifico
Migrazione di un elevato numero di regole già censite in maniera flessibile e semplice
  • strip-0

    Data Reply è la società del gruppo Reply che offre servizi di eccellenza per Big Data, Artificial Intelligence e Quantum Computing. Supportiamo professionisti e Chief Officers nel trarre valore dai dati. Costruiamo Data Platform, definiamo e implementiamo modelli di ML e AI in modo efficiente, replicabile e scalabile, attraverso alte competenze in Big Data Engineering, Data Science e Generative AI.