MAN TRUCK & BUS : MIGRATION VERS AWS

Data Reply a migré le lac de données sur site du fabricant de véhicules B2B vers le nuage AWS afin de garantir une analyse flexible et rentable.

CONTACT

Contact us

Avant de remplir le formulaire d'inscription, veuillez lire le Privacy notice conformément à l'article 13 du règlement UE 2016/679
entrée non valable
entrée non valable
entrée non valable
entrée non valable
entrée non valable
entrée non valable
entrée non valable

Privacy

Je déclare avoir lu et pleinement compris la note d'information sur la protection des données personnelles Privacy Notice et j'exprime par la présente mon consentement au traitement de mes données personnelles par Reply SpA à des fins de marketing, en particulier pour recevoir des communications promotionnelles et commerciales ou des informations concernant des événements ou des webinaires de l'entreprise, en utilisant des moyens de contact automatisés (par exemple, SMS, MMS, fax, e-mail et applications web) ou des méthodes traditionnelles (par exemple, appels téléphoniques et courrier papier).

Innovations pour les gestionnaires de flotte

L'un des principaux objectifs de MAN Truck & Bus est d'offrir des services qui aident les gestionnaires de flotte à entretenir, réparer et gérer les véhicules. Pour cela, le constructeur automobile B2B s'appuie sur les progrès constants de la technologie, ce qui implique la mise en place d'une base solide pour la gestion des données.

En 2016, afin de regrouper les initiatives de reporting et de science des données, MAN Truck & Bus a demandé à Data Reply de développer un lac de données sur site, que les consultants ont construit et qu'ils gèrent depuis. Cependant, des options plus innovantes n'ont pas tardé à voir le jour.

L'EMERGENCE DES FOURNISSEURS CLOUD

MAN Truck & Bus dispose d'un paysage informatique dispersé dans de nombreux départements. Les données sont produites et collectées dans une myriade d'applications, de bases de données et de systèmes . Certaines d'entre elles remontent à 30 ans ou plus et se présentent sous de nombreux formats différents. Data is produced and collected in a myriad of applications, databases and systems. Some of it dates back 30 years or more and comes in many different formats. Le premier lac de données était basé sur Cloudera Hadoop et Apache Kafka.

Mais avec la montée en puissance des grands fournisseurs de cloud, cette approche s'est rapidement révélée beaucoup moins évolutive et flexible que leurs services en pleine croissance. MAN Truck & Bus a donc lancé un projet de migration vers le nuage AWS et, une fois de plus, l'entreprise s'est appuyée sur l'expertise de Data Reply.

MIGRATION DU LAC DE DONNÉES VERS AWS

Data Reply a reçu l'ordre de mettre en place un lac de données dans le nuage d'Amazon Web Services (AWS). L'équipe a commencé par construire une solution centralisée pour le stockage et la gestion des données basée sur le service de stockage simple d'Amazon (S3). Les données stockées dans le système de fichiers distribués Apache Hadoop (HDFS) ont ensuite été migrées vers le nuage et organisées en couches, conformément aux meilleures pratiques en matière de lac de données. Dans un premier temps, les données ont été écrites sur une couche d'atterrissage, principalement au moyen de Kinesis et d'Apache NiFi et le plus souvent dans les formats de fichier des différents systèmes sources. Les pipelines ETL ont ensuite traité les données et les ont stockées dans un plus petit nombre de formats de fichiers sélectionnés. Les pipelines ont masqué les informations sensibles et ont augmenté les données à l'aide d'une solution développée par Data Reply. Le résultat a été stocké dans une couche finale appelée Datahub. Enfin, divers comptes AWS ont eu accès à des paquets de données individuels nécessaires pour des applications spécifiques. La division en plusieurs comptes permet de faire correspondre les coûts à leurs cas d'application respectifs.

LE PLUS FLEXIBLE POSSIBLE

MAN Truck & Bus a explicitement demandé que le projet s'appuie sur des solutions sans serveur, et Data Reply s'y est conformé lorsque les circonstances le permettaient.

AWS S3 est utilisé pour le stockage des données, ainsi que AWS Glue pour les pipelines ETL basés sur Spark qui sont consolidés dans les flux de travail Glue..

Athena sert d'interface SQL. Les analystes BI peuvent également utiliser Quicksight pour exécuter des requêtes SQL et générer des rapports. Les scientifiques des données disposent de leurs propres clusters EMR, ainsi que de tous les autres outils dont ils ont besoin.

L'infrastructure est gérée via AWS CloudFormation et Sceptre.

ADAPTER LES SERVICES EN NUAGE AUX BESOINS DU CLIENT

Les solutions propriétaires de Data Reply calculent les ressources nécessaires. Une solution de masquage supplémentaire garantit la surveillance des informations sensibles.

Data Reply s'appuie sur un service qu'il a développé pour configurer les flux de travail et les tâches de Glue. Ce service démarre automatiquement lorsque les données sont téléchargées dans le lac de données S3. À l'aide de la configuration de base dans AWS Systems Manager, le service calcule le nombre optimal d'unités de traitement des données (DPU) nécessaires pour traiter les données sous-jacentes. Cela permet d'éviter que trop de ressources cloud soient demandées et que les coûts deviennent incontrôlables.

En outre, Data Reply utilise AWS Managed Services pour Redis et Elasticsearch. Ces systèmes sont utilisés pour la solution de masquage de Data Reply et pour la surveillance fonctionnelle des pipelines ETL.


LA CONFIDENTIALITÉ DES DONNÉES DANS LE COMPTE PRINCIPAL

La pièce maîtresse du lac de données est le compte AWS central, où les données sont réparties entre plusieurs buckets S3 en fonction de leur système d'origine. Ce compte est également utilisé par les pipelines ETL AWS Glue, qui préparent des paquets de données pour une myriade d'applications.

L'étape préparatoire la plus importante est le masquage des informations sensibles, par exemple sur la base du GDPR . Les problèmes de confidentialité peuvent être évités en effectuant ces étapes dans le compte principal. En parallèle, un service supplémentaire permet à d'autres comptes de transférer les données en texte clair, pour autant qu'il existe des motifs légitimes et des autorisations appropriées.

DES COMPTES SPÉCIFIQUES POUR LE TRAVAIL QUOTIDIEN

Outre le compte principal, il existe également un certain nombre de comptes créés pour des cas d'application spécifiques. Conformément aux meilleures pratiques en matière d'accès aux comptes croisés AWS, une autorisation de lecture peut être accordée pour les données requises.

Les développeurs d'applications de traitement de données peuvent utiliser leurs technologies préférées sans rendre l'infrastructure du compte principal inutilement complexe. L'équipe chargée des opérations peut ainsi consacrer plus de temps à l'approvisionnement et à la maintenance de ces applications.

DATA REPLY ET MAN TRUCK & BUS CALIBRENT LES SERVICES CLOUD AWS SELON DES NORMES INDIVIDUELLES

  • Scalable by design: Les solutions sans serveur permettent d'utiliser les principaux avantages du cloud AWS.

  • Stockage et traitement centralisés des données : Data Reply garde un œil sur toutes les données collectées et peut en gérer l'accès à une échelle très granulaire. Cela permet aux utilisateurs finaux de l'entreprise de se concentrer sur la création de valeur ajoutée pour l'entreprise, plutôt que sur la collecte laborieuse de données à partir d'une multitude de systèmes dans une variété de formats de fichiers.

  • Flexibilité: Bien que Data Reply propose des modèles et une assistance supplémentaire aux data scientists et aux analystes de MAN Truck & Bus, c'est en fin de compte à chaque utilisateur de décider des technologies qu'il souhaite utiliser pour son cas d'application. Data Reply met les données à disposition dans des formats modernes et répandus tels que Parquet ou Avro.

  • Confidentialité: Les informations sensibles sont protégées automatiquement.


  • strip-0

    MAN TRUCK & BUS

    MAN Truck & Bus est l'un des principaux constructeurs européens de véhicules utilitaires et fournisseurs de solutions de transport, avec un chiffre d'affaires annuel de plus de 9,5 milliards d'euros (2020). Son portefeuille de produits comprend des transporteurs, des camions, des bus, des moteurs diesel et essence et des services liés au transport de passagers et de marchandises. MAN TRUCK & BUS est une société de TRATON SE.

  • DATA REPLY

    Faisant partie du groupe Reply, Data Reply aide ses clients à travailler en s'appuyant sur des données. Data Reply opère dans une variété d'industries et de secteurs d'activité et travaille en étroite collaboration avec les clients pour les aider à utiliser leurs données de manière efficace afin qu'ils puissent obtenir des résultats substantiels. À cette fin, Data Reply se concentre sur le développement de plateformes d'analyse de données, de solutions d'apprentissage automatique et d'applications en continu qui sont automatiques, efficaces et évolutives et qui ne compromettent pas la sécurité informatique.

    strip-1