Étude de cas - Propulse la transformation axée sur les données d'ENGIE avec une architecture de Data Lake sans serveur

Soutenir une transition stratégique vers un marketing axé sur les données

ENGIE, l'un des principaux fournisseurs d'énergie européens, s'engage dans la croissance responsable de ses activités d'électricité, de gaz et de services énergétiques tout en pilotant la transition vers une économie bas-carbone. En tant que premier fournisseur d'électricité en Belgique, ENGIE se concentre sur quatre domaines clés : le gaz naturel et renouvelable, l'électricité renouvelable, l'efficacité énergétique et les technologies numériques.

Au sein d'ENGIE, le département Marketing and Sales (M&S) est responsable du développement de toutes les activités commerciales, avec pour mandat de maintenir la position de l'entreprise comme référence belge pour l'électricité et le gaz tout en capitalisant sur les opportunités présentées par la transition énergétique.

Pour renforcer leur avantage concurrentiel et améliorer l'engagement client, la direction M&S d'ENGIE a reconnu la nécessité de se transformer en une organisation axée sur les données. Cette transition stratégique nécessitait une infrastructure de données robuste capable de :

• Ingérer, traiter et analyser des flux de données diversifiés provenant de sources multiples
• S'adapter facilement pour accommoder des volumes de données croissants et des besoins analytiques évolutifs
• Assurer la conformité aux exigences strictes du RGPD et aux normes de sécurité du Groupe ENGIE
• Fournir des insights aux équipes marketing efficacement tout en minimisant les coûts opérationnels

Le département M&S faisait face à des défis particuliers avec des sources de données cloisonnées, une qualité de données inconstante et une capacité limitée à extraire des insights actionnables — tout en devant adhérer à des exigences strictes de gouvernance d'entreprise et des contraintes budgétaires.

Une plateforme de données sans serveur conçue pour les besoins d'entreprise

Necko Technologies a conçu et mis en œuvre une solution complète de data lake pour ENGIE Marketing & Sales qui répondait à leurs exigences spécifiques tout en adhérant aux normes d'entreprise. Notre approche était fondée sur trois principes fondamentaux :

1. Architecture Serverless-First

Nous avons construit l'ensemble de la solution sur des technologies AWS sans serveur, éliminant le besoin de provisionnement de serveurs, de maintenance ou de planification de capacité :

• Conception d'une architecture de données multi-couches qui séparait les données brutes, les données traitées et les résultats analytiques
• Mise en œuvre de pipelines de traitement événementiels qui s'adaptent automatiquement au volume de données
• Création de workflows de transformation de données qui gèrent efficacement les besoins de traitement par lots et en temps réel

2. Sécurité et conformité de niveau entreprise

Nous avons intégré des mesures de sécurité rigoureuses et des contrôles de conformité dans toute la solution :

• Mise en œuvre de contrôles d'accès granulaires à tous les niveaux du data lake
• Conception de politiques automatisées de cycle de vie des données pour la conservation et la suppression conformément au RGPD
• Construction d'une journalisation et d'une surveillance complètes pour suivre tous les accès et transformations de données
• Incorporation de capacités de masquage et d'anonymisation des données pour les informations sensibles

3. Infrastructure as Code avec intégration CI/CD

Pour répondre aux réglementations internes d'ENGIE et assurer l'excellence opérationnelle :

• Développement de l'infrastructure complète à l'aide de modèles CloudFormation
• Mise en œuvre de pipelines CI/CD pour les tests et déploiements automatisés
• Création d'une documentation complète et de matériels de transfert de connaissances
• Établissement de tableaux de bord de surveillance et d'alertes pour la visibilité opérationnelle

Un écosystème de données évolutif et sécurisé

La solution que nous avons conçue pour ENGIE incorpore plusieurs couches pour répondre aux différents aspects de leurs besoins en gestion de données :

Couche d'ingestion de données

• Mise en œuvre de multiples voies d'ingestion incluant les chargements S3, les API et les imports programmés
• Création de mécanismes sécurisés de transfert de données pour les données de partenaires externes
• Développement de processus de validation de données pour assurer la qualité et la cohérence

Couche de stockage et de traitement

• Utilisation d'Amazon S3 comme fondation du data lake, avec un partitionnement optimisé pour le coût et la performance
• Mise en œuvre de fonctions AWS Lambda pour la transformation, la validation et l'enrichissement des données
• Création de workflows orchestrés avec AWS Step Functions pour gérer des séquences complexes de traitement de données
• Déploiement de traitements conteneurisés pour les transformations nécessitant beaucoup de calcul en utilisant AWS Fargate

Couche d'analyse et d'accès

• Déploiement d'Amazon Athena pour l'analyse SQL de grands ensembles de données
• Mise en œuvre de la connectivité avec des outils de tableau de bord pour les utilisateurs métier
• Création d'un accès API sécurisé pour l'intégration avec les outils marketing
• Établissement de contrôles d'accès basés sur les rôles pour différents profils d'utilisateurs

Couche de gouvernance et de surveillance

• Mise en œuvre d'une surveillance et d'alertes complètes avec CloudWatch
• Création de workflows automatisés d'évaluation de la qualité des données
• Établissement d'un catalogage de données et d'une gestion des métadonnées
• Déploiement de processus de vérification de sécurité et de conformité

Permettre l'innovation marketing basée sur les données

La plateforme de data lake sans serveur livrée par Necko Technologies a transformé les capacités d'ENGIE Marketing & Sales :

Capacités analytiques améliorées

L'équipe marketing peut maintenant accéder à des données clients unifiées, des métriques de performance de campagne et des insights de marché via des tableaux de bord intuitifs, permettant des campagnes plus ciblées et efficaces.

Efficacité opérationnelle

Avec des services entièrement gérés prenant en charge les préoccupations d'infrastructure, l'équipe d'ENGIE peut se concentrer sur l'extraction d'insights et l'innovation plutôt que sur la gestion de serveurs ou les préoccupations de capacité système.

Optimisation significative des coûts

L'architecture sans serveur a considérablement réduit les coûts par rapport à l'infrastructure traditionnelle, avec un modèle de paiement à l'usage garantissant qu'ENGIE ne paie que pour les ressources qu'ils consomment réellement.

Accélération du temps de mise en œuvre des insights

Les nouvelles sources de données peuvent être intégrées en jours plutôt qu'en semaines, et les analystes marketing peuvent accéder aux données traitées beaucoup plus rapidement, réduisant le temps entre la question et l'insight.

Conformité d'entreprise par conception

Les fonctionnalités de gouvernance intégrées à la solution assurent une conformité continue au RGPD et l'adhésion aux normes de sécurité du Groupe ENGIE, minimisant le risque réglementaire.

Expansion des capacités basées sur les données

S'appuyant sur l'implémentation réussie du data lake, Necko Technologies continue de collaborer avec ENGIE sur plusieurs initiatives :

Intégration d'analytique avancée

Nous explorons l'intégration d'Amazon SageMaker pour permettre des capacités d'apprentissage automatique pour la segmentation client, la prédiction d'attrition et l'optimisation de campagne.

Activation du marketing en temps réel

Des plans sont en cours pour étendre les capacités de traitement de données en temps réel afin de soutenir des interactions clients dynamiques et personnalisées à travers les canaux numériques.

Partage de données inter-départemental

L'architecture est conçue pour faciliter le partage sécurisé de données avec d'autres unités commerciales d'ENGIE, créant des opportunités pour des insights à l'échelle de l'entreprise tout en maintenant des contrôles d'accès appropriés.

Capacités de libre-service étendues

Nous développons des outils de libre-service supplémentaires pour permettre aux utilisateurs métier de créer leurs propres rapports et analyses sans nécessiter d'assistance technique.

Services AWS utilisés