Dans le cadre d'un important programme de modernisation de la plateforme Data d'un acteur majeur basé au Luxembourg, nous recherchons un(e) Senior Data Engineer Azure afin de participer à la mise en œuvre d'une architecture Data moderne destinée à soutenir les usages analytiques, l'intelligence artificielle et les traitements de données à grande échelle.
Vous intégrerez une équipe pluridisciplinaire composée d'architectes, d'experts cloud, de Data Engineers, de Data Scientists et d'experts en gouvernance des données.
Vos missions
-
Concevoir et mettre en œuvre une plateforme Data basée sur Azure Data Lake Storage Gen2.
-
Développer et industrialiser les flux d'ingestion de données avec Azure Data Factory.
-
Participer à la définition de l'architecture Data en collaboration avec les équipes Architecture et Cloud.
-
Concevoir une architecture de données de type Bronze / Silver / Gold (Medallion).
-
Mettre en œuvre les bonnes pratiques de gouvernance, sécurité, traçabilité et qualité des données.
-
Participer à l'intégration de données issues de multiples sources, y compris des flux volumineux et quasi temps réel.
-
Accompagner les équipes Data Science dans les projets IA et Machine Learning.
-
Mettre en place les outils de supervision, d'observabilité et de monitoring de la plateforme.
-
Contribuer à l'optimisation des performances et des coûts de la plateforme Azure.
-
Documenter les solutions et accompagner la montée en compétence des équipes internes.
Environnement technique:
-
Microsoft Azure
-
Azure Data Lake Storage Gen2 (Adls Gen2)
-
Azure Data Factory
-
Architecture Medallion (Bronze / Silver / Gold)
-
Data Governance
-
Power BI
-
Grafana
-
GIT
-
CI/CD
-
Data Engineering
-
Machine Learning / IA (environnement de travail)
Profil recherché
-
Minimum 5 ans d'expérience en Data Engineering.
-
Solide expérience sur Azure Data Lake Storage Gen2.
-
Excellente maîtrise d'Azure Data Factory.
-
Expérience dans la conception et le déploiement d'architectures Data modernes.
-
Bonne compréhension des problématiques de gouvernance, qualité et sécurité des données.
-
Capacité à travailler avec des équipes Architecture, Cloud et Data Science.
-
Une expérience des architectures Lakehouse constitue un réel atout.
Soft skills:
-
Esprit d'analyse
-
Autonomie
-
Force de proposition
-
Bon relationnel
-
Goût du travail en équipe
Informations complémentaires
-
Mission longue durée.
-
Démarrage dès que possible.
-
Intervention principalement sur site au Luxembourg.
-
Français courant indispensable.
