Le projet
-
Collaborer avec les équipes métier et techniques afin de comprendre les besoins en données et proposer des solutions adaptées.
-
Concevoir, développer et optimiser des pipelines de données en batch et en streaming.
-
Participer à l’intégration et à la transformation des données au sein d’une plateforme Cloud reposant notamment sur Snowflake et dbt.
-
Développer et maintenir les modèles, transformations et tests de données sur les différentes couches d’architecture Data.
-
Contribuer à la modélisation technique des données et à la structuration de modèles normalisés ou dénormalisés.
-
Rédiger et optimiser des requêtes SQL complexes.
-
Mettre en œuvre et améliorer les contrôles de qualité des données.
-
Participer à l’automatisation des déploiements et aux pratiques CI/CD.
-
Garantir l’application des standards de gouvernance, de sécurité et de conformité des données.
-
Contribuer à la création et à l’enrichissement de produits Data et catalogues de données.
Profil recherché
Expérience :
-
Minimum 5 ans d’expérience en tant que Data Engineer.
-
Expérience significative dans des environnements fortement réglementés ou à forte volumétrie de données.
-
Solide maîtrise des plateformes Data Cloud modernes.
-
Expérience avérée dans la conception et la mise en production de pipelines de données.
-
Expertise sur Snowflake et dbt.
Compétences techniques requises :
Data Engineering & Architecture
-
Conception de pipelines Data et compréhension des architectures de type Medallion.
-
Mise en œuvre de mécanismes d’ingestion batch et streaming.
-
Conception de structures Data Lake évolutives, sécurisées et optimisées en coûts.
-
Définition de stratégies d’orchestration robustes avec monitoring et mécanismes de reprise automatique.
Snowflake
-
Administration et exploitation de la plateforme.
-
Optimisation des performances et de la consommation compute/storage.
-
Conception d’architectures complètes intégrant gouvernance, sécurité et gestion de la concurrence.
-
Développement de requêtes SQL avancées et optimisées.
dbt
-
Développement de modèles, tests et transformations.
-
Utilisation avancée des macros, snapshots et frameworks de tests.
-
Industrialisation des développements dans des environnements CI/CD.
