Data Engineer AWS (H/F)

• Conception et maintenance de pipelines de données :
  Développer, automatiser et maintenir des pipelines de données robustes et scalables, permettant de collecter, traiter et stocker des volumes massifs de données à travers des solutions AWS (Glue, Lambda, Kinesis, etc.).
• Gestion des entrepôts de données :
  Implémenter et gérer des entrepôts de données (data warehouses) via Amazon Redshift, ou d’autres technologies adaptées, tout en assurant la qualité, la sécurité et l’intégrité des données.
• Transformation et traitement des données :
  Utiliser des frameworks et outils tels que AWS Glue, EMR (Hadoop, Spark) pour nettoyer, transformer et organiser les données en fonction des besoins métiers et analytiques.
• Conception d’architectures Data :
  Collaborer avec les équipes de Data Science, d’analystes et de développeurs pour concevoir des architectures de données évolutives, en intégrant des services AWS comme S3, DynamoDB, Redshift et Lambda.
• Optimisation des performances :
  Optimiser la performance des pipelines et entrepôts de données, notamment en termes de coût, temps de traitement, et scalabilité. Utiliser les meilleures pratiques AWS pour la gestion des ressources et la réduction des coûts (EC2, Auto Scaling, etc.).
• Sécurisation des données :
  Assurer la sécurité et la conformité des flux de données, notamment via des services AWS comme IAM, KMS (Key Management Service), et CloudTrail, pour garantir la confidentialité et la traçabilité des données.
• Monitoring et maintenance des systèmes :
  Mettre en place des systèmes de surveillance et d’alerte pour suivre la performance des pipelines de données et des bases, en utilisant des outils tels que CloudWatch ou Datadog.

Compétences requises :

• AWS :
  Solide expérience des services AWS relatifs à la gestion des données (S3, Redshift, Glue, Lambda, EMR, Kinesis, DynamoDB, RDS, etc.).
• Pipelines de données :
  Expérience avérée dans la conception, l’automatisation, et la maintenance de pipelines ETL/ELT pour le traitement de données àgrande échelle.
• Bases de données :
  Maîtrise des bases de données relationnelles (PostgreSQL, MySQL) et non-relationnelles (DynamoDB), ainsi que des architectures de data warehouse (Redshift).
• Langages de programmation :
  Maîtrise des langages de scripting et de programmation comme Python, Scala ou Java, pour l’automatisation des flux de données et le développement d’outils de traitement.
• Frameworks Big Data :
  Expérience avec des technologies Big Data comme Apache Spark, Hadoop, ou Hive, et leur utilisation dans des environnements cloud AWS.