Data Engineer – BigQuery / SQL / Python / GCP

Dans le cadre de ce rôle, vos principales missions seront les suivantes : 

• Concevoir et développer des pipelines de données robustes et automatisés.
• Collecter et intégrer des données provenant de différentes sources.
• Concevoir et maintenir les traitements ETL/ELT.
• Développer et optimiser les requêtes SQL/BigQuery.
• Structurer les datasets et modèles destinés à la BI et aux analyses.
• Concevoir, développer et maintenir des workflows Power Automate.
• Développer des traitements et automatisations en Python.
• Assurer la qualité, la disponibilité et la traçabilité des données.
• Surveiller les pipelines et résoudre les incidents liés aux traitements Data.
• Optimiser les performances et les coûts BigQuery/GCP.
• Mettre en œuvre les bonnes pratiques de sécurité et de gestion des accès aux données.
• Collaborer étroitement avec les Data Analysts et équipes métier pour fournir des datasets fiables et facilement exploitables dans Power BI.
• Documenter les architectures, flux et traitements développés.

Profil : Bac+5

Rigueur, autonomie, capacité à résoudre des problèmes techniques, intérêt pour l'optimisation et l'automatisation, bonnes capacités de communication et aptitude à travailler avec des profils techniques comme fonctionnels

Expérience : 1 à 3ans

Compétences: 

Indispensables:

• Bonne maîtrise de SQL.
• Expérience pratique avec Google Cloud Platform (GCP).
• Bonne maîtrise de BigQuery.
• Maîtrise de Python appliqué au traitement et à l'automatisation des données.
• Bonne connaissance de Power Automate pour la conception et l'automatisation de workflows.
• Compréhension des architectures Data et des principes ETL/ELT.
• Minimum 3 ans d'expérience en Data Engineering ou sur des missions similaires.

Souhaitables :

• Expérience avec certains services GCP tels que Cloud Storage, Cloud Functions/Cloud Run, Pub/Sub, Dataflow ou Composer.
• Connaissance des problématiques de partitionnement, clustering et optimisation des requêtes BigQuery.
• Expérience avec des API et différentes méthodes d'ingestion de données.
• Connaissance de Git et CI/CD.
• Connaissance de Power BI appréciée afin de comprendre les besoins de la couche de restitution.
• Notions de Data Governance, IAM et sécurité GCP.
• Connaissance de l'écosystème Microsoft Power Platform, notamment Power Apps, Power BI et Dataverse.