Data Engineer H/F - agap2 IT Bordeaux - 33

  • Bac +5
  • Secteur informatique • ESN
  • Exp. + 7 ans
Votre mission

· Concevoir, développer et maintenir des pipelines de données robustes pour garantir l'accès fiable et performant aux données.

· Intégrer, transformer et charger des données issues de différentes sources (ETL/ELT).

· Construire et optimiser des architectures de données (data warehouses, data lakes) pour répondre aux besoins analytiques.

· Collaborer avec les data scientists et data analysts pour leur fournir les datasets nécessaires à leurs analyses et modèles.

· Mettre en oeuvre des solutions Big Data et gérer des volumes massifs de données.

· Assurer la qualité, la sécurité et la gouvernance des données.

· Automatiser les processus de collecte, transformation et gestion des données.

· Participer à la veille technologique et à l'amélioration continue des pratiques et outils utilisés.

Environnement technique

· Langages de programmation : Python, Java, Scala, SQL.

· Big Data : Hadoop, Spark, Kafka, Hive, Flink.

· Cloud : AWS (Glue, Redshift, S3, EMR), Azure (Data Factory, Synapse, Blob Storage), GCP (BigQuery, DataFlow).

· Bases de données : SQL Server, PostgreSQL, MongoDB, Cassandra, Snowflake.

· ETL/ELT : Talend, Informatica, Apache NiFi, dbt, Airflow.

· Outils DEVOPS : Docker, Kubernetes, Terraform, Jenkins, Git.

· Visualisation et BI : Power BI, Tableau.

Le plus :

· Connaissances approfondies en gestion de bases de données relationnelles et NoSQL.

· Expertise en optimisation des performances des systèmes de données.

· Connaissances des frameworks de traitement distribué (Spark, Flink).

· Certifications cloud (AWS, Azure, GCP) appréciées.

Rassurez-vous, pas besoin de tout connaitre ! Un accompagnement et des formations sont là pour vous permettre de vous amuser avec toutes ces technologies.
Commentaires
Bienvenue dans les commentaires de postelibre! Gardez les conversations courtoises et sur le sujet. favoriser des conversations productives et respectueuses, Vous pouvez voir les commentaires de nos gestionnaires communautaires.
Inscrivez-vous pour publier
Trier par
Connectez-vous pour afficher plus de commentaires

tu es intéressé par