DATA ENGINEER JAVA SPARK
Inetum · Nantes, Pays De La Loire, FR
Description du poste Dans le cadre du développement du DatahubV2, nous recherchons un Data Engineer confirmé maîtrisant les environnements Java, Spark et les...
Job description
Description du poste Dans le cadre du développement du DatahubV2, nous recherchons un Data Engineer confirmé maîtrisant les environnements Java, Spark et les architectures Data modernes. Vous interviendrez au sein de l'équipe Socle Data et serez responsable de la construction, l’optimisation et la fiabilisation des pipelines data, tout en garantissant les bonnes pratiques de développement et de performance. Vos missions principales: 🧰 Technologies & Compétences requises - Concevoir, développer et optimiser des pipelines de données performants (batch, calcul distribué). - Développer des traitements Spark 3 instanciés sur Kubernetes (Spark as a Service). - Manipuler les données du DatahubV2 via Starburst (Trino) en SQL. - Construire et orchestrer des workflows Data sur Astronomer / Apache Airflow en Python. - Réaliser les intégrations applicatives en Java (et potentiellement Scala selon les applications). - Assurer la qualité, la performance et la fiabilité des jobs Data. - Contribuer à la mise en place et à la maintenance des pipelines DevOps (Gitlab, Jenkins, ArgoCD…). - Suivre et analyser les logs applicatifs via ELK (Log as a Service). - Coopérer avec l’équipe Socle Data, utilise...