Senior Data Engineer - Cloud Transfo

Job description

Chez MARGO, nos consultants travaillent sur ce qui compte vraiment : des projets complexes qui allient challenge intellectuel et impact business réel. C’est pourquoi nous accompagnons les plus grands acteurs de la finance, de l’industrie et de la tech sur leurs projets les plus stratégiques en Data Science, Machine Learning et Intelligence Artificielle. Vos missions: Nous recherchons un Senior Data Engineer pour participer à la construction d’une plateforme Data développée from scratch, destinée à des équipes travaillant sur des problématiques de recherche et de calcul intensif. L’objectif de cette plateforme est de gérer l’ensemble du cycle de vie des données : ingestion, traitements distribués, backtesting à grande échelle et mise à disposition des données pour des usages de recherche et de production. L’un des enjeux techniques majeurs du projet concerne le calcul distribué et l’intégration de Spark au cœur de l’architecture de la plateforme. Dans ce contexte, vous interviendrez notamment sur: le développement des composants de calcul distribué, la conception et l’optimisation de pipelines de données à forte volumétrie, les problématiques de performance et de scalabilité liées a...