Ingénieur Big Data

Mission principale

Construit les systèmes de traitement de données massives (Spark, Hadoop).

5 responsabilités clés

• Construire les traitements distribués sur données massives (Spark).
• Optimiser les jobs : partitionnement, mémoire, coûts de calcul.
• Gérer les clusters et leur montée en charge.
• Fiabiliser les chaînes batch critiques de l'entreprise.
• Migrer les traitements legacy vers les plateformes modernes.

Compétences clés

Spark, Scala/Python, Hadoop, formats colonnes (Parquet), tuning de performance.

Ce qui est attendu

Des traitements massifs qui tournent vite, juste et au bon coût.

Évolutions possibles

Architecte Data, Ingénieur Data Platform, Ingénieur streaming.