Le projet BPA fournit à la DLPA un reporting détaillé sur l’état des stocks, commandes et sous-commandes de pièces. La maintenance évolutive de la pipeline data s’effectue sur une stack Spark/Scala/HDP on-premise, avec ingestion quotidienne des fichiers, architecture medallion (Bronze, Silver, Gold), et exposition des données dans une application Front/Angular via MongoDB. Des tests d’intégration sont réalisés avec testcontainers, et le tuning de MongoDB est assuré pour optimiser les performances. La migration vers le cloud GCP implique le transfert des scripts Hive vers Bigquery, la migration d’Oozie vers Airflow, le déploiement des jobs d’ingestion dans GCP Dataproc, l’export des datasets Bigquery vers l’intranet Renault, et l’adaptation des DAO de l’application Front pour suivre l’évolution des données MongoDB.
- Environnement technique : Hortonworks Data Platform 2.6, GCP, Airflow, MongoDB, Oozie, Spark 2.3, Scala 2.11, Hive, shell, Gitlab, Java 2.8, Maven, Docker