Le projet Mobilité Assistant vise à optimiser la mobilité interne des agents du groupe La Poste en détectant les meilleurs appariements entre offres et agents, à partir de scores calculés sur les CV et verbatims. Les pipelines data sont conçus avec Spark et Scala, intégrant des séquences de jobs pour la préparation des données, l’inférence IA et le calcul des scores à partir des embeddings. L’ingestion des flux repose sur le framework SES, avec gestion sécurisée des échanges et renouvellement des clés. L’intégration des modèles data science dans Airflow permet l’exposition des résultats aux métiers. Le projet inclut la maintenance des playbooks Ansible pour le déploiement CI/CD sur Cloudera/Openshift, la gestion des secrets et des accès, l’optimisation Spark, la surveillance de la production, la migration de Spark 2.4.7 vers Spark 3, et la mise en place de pipelines Gitlab Runner pour le déploiement des images Docker de modèles data science. Les habilitations utilisateurs sont gérées via IDM/Ranger, et la migration de scénarios Dataiku vers Spark Scala est réalisée.
- Environnement technique : AWX (Ansible), Cloudera Data Engineering 1.5.1, Airflow 2.1.3, Openshift 4.11, Spark on Kubernetes 2.3/3, Scala 2.11, Hive, Gitlab, Tableau