Data cleaning avant migration core banking : retour d'expérience Perfect → Oracle Flexcube
Pourquoi le nettoyage des données conditionne le succès d'une migration core banking, avec le retour d'expérience de la migration de Perfect (SQL Server) vers Oracle Flexcube (Oracle).
Dans une migration de core banking, ce n'est pas le nouveau système qui fait échouer le projet : ce sont les données qu'on y verse. On passe des mois à paramétrer les produits, à tester les interfaces et à former les équipes, puis on découvre à la bascule que des milliers de clients n'ont pas de date de naissance, que des clients sont rattachés à la mauvaise agence ou que des prêts non financés pèsent encore sur la balance.
J'ai vécu cette réalité lors de la migration de notre système Perfect, sur base Microsoft SQL Server, vers Oracle Flexcube sur base Oracle. Cet article partage ce que j'en retiens : pourquoi le nettoyage des données (le data cleaning) doit commencer bien avant la migration, ce que nous avons trouvé dans nos tables, et comment nous l'avons traité.
Pourquoi le data cleaning est le vrai chantier
Un ancien core banking tolère ce qu'un nouveau refuse. Au fil des années, Perfect avait accepté des saisies incomplètes, des contournements manuels et des reprises successives. Flexcube, lui, applique des contrôles stricts dès le chargement : champs obligatoires, unicité du client (CIF), cohérence des codes produits et des comptes comptables.
Trois raisons font du nettoyage un sujet de premier plan :
- Le risque de bascule. Chaque enregistrement rejeté au chargement est un client, un compte ou un prêt qui manque le lundi matin. Plus les rejets sont découverts tard, plus la fenêtre de bascule est menacée.
- Le risque réglementaire. Les données KYC, la classification des créances et le reporting vers le régulateur (en zone UEMOA, la BCEAO) reposent directement sur la qualité des données migrées.
- Le coût du « on corrigera après ». Une donnée fausse migrée devient une donnée fausse dans un système neuf, avec moins de personnes qui en connaissent l'historique. La corriger après coûte toujours plus cher qu'avant.
En clair : migrer des données sales, c'est payer un système moderne pour reproduire les défauts de l'ancien.
Contexte : de Perfect sur MSSQL à Flexcube sur Oracle
Le projet combinait deux changements à la fois : un changement d'application (Perfect vers Oracle Flexcube) et un changement de moteur de base de données (Microsoft SQL Server vers Oracle). Ce double saut multiplie les points de friction. Pour transférer les données de SQL Server vers Oracle, nous n'avons pas utilisé d'outil ETL du marché : nous avons écrit notre propre moulinette en Python, qui extrayait, transformait et chargeait les données dans la base Oracle.
| Dimension | Système source | Système cible |
|---|---|---|
| Application | Perfect | Oracle Flexcube |
| Base de données | Microsoft SQL Server | Oracle Database |
| Modèle client | Souple, doublons possibles | CIF unique, champs obligatoires |
| Jeu de caractères | Collation Windows (Latin1) | Unicode (AL32UTF8) |
| Contrôles au chargement | Faibles | Stricts, rejet à l'import |
Le changement de moteur n'est pas un détail technique. Types de dates, gestion des NULL et des chaînes vides, précision des décimaux, accents : chaque différence entre SQL Server et Oracle est une source potentielle d'écart silencieux.
Ce que nous avons trouvé dans nos données
Le premier profilage des tables Perfect a été une douche froide. Nous avons recensé 35 types d'anomalies, répartis sur quatre domaines : les clients, les comptes, les prêts et les opérations.
Données clients : 26 types d'anomalies
C'est le domaine le plus touché, et de loin. La plupart des anomalies portent sur le dossier KYC.
| Catégorie | Anomalies rencontrées | Conséquence pour la migration |
|---|---|---|
| Champs obligatoires absents | Adresse, date d'adhésion, catégorie du client, apporteur d'affaires, raison sociale, nom de la mère ; date de naissance du client ou de l'entrepreneur (au moins l'une des deux) | Rejet au chargement dans Flexcube |
| Pièce d'identité | Type de pièce absent, pièce absente, date de délivrance absente ou postérieure à la date du jour, date de validité absente ou dépassée | Dossier KYC non conforme |
| Signature et photo | Signature absente, photo absente, pour les particuliers, les entreprises et les associations | Contrôle de signature impossible au guichet |
| Règles d'âge | Mineur sans représentant légal, client de plus de 80 ans, membre du personnel mineur | Données invraisemblables, risque juridique sur les comptes de mineurs |
| Identité et cohérence | Clients en doublon, sexe incohérent avec la civilité (un « Monsieur » de sexe F), sexe non renseigné (le système mettait M par défaut) | Unicité du CIF violée, statistiques faussées |
| Rattachement | Agence incorrecte sur le client ou sur ses comptes | Portefeuilles d'agence et reporting erronés |
Comptes et dépôts à terme : 3 types d'anomalies
- Comptes fermés qui présentent encore un solde.
- Comptes non fermés dont le statut n'est pas O (ouvert) : V (à valider) ou D (demande de clôture), des états intermédiaires à trancher avant la bascule.
- Dépôts à terme (DAT) dont le solde est à zéro.
Prêts : 5 types d'anomalies
- Prêts au statut financé (F) dont l'encours est égal à zéro.
- Prêts dont le statut est différent de F mais qui ont toujours un encours et impactent donc la balance.
- Prêts en inversion : comptes d'amortissement ou d'impayés au solde créditeur.
- Crédits déclassés à reclasser.
- Échéanciers à corriger.
Ces anomalies touchent directement l'encours de crédit, la classification des créances et l'équilibre de la balance d'ouverture.
Opérations : 1 type d'anomalie
- Opérations dont le compte à débiter est identique au compte à créditer.
Suivi des exceptions : un exemple concret
Chaque type d'anomalie était numéroté, classé critique ou non critique, puis suivi jusqu'à sa correction. Au 27 janvier 2025, le point de situation comptait encore 11 exceptions au statut « Non reçu », dont 10 critiques :
| N° | Exception | Critique | Statut |
|---|---|---|---|
| 11 | Client en doublon dans le système | Oui | Non reçu |
| 12 | Nom de la mère obligatoire | Oui | Non reçu |
| 13 | Client mineur sans représentant légal | Oui | Non reçu |
| 14 | Âge du client supérieur à 80 ans | Oui | Non reçu |
| 17 | Apporteur d'affaires non renseigné | Non | Non reçu |
| 23 | Date de délivrance de la pièce non renseignée | Oui | Non reçu |
| 24 | Date de délivrance de la pièce postérieure à la date du jour | Oui | Non reçu |
| 25 | Date de validité de la pièce non renseignée | Oui | Non reçu |
| 26 | Date de validité de la pièce antérieure à la date du jour | Oui | Non reçu |
| 27 | Compte fermé avec solde | Oui | Non reçu |
| 29 | Compte de DAT avec un solde à zéro | Oui | Non reçu |
Seule l'absence d'apporteur d'affaires était jugée non critique. Ce tableau, mis à jour à chaque itération, permettait de voir d'un coup d'œil ce qui restait à corriger avant la bascule.
Aucune de ces anomalies n'empêchait Perfect de fonctionner au quotidien. C'est précisément ce qui les rendait invisibles jusqu'au projet de migration.
Notre démarche de nettoyage
Nous avons organisé le nettoyage en cycle répété, et non en opération ponctuelle. Chaque itération se terminait par un chargement à blanc dans Flexcube et un rapprochement chiffré.
Tant que les rapprochements montraient des écarts, on repartait en correction ; la bascule n'était autorisée qu'une fois les écarts levés.
Concrètement, chaque étape reposait sur quelques pratiques simples :
- Profiler. Requêtes SQL sur les tables Perfect pour compter les valeurs vides, les doublons probables (même nom, même date de naissance, même pièce) et les rattachements d'agence incorrects.
- Définir les règles. Pour chaque anomalie, une règle validée par le métier : valeur par défaut acceptable, correction obligatoire, ou exclusion de la migration.
- Corriger à la source. Listes d'anomalies envoyées aux agences, avec un responsable et une échéance. Les fusions de doublons clients étaient validées par la conformité.
- Transformer. Une moulinette écrite en Python lisait les tables Perfect sur SQL Server, appliquait les règles de transformation et les tables de correspondance (produits, agences, comptes du plan comptable), puis alimentait la base Oracle. Le code versionné rendait chaque exécution reproductible d'une répétition à l'autre.
- Charger à blanc. Chargement complet dans un environnement Flexcube de test, avec analyse systématique des rejets.
- Rapprocher. Contrôle du nombre de clients et de comptes, des soldes par produit, des encours de crédit et de l'équilibre du grand livre, entre Perfect et Flexcube.
- Basculer. Uniquement quand les écarts résiduels étaient expliqués et acceptés par écrit par les métiers et l'audit interne.
Les leçons que je retiens
- Commencer tôt, très tôt. Le nettoyage devrait démarrer dès la décision de migrer, pas après le paramétrage. Corriger des données demande du temps métier, et ce temps est rare.
- Le nettoyage est un sujet métier, pas informatique. L'équipe technique détecte les anomalies ; seuls les métiers (agences, conformité, crédit, comptabilité) peuvent décider de la bonne valeur. Sans propriétaire désigné par domaine de données, rien n'avance.
- Corriger à la source plutôt que dans le script. Toute correction faite uniquement dans le script de transformation laisse Perfect faux pour les répétitions suivantes. Nous avons privilégié les corrections dans Perfect, et réservé les transformations aux règles de conversion pures.
- Mesurer pour piloter. Un tableau de bord simple, avec le nombre d'anomalies par famille et par agence, a transformé un sujet flou en objectif suivi en comité de pilotage.
- Ne pas sous-estimer le changement de moteur. Le passage de SQL Server à Oracle a révélé ses propres pièges : chaînes vides traitées comme NULL par Oracle, dates par défaut, arrondis, encodage. Ils doivent avoir leurs propres cas de test.
- Savoir ce qu'on ne migre pas. Archiver les comptes clos et les historiques anciens hors de Flexcube, avec un accès en consultation, a réduit la volumétrie et le nombre de cas à corriger.
- Répéter la migration. Chaque répétition complète (mock run) réduit les rejets et rassure les auditeurs. La bascule réelle ne doit être que la dernière répétition.
Conclusion
Une migration de core banking est l'occasion unique de remettre à plat le patrimoine de données d'une banque. La rater, c'est transporter dix ans de défauts dans un système neuf. La réussir, c'est démarrer sur Flexcube avec des clients uniques, des KYC complets et une balance qui s'équilibre au centime.
Si je ne devais garder qu'un conseil : traitez le data cleaning comme un projet à part entière, avec un budget, des propriétaires métier et des indicateurs. C'est souvent le chantier le moins visible, et pourtant celui qui conditionne le succès de la bascule.
Et vous, quelle a été la plus grosse surprise dans les données de votre ancien système ? Échangeons sur LinkedIn.