Christian Kouacou
← Tous les articles
· 6 min de lecture

Data cleaning avant migration core banking : retour d'expérience Perfect → Oracle Flexcube

Pourquoi le nettoyage des données conditionne le succès d'une migration core banking, avec le retour d'expérience de la migration de Perfect (SQL Server) vers Oracle Flexcube (Oracle).

Core BankingMigrationData cleaningPerfectOracle FlexcubePython

Dans une migration de core banking, ce n'est pas le nouveau système qui fait échouer le projet : ce sont les données qu'on y verse. On passe des mois à paramétrer les produits, à tester les interfaces et à former les équipes, puis on découvre à la bascule que des milliers de clients n'ont pas de date de naissance, que des clients sont rattachés à la mauvaise agence ou que des prêts non financés pèsent encore sur la balance.

J'ai vécu cette réalité lors de la migration de notre système Perfect, sur base Microsoft SQL Server, vers Oracle Flexcube sur base Oracle. Cet article partage ce que j'en retiens : pourquoi le nettoyage des données (le data cleaning) doit commencer bien avant la migration, ce que nous avons trouvé dans nos tables, et comment nous l'avons traité.

Pourquoi le data cleaning est le vrai chantier

Un ancien core banking tolère ce qu'un nouveau refuse. Au fil des années, Perfect avait accepté des saisies incomplètes, des contournements manuels et des reprises successives. Flexcube, lui, applique des contrôles stricts dès le chargement : champs obligatoires, unicité du client (CIF), cohérence des codes produits et des comptes comptables.

Trois raisons font du nettoyage un sujet de premier plan :

En clair : migrer des données sales, c'est payer un système moderne pour reproduire les défauts de l'ancien.

Contexte : de Perfect sur MSSQL à Flexcube sur Oracle

Le projet combinait deux changements à la fois : un changement d'application (Perfect vers Oracle Flexcube) et un changement de moteur de base de données (Microsoft SQL Server vers Oracle). Ce double saut multiplie les points de friction. Pour transférer les données de SQL Server vers Oracle, nous n'avons pas utilisé d'outil ETL du marché : nous avons écrit notre propre moulinette en Python, qui extrayait, transformait et chargeait les données dans la base Oracle.

Dimension Système source Système cible
Application Perfect Oracle Flexcube
Base de données Microsoft SQL Server Oracle Database
Modèle client Souple, doublons possibles CIF unique, champs obligatoires
Jeu de caractères Collation Windows (Latin1) Unicode (AL32UTF8)
Contrôles au chargement Faibles Stricts, rejet à l'import

Le changement de moteur n'est pas un détail technique. Types de dates, gestion des NULL et des chaînes vides, précision des décimaux, accents : chaque différence entre SQL Server et Oracle est une source potentielle d'écart silencieux.

Ce que nous avons trouvé dans nos données

Le premier profilage des tables Perfect a été une douche froide. Nous avons recensé 35 types d'anomalies, répartis sur quatre domaines : les clients, les comptes, les prêts et les opérations.

Données clients : 26 types d'anomalies

C'est le domaine le plus touché, et de loin. La plupart des anomalies portent sur le dossier KYC.

Catégorie Anomalies rencontrées Conséquence pour la migration
Champs obligatoires absents Adresse, date d'adhésion, catégorie du client, apporteur d'affaires, raison sociale, nom de la mère ; date de naissance du client ou de l'entrepreneur (au moins l'une des deux) Rejet au chargement dans Flexcube
Pièce d'identité Type de pièce absent, pièce absente, date de délivrance absente ou postérieure à la date du jour, date de validité absente ou dépassée Dossier KYC non conforme
Signature et photo Signature absente, photo absente, pour les particuliers, les entreprises et les associations Contrôle de signature impossible au guichet
Règles d'âge Mineur sans représentant légal, client de plus de 80 ans, membre du personnel mineur Données invraisemblables, risque juridique sur les comptes de mineurs
Identité et cohérence Clients en doublon, sexe incohérent avec la civilité (un « Monsieur » de sexe F), sexe non renseigné (le système mettait M par défaut) Unicité du CIF violée, statistiques faussées
Rattachement Agence incorrecte sur le client ou sur ses comptes Portefeuilles d'agence et reporting erronés

Comptes et dépôts à terme : 3 types d'anomalies

Prêts : 5 types d'anomalies

Ces anomalies touchent directement l'encours de crédit, la classification des créances et l'équilibre de la balance d'ouverture.

Opérations : 1 type d'anomalie

Suivi des exceptions : un exemple concret

Chaque type d'anomalie était numéroté, classé critique ou non critique, puis suivi jusqu'à sa correction. Au 27 janvier 2025, le point de situation comptait encore 11 exceptions au statut « Non reçu », dont 10 critiques :

N° Exception Critique Statut
11 Client en doublon dans le système Oui Non reçu
12 Nom de la mère obligatoire Oui Non reçu
13 Client mineur sans représentant légal Oui Non reçu
14 Âge du client supérieur à 80 ans Oui Non reçu
17 Apporteur d'affaires non renseigné Non Non reçu
23 Date de délivrance de la pièce non renseignée Oui Non reçu
24 Date de délivrance de la pièce postérieure à la date du jour Oui Non reçu
25 Date de validité de la pièce non renseignée Oui Non reçu
26 Date de validité de la pièce antérieure à la date du jour Oui Non reçu
27 Compte fermé avec solde Oui Non reçu
29 Compte de DAT avec un solde à zéro Oui Non reçu

Seule l'absence d'apporteur d'affaires était jugée non critique. Ce tableau, mis à jour à chaque itération, permettait de voir d'un coup d'œil ce qui restait à corriger avant la bascule.

Aucune de ces anomalies n'empêchait Perfect de fonctionner au quotidien. C'est précisément ce qui les rendait invisibles jusqu'au projet de migration.

Notre démarche de nettoyage

Nous avons organisé le nettoyage en cycle répété, et non en opération ponctuelle. Chaque itération se terminait par un chargement à blanc dans Flexcube et un rapprochement chiffré.

Profilerles tables MSSQLDéfinir les règlesavec les métiersCorrigerà la source, dans PerfectTransformermoulinette PythonCharger à blancdans FlexcubeRapprochersoldes, encours, GLÉcarts levés ?Basculermigration réelleouinon : nouvelle itération
Le cycle de nettoyage, répété jusqu’à ce que les écarts soient levés.

Tant que les rapprochements montraient des écarts, on repartait en correction ; la bascule n'était autorisée qu'une fois les écarts levés.

Concrètement, chaque étape reposait sur quelques pratiques simples :

  1. Profiler. Requêtes SQL sur les tables Perfect pour compter les valeurs vides, les doublons probables (même nom, même date de naissance, même pièce) et les rattachements d'agence incorrects.
  2. Définir les règles. Pour chaque anomalie, une règle validée par le métier : valeur par défaut acceptable, correction obligatoire, ou exclusion de la migration.
  3. Corriger à la source. Listes d'anomalies envoyées aux agences, avec un responsable et une échéance. Les fusions de doublons clients étaient validées par la conformité.
  4. Transformer. Une moulinette écrite en Python lisait les tables Perfect sur SQL Server, appliquait les règles de transformation et les tables de correspondance (produits, agences, comptes du plan comptable), puis alimentait la base Oracle. Le code versionné rendait chaque exécution reproductible d'une répétition à l'autre.
  5. Charger à blanc. Chargement complet dans un environnement Flexcube de test, avec analyse systématique des rejets.
  6. Rapprocher. Contrôle du nombre de clients et de comptes, des soldes par produit, des encours de crédit et de l'équilibre du grand livre, entre Perfect et Flexcube.
  7. Basculer. Uniquement quand les écarts résiduels étaient expliqués et acceptés par écrit par les métiers et l'audit interne.

Les leçons que je retiens

  1. Commencer tôt, très tôt. Le nettoyage devrait démarrer dès la décision de migrer, pas après le paramétrage. Corriger des données demande du temps métier, et ce temps est rare.
  2. Le nettoyage est un sujet métier, pas informatique. L'équipe technique détecte les anomalies ; seuls les métiers (agences, conformité, crédit, comptabilité) peuvent décider de la bonne valeur. Sans propriétaire désigné par domaine de données, rien n'avance.
  3. Corriger à la source plutôt que dans le script. Toute correction faite uniquement dans le script de transformation laisse Perfect faux pour les répétitions suivantes. Nous avons privilégié les corrections dans Perfect, et réservé les transformations aux règles de conversion pures.
  4. Mesurer pour piloter. Un tableau de bord simple, avec le nombre d'anomalies par famille et par agence, a transformé un sujet flou en objectif suivi en comité de pilotage.
  5. Ne pas sous-estimer le changement de moteur. Le passage de SQL Server à Oracle a révélé ses propres pièges : chaînes vides traitées comme NULL par Oracle, dates par défaut, arrondis, encodage. Ils doivent avoir leurs propres cas de test.
  6. Savoir ce qu'on ne migre pas. Archiver les comptes clos et les historiques anciens hors de Flexcube, avec un accès en consultation, a réduit la volumétrie et le nombre de cas à corriger.
  7. Répéter la migration. Chaque répétition complète (mock run) réduit les rejets et rassure les auditeurs. La bascule réelle ne doit être que la dernière répétition.

Conclusion

Une migration de core banking est l'occasion unique de remettre à plat le patrimoine de données d'une banque. La rater, c'est transporter dix ans de défauts dans un système neuf. La réussir, c'est démarrer sur Flexcube avec des clients uniques, des KYC complets et une balance qui s'équilibre au centime.

Si je ne devais garder qu'un conseil : traitez le data cleaning comme un projet à part entière, avec un budget, des propriétaires métier et des indicateurs. C'est souvent le chantier le moins visible, et pourtant celui qui conditionne le succès de la bascule.

Et vous, quelle a été la plus grosse surprise dans les données de votre ancien système ? Échangeons sur LinkedIn.