Audit de performance sur des flux ETL SAP BODS sur MS SQL Server
Contexte
Project décisionnel
Défi
Évaluer la charge portée par l'ETL et les bases de données sources et cibles des interfaces ETL
Technologies utilisées
SGBD : MSSQL Server 2008R2 puis 2016 Enterprise Edition • ETL : SAP BODS 4.2 • Reporting : SAP BO XI puis SAP BO BI 4
Méthodologie et réalisation
Audit complet de la plateforme ETL et des bases de données associées :
**Méthodologie** 1. Instrumentation des flux SAP BODS 2. Monitoring des ressources serveur (CPU, RAM, I/O disque) 3. Analyse des extractions depuis les sources Progress 4. Étude de l'impact sur la base de données cible SQL Server 5. Revue de la modélisation des données
**Constats** - Infrastructure disque sous-dimensionnée pour la charge ETL - Extractions Progress non optimisées - Tables de staging surdimensionnées avec historisation excessive - Absence de stratégie de purge
**Solutions mises en œuvre** - Upgrade de l'infrastructure de stockage (SSD + optimisation RAID) - Réécriture des requêtes d'extraction Progress - Refonte de la modélisation : passage de tables d'historique complet à des snapshots quotidiens - Optimisation des transformations BODS pour exploitation du nouveau serveur SQL 2016 - Mise en place de stratégies de purge automatique
Résultats
Changement d'infrastructure disques pour supporter la charge très lourde demandée par les traitements ETL sur la base de données MSSQL. Optimisation des extractions depuis les sources Progress. Optimisations des traitements ETL pour utiliser la nouvelle plateforme SQL renforcée. Réduction de certaines tables par 1000 en changeant la modélisation des données. Les traitements se terminent à 5h du matin au lieu de midi et la volumetrie des bases est réduite de 600Go
Visualisations
Dashboard des interfaces ETL volumineuses
Diagramme de Gantt et parallélisme
Volume des tables et des bases de données
Croissance des données
Évolution de la taille des bases de données