Quelques références

  • Architecture HANA - Tableau - Datastage

    Architecture HANA - Tableau - Datastage

    Une étude d'architecture demandée par un leader dans le diagnostic médical. Mixe des nouvelles technologies In-Memory et des meilleurs outils IBM en intégration de données et BI En savoir plus
  • Consolidation de bases de données

    Consolidation de bases de données

    Une étude de consolidations de plusieurs bases MSSQL réparties sur plusieurs serveurs en vue d'être rassemblée sur un seul serveur hébergeant lui-même déjà une vingtaine de bases et deux instances. L'occasion aussi de détecter et corriger des anomalies... En savoir plus
  • MSSQL 2014 Performance Analysis

    MSSQL 2014 Performance Analysis

    Comparaison des temps de compilation et des temps d'execution sur MSSQL 2014 avec les nouveaux index en colonnes. Le client utilise Microstrategy 10 et veut connaitre les performances qu'il peut attendre de la base de données par rapport aux cubes applicatifs En savoir plus
  • Analyse des flux ODI inter-applicatifs

    Analyse des flux ODI inter-applicatifs

    Lors d'une refonte et avant un audit de compliance éditeur, le client cherche à savoir s'il est dans le cadre de son contrat et sinon où se situent les interfaces à revoir. Nous aiderons ce client en mettant en place une architecture optimisée par rapport à son contexte projet/licence logiciel (ODI)/infrastructure (VMware) En savoir plus
  • Analyse des performances database

    Analyse des performances database

    Analyser les batch de nuits ou les requêtes à problèmes. Déterminer la pression sur les ressources machines et les attentes vues coté SGBD : nos analyses et tableaux de bords permettent au client de mieux déterminer les problèmes de performances En savoir plus
  • Comparatif des améliorations itératives

    Comparatif des améliorations itératives

    Les optimisations apportées sont itératives et comparées entre elles afin de valider le choix d'implémentation final. Ici le temps de construction du cube passe de 8'42'' à 47''. En savoir plus
  • Parallélisme ETL multi-repository SAP BODS

    Parallélisme ETL multi-repository SAP BODS

    Consolidation des traces ETL SAP BODS situées sur des référentiels différents. Cela permet de connaitre le niveau de parallélisme, pour savoir si il est possible de l'augmenter ou si comme ici lorsqu'il est déjà important de renforcer les composants qui souffrent (ETL/SGBDR/SAN...) En savoir plus
  • Données Géographiques + Tableau

    Données Géographiques + Tableau

    Les données issues de données OpenData ANFR sont exploitées et visualisées dans Tableau. des centaines de milliers de points sont affichés sans difficulté par Tableau.
  • Benchmarks CPU SpecInt et SpecIntRates

    Benchmarks CPU SpecInt et SpecIntRates

    Après avoir déterminé avec certitude le rôle primordial du cpu pendant la phase d'audit, nous avons mené une étude comparative sur du matériel et effectué des cotations chez les constructeurs (Dell / Huawei / HP) pour une nouvelle infrastructure plus puissante.
  • Licence logiciel au CPU ? Combien ?

    Licence logiciel au CPU ? Combien ?

    Avec des traces longues (mois) il est possible de déterminer si les licences payées en productions sont réellement utilisées et si elles ne pourraient pas être employées ailleurs ou tout simplement réduites ou basculées sur d'autres options.
  • Amélioration continue des alimentations

    Amélioration continue des alimentations

    Amélioration continue chez un client après des interventions hebdomadaires pour réduire les temps de chargement sur SSIS
  • Oracle SQL Monitoring Live

    Oracle SQL Monitoring Live

    Certifié Oracle Performance Tuning, nous accompagnons certains clients sur leur montée en compétence sur les sujets de suivi de la performance, sur comment exploiter les outils des éditeurs ou mettre en place nos propres outils de monitoring
  • 1

fiche référence client

Des cas réels de problématiques traitées pendant les audits de performance ou les missions d'architecture et d'expertise

Contexte
Project décisionnel
Technologies
  • SGBD : MS SQL Server 2008 R2 EE
  • ETL : SAP BODS, jobs SQL Server et procédures stockées
  • Sources : SAP ECC, Fichiers plats
  • Reporting : SAP BO On Premise

Contexte

Les alimentations quotidiennes prennent la nuit entière et débordent sur la mâtinée en bloquant le reporting des utilisateurs. Certaines alimentations hebdomadaires en mode complet durent plus de 15 heures. Malgré une première campagne de performance ayant apporté des améliorations beaucoup trop de traitements d'alimentation restent longs

Les utilisateurs se plaignent de ne pas pouvoir avoir accès à leur reporting dans les temps. Ce phénomène est accentué en période de clôture période pendant laquelle les chiffres sont attendus avec impatience. La crédibilité du projet et des équipes IT est remise en cause

Objectif

Auditer les interfaces de chargement pour déterminer les principales causes des lenteurs de chargement et proposer des solutions pour améliorer à la fois le chargement mais aussi les restitutions

Dans ce cas d'audit, les équipes utilisent un mixe de jobs SAP BODS, de jobs sql server et surtout des procédures stockées pour alimenter les données. Quels sont les principaux freins à la performance des alimentations ETL dans leur cas : le hardware, la configuration de l'instance, des bases, de l'OS ? Lorsque l'on descend dans le code, quelles sont les traitements qui sont lourds et comment est-il possible de les améliorer Bref un audit classique comme on aime. Nous avons appliqués notre méthodologie d'audit, à savoir l'étude préalable des couches basses : hardware, OS configuration database aux travers des traces perfmon

Les diagrammes suivants illustrent cette partie de l'étude : consommation cpu, stress mémoire, consommation I/Os disques :

Contexte
Project décisionnel
Technologies
  • SGBD : MS SQL Server 2014 EE
  • ETL : SSIS
  • Reporting : Microstrategy V9.4 On Premise

Objectif

Etudier la possibilité de retirer les cubes Microstrategy aux profits des index en colonnes MSSQL

Dans ce cas d'étude, un cube Microstrategy, composé de dizaines de mesures et de dimensions, est généré par une quarantaine de requêtes SQL sur une base de données SQL Server en version 2014 Enterprise Edition. Les index en colonnes, sont utilisés. Peuvent-ils dans ce cas remplacer le cube Microstrategy ?  Ils ont drastiquement réduit la taille des tables en base. Les types de données des identifiants ont joué un rôle important sur les performances qu'il a fallut optimiser. Au final il fut très intéressant de voir la décomposition des temps des requêtes en terme de compilation (calcul du plan d'éxécution) et d'éxécution (récupération des données).

Les diagrammes suivants illustrent ces trois parties de l'étude : taille des tables avant/après compression, influence des types de données et décomposition compile (orange) vs exec time (bleu) :

Contexte
Project décisionnel
Technologies
  • SGBD : SAP HANA SPS11 Full Use
  • ETL : IBM Infosphere Datastage PX 9.1
  • Reporting : IBM Cognos V10.2 On Premise
  • Dataviz: Tableau 10.2 Server

Objectifs Initiaux

Etudier une architecture possible avec SAP HANA en remplacement du datawarehouse sous MSSQL 2005 tout en conservant le modèle de données, le patrimoine des interfaces ETL Datastage et des rapports Cognos

Evolutions des objectifs

Proposer un nouveau modèle de données capable d'apporter une avancée fonctionnelle sensible tous en réduisant drastiquement les temps de chargement/calculs. Proposer une solution de dataviz intégrée avec HANA afin d'apporter un éclairage nouveau sur les données tout en étant simple d'utilisation

Dans ce cas d'étude, le modèle de données du datawarehouse est très riche et donne satisfaction aux métiers l'utilisant. Le patrimoine d'interfaces ETL représentes des centaines de flux complexes et les coûts d'une réfection complète sont élevés. Le choix du positionnement de la base de données se pose également : cloud SAP, intégration classique chez l'hébergeur traditionnel, On Premise... Les choix technologiques au sein de SAP HANA se posent également : tables classiques ou vues HANA ? Virtualisation ? en production ?

Le diagramme suivant illustre et des scénarios proposés : Hebergement centralisé pour les briques principales, mais licencing spécifiques pour la brique datawarehouse et ainsi la possibilité d'exploiter les données avec des outils tiers non estampillés SAP :

Contexte
Project décisionnel et flux inter-applicatifs
Technologies
  • SGBD : MSSQL Server plusieurs versions
  • ETL : Oracle ODI 10

Objectif

Avant une compliance Oracle sur le logiciel ODI v10, l'objectif était d'étudier la conformité de l'utilisation des flux par rapport aux licences contractées avec l'éditeur. Cette étude était également une partie de l'étude d'architecture globale pour la montée de version vers ODI 11

Dans ce cas d'étude, nous étudions les méta-données ODI et faisons le liens entre les topologies et les éxecutions. Le résultat nous permet de déterminer quels sont les flux hors normes et ainsi définir précisément les actions à mener pour revenir à une conformité contractuelle

Le diagramme suivant illustre les flux entre machines pour les bases de données et les répertoires pour les fichiers

Contexte
Projet décisionnel et flux inter-applicatifs
Technologies
  • SGBD : MSSQL Server 2008R2 Enterprise Edition
  • ETL : SAP BODS 4.2
  • Reporting : SAP BO XI et SAP BO BI 4

Objectif

Déterminer les causes des lenteurs d'alimentation et des problématiques de volumétrie rencontrée par l'infrastructure en place. Déterminer les actions à mettre en place pour sortir d'une situation impactant les équipes IT dans leur gestion.

Dans cet audit, nous appliquons notre méthodologie : écoute des acteurs (chef de projet, ingénieur système et stockage, developpeurs, directeur du SI, DBA des bases Progress...), pose de sondes et des traces, études des configurations hardware et logicielles, analyses des flux, analyses des structures de bases de données...

Pas de repository centralisée pour ce compte mais un repository pour chaque domaine fonctionnel et pourtant la même base de données centrale sur MSSQL 2008R2. Nous avons donc récupérer les logs de traitements ETL et essayer de définir le nombre de traitements tournant en parallèle

Contexte
Rationnalisation des bases de données SQL Server
Technologies
  • SGBD : MSSQL Server 2008R2 Standard et Enterprise Edition
  • ETL : Script et procédures stockées T-SQL
  • Reporting : NA

Objectif

Afin de connaitre la faisabilité d’une consolidation de plusieurs instances sql serveur sur une seule machine qui contient déjà des dizaines de databases, une mission d’audit des serveurs et instances MSSQL est menée.

Dans cette étude, nous appliquons notre méthodologie pour la consolidation des applications et des bases de données à savoir la pose de sondes et des traces, études des configurations hardware et logicielles, analyses des traces et des fonctionnalitées. Après plusieurs dizaines de jours de traces, les données sont consolidées dans une base de données pour être analysées. Voici les résultats de ces analyses :

 

Contexte
Migration des bases de données SQL Server et nouvelle infrastructure
Technologies
  • SGBD : MSSQL Server 2008R2 Enterprise Edition
  • ETL : SAP BODS, SSIS et procédures stockées T-SQL
  • Reporting : SAP BO, Qlikview et SSRS

Objectif

Déterminer les lacunes du système actuel, proposer une nouvelle infrastructure pour la partie base de données, valoriser la solution (hardware + sofware), démontrer les gains de la nouvelle vers et définir le chemin de migration.

Dans cette étude, nous appliquons notre méthodologie pour la consolidation des applications et des bases de données à savoir la pose de sondes et des traces, études des configurations hardware et logicielles, analyses des traces et des fonctionnalitées. Après plusieurs dizaines de jours de traces, les données sont consolidées dans une base de données pour être analysées. Voici les résultats de ces analyses :