Architecture logicielle
L’architecture est une démarche de conception qui vise à modéliser tout ou partie du système afin d’en produire différentes vues, associées aux préoccupations des différents acteurs :
- La vue fonctionnelle décrit les fonctionnalités attendues par les différents acteurs : métiers, exploitants, administrateurs, RSSI, DPO, …
- La vue applicative identifie les composants et flux applicatifs qui réalisent ces fonctions.
- La vue technique fournit une représentation de la façon dont ces éléments sont déployés (infrastructure).
L’architecture fonctionnelle permet de sélectionner des modèles d’architectures applicatives et logicielles (ou patterns) les mieux adaptés aux exigences : analyses de séries temporelles, connaissance clients, imagerie, chatbots,…
Les compétences que nous avons développées nous permettent d’adresser les différents domaines d’architecture d’un projet data industriel : collecte des données, séquences de traitements, stockage, exposition des données, sécurisation, gestion des méta-données. La conception et la mise en œuvre de ces architectures exigent une parfaite maîtrise des solutions technologiques et de leurs contraintes sur les infrastructures. Nous avons donc développé de fortes compétences sur les technologies distribuées, on-premise ou en cloud (IaaS ou PaaS), en proximité avec les fournisseurs de ces solutions.
Code Factory
Les performances des solutions big data dépendent en grande partie de la qualité des traitements qu’elles exécutent. Les algorithmes qui sont mis au point en environnement de Data Lab constituent la base du développement d’un code exécutable, adapté à une architecture de production et répondant à des standards de qualité propres à une exploitation en production :
- Code testé sans anomalies
- Gestion maîtrisée des exceptions
- Robustesse aux données en entrée
- Performance
- Scalabilité
L’industrialisation du code est facilitée par une anticipation dès la phase de mise au point. Pour ce faire, Quantmetry met en œuvre les bonnes pratiques de structure du code (Domain Driven Design) dès l’expérimentation.
Cycle de vie des modèles
Dans un processus d’industrialisation, le modèle « vit » : il évolue avec le temps et suit un cycle de vie complexe. Pour piloter et maintenir les performances d’un modèle au cours du temps, Quantmetry met en oeuvre plusieurs méthodes :
Le monitoring et le ré-entrainement :
Il est souvent nécessaire de réentraîner un modèle pour capturer les nouveaux comportements. A chaque entrainement on mesure les performances du nouveau modèle sur des données de test. En production, le modèle évalue de nouvelles données. Il est alors nécessaire de mesurer, par boucle consécutives, la performance la plus récente du modèle et la confronter aux évolutions sur le projet.
Le versioning et la traçabilité :
La naissance d’un modèle est actée lors de sa première mise en production. Son âge est matérialisé par son numéro de version. La moindre modification d’une des composantes d’un modèle constitue une évolution et implique la sauvegarde une copie complète, à cet instant, du modèle, ainsi que ses méta-données. Le versioning et la traçabilité s’avèrent être à la fois des leviers d’efficacité opérationnelle, de résilience et des outils pour la maîtrise des risques.
La mesure des dérives des données et de la robustesse d’un modèle :
Les données d’entrée d’un modèle peuvent dériver dans le temps pour plusieurs raisons, telle que la variation du processus de collecte. Le modèle lui même peut avoir un impact sur les nouvelles données émises. Quantmetry met en oeuvre plusieurs méthodes pour identifier de telles dérives et assurer la robustesse d’un modèle en production, telles que la simulation des déformations des données, la détection des valeurs aberrantes en entrée, la définition d’intervalles de confiance des prédictions ou encore la mise en place d’un groupe de contrôle.
Data management
& Sécurité
Le Data Management recouvre l’ensemble des pratiques et des outils permettant de supporter une gouvernance efficace des données dans l’entreprise.
Les principaux objectifs sont d’apporter une bonne compréhension des données disponibles et des moyens d’y accéder, d’assurer l’intégrité, la confidentialité et la qualité de ces données, et de répondre aux exigences réglementaires.
De manière plus précise et pragmatique, cela couvre les fonctions suivantes :
- la modélisation des données et la gestion des données de référence
- la documentation des données et meta-données (data dictionary, data lineage)
- les contrôles de qualité
- la gestion et l’auditabilité des accès
Face à l’augmentation croissante des données produites ou consommées par l’entreprise, il est nécessaire de se doter de nouveaux outils et de nouvelles pratiques pour répondre à ces forts enjeux. C’est à ce titre que nous accompagnons nos clients sur ces différents phases, pour les conseiller sur les solutions à mettre en oeuvre en se posant les bonnes questions.
Data Management et Data gouvernance sont intimement liés et nous accompagnons nos clients dans la définition et la mise en place de programme de gouvernance de données, notamment en mettant en place les leviers suivants:
- Définir les rôles, tâches et instance de gouvernance des Data managers, data stewarts, data owners, etc.
- Définir les bons processus tout au long du cycle de vie de la donnée
- Partager les bonnes politiques d’exploitation de la donnée en fonction des contraintes réglementaires et des enjeux métier
- Sélectionner les bons outils qui permettent d’exécuter une bonne gouvernance de la donnée: Data Management, data dictionary, etc.
Partenariats technologiques
Quantmetry a mis en place des partenariats technologiques afin d’apporter la meilleure réponse aux besoins de ses clients. Tout en restant vigilants à conserver notre indépendance, ces partenariats nous permettent :
- d’acquérir une parfaite maîtrise de leurs technologies à travers leurs programmes de formation, de certification et les ateliers de travail qu’ils proposen
- de pouvoir accéder à un support pointu dans le cadre de nos projet
- d’avoir une meilleure visibilité sur les évolutions de leurs offres
Nos partenaires : AWS, Google, Microsoft