Trading d’énergie et de matières premières
Données d’audit et d’exécutions pour la surveillance du trading
Quotidiendonnées d’audit et d’exécutions, requêtables en SQL
Un pipeline quotidien qui met à la disposition de l’équipe de surveillance du trading des données d’audit et d’exécutions Trading Technologies requêtables.
Contexte
L’équipe de surveillance du trading avait besoin des pistes d’audit et des exécutions de la plateforme Trading Technologies sous une forme qu’elle puisse requêter et archiver.
L’enjeu
- Collecter de façon fiable des fichiers livrés chaque jour par SFTP.
- Transformer les formats du fournisseur en un schéma cohérent.
- Rendre plusieurs années de données requêtables sans exploiter de cluster de base de données.
Ce que nous avons fait
- Construction d’un pipeline planifié de collecte et de transformation.
- Stockage des données sur AWS S3 au format Parquet, partitionnées selon les requêtes de l’équipe de surveillance.
- Exposition via AWS Athena pour un accès en SQL.
Résultats
- Des données quotidiennes d’audit et d’exécutions accessibles à la surveillance en SQL standard.
- Stockage et requêtes serverless, sans cluster de base de données à exploiter.
Technologies
Étude de cas suivante
Pricing temps réel et analytique pour un desk de vente énergie
Pricing temps réel et analytique pour un desk de vente énergie