Trading d’énergie et de matières premières
Collecter 120 millions d’enregistrements de données de marché par jour
120M+enregistrements collectés par jour
Un système de collecte haute volumétrie pour les carnets d’ordres et les transactions, qui fournit aux traders algo l’historique nécessaire pour concevoir et backtester leurs stratégies.
Contexte
L’équipe de trading algorithmique avait besoin d’un historique complet des carnets d’ordres et des transactions sur les marchés européens de l’énergie pour concevoir et backtester ses stratégies. Les données étaient disponibles via l’API REST Trayport Data Analytics, mais il fallait les collecter à grande échelle, les stocker dans plusieurs systèmes et en garantir la complétude.
L’enjeu
- Tenir plus de 120 millions d’enregistrements par jour via une API REST.
- Écrire les mêmes données dans une base tick analytique, une base time-series et un data lake.
- Détecter et combler les trous sans dupliquer d’enregistrements.
- Exploiter et mettre à jour l’infrastructure sans aucune étape manuelle.
Ce que nous avons fait
- Développement des collecteurs en ASP.NET Core 8, avec Hangfire pour l’ordonnancement, les relances et les rattrapages.
- Ingestion dans Kx Insights Enterprise via un cluster EMQX MQTT, dans TimescaleDB et dans AWS S3 au format Parquet.
- Déploiement du cluster EMQX sur AKS, entièrement automatisé avec Azure DevOps.
- Écriture des pipelines CI/CD pour les installations, les montées de version et les renouvellements de licence de Kx Insights Enterprise.
Résultats
- Plus de 120 millions d’enregistrements de carnets d’ordres et de transactions collectés chaque jour.
- Un jeu de données unique et cohérent pour la recherche de stratégies et le backtesting.
- Une exploitation des brokers et des bases de données pilotée par pipelines.
Technologies
Étude de cas suivante
Capture de ticks à très basse latence avec le pattern Disruptor
Capture de ticks à très basse latence avec le pattern Disruptor