Dans un monde où les données prennent de plus en plus de place, les ingénieurs data ont un rôle crucial pour automatiser des processus souvent compliqués. Mais les outils classiques d’orchestration sont parfois trop lourds à utiliser et limitent ce qu’on peut faire. C’est là que Kestra entre en jeu, en simplifiant l’orchestration des flux de données et en rendant tout ça plus efficace, même à grande échelle.
Qu’est-ce que Kestra ?
En tant que data ingénieur, nous concevons, développons et maintenons l'architecture des systèmes de données. Un enjeu très important est l'automatisation de ces tâches. Que ce soit pour transformer des données, déployer des ressources ou sauvegarder des bases de données, l'objectif est simple : gagner du temps et tirer le meilleur des données pour notre entreprise.
Pour y arriver, nous avons à disposition une multitude d'outils. Les équipes data utilisent généralement des frameworks comme Apache Airflow pour automatiser leur processus. Mais ces outils sont souvent complexes et demandent des compétences spécifiques. D’un autre côté, les solutions "no-code" sont trop limitées pour répondre à tous les besoins spécifiques. Nous remarquons que l’écosystème d’outils et de pratiques pour automatiser des tâches est fragmenté. Cela rend ces systèmes difficiles à gérer et à faire évoluer.
C’est dans ce contexte que Kestra est né.
Incubé dans un grand groupe français qui a abandonné l’idée d’utiliser les frameworks d’orchestration – trop complexes, peu robustes et peu sécurisés - Kestra a permis à plus d’une centaine d’ingénieurs d’orchestrer les flux data à grande échelle.
Fort dans son usage accru au sein du groupe, Kestra est vite devenu un projet open source. Il est maintenant utilisé par des milliers d’ingénieurs à travers le monde, aussi bien dans sa version open source que sa version entreprise qui apporte des atouts majeurs en termes de sécurité, gouvernance et mise à l’échelle.
Quels sont les cas d’usages de Kestra ?
Kestra couvre un large éventail de cas d’usages. Les trois principaux étant l’orchestration de pipelines de données, l’orchestration d’infrastructure et l’orchestration d’applications. Regardons ces cas d’usage de plus près :
L’orchestration de pipelines de données :
Kestra offre une multitude d’intégrations pour automatiser et opérer des outils data. En tant que Data Engineer, nous pouvons couvrir une grande partie des processus d’ingestion, d’automatisation et d’exposition de la donnée en entreprise, notamment :
Automatiser les flux de données et accélérer le déploiement de modèles de machine learning.
Connecter et intégrer différentes sources de données, et s’assurer que les données transitent de systèmes en systèmes sans accrocs.
Automatiquement détecter et traiter des changements de sources de données.
Gérer le cycle de vie de la donnée, de l’ingestion jusqu’à la prise de décision.
L’orchestration d’infrastructure :
Avec Kestra, nous pouvons aussi gérer l’ensemble des éléments d’infrastructure - à la base de nos projets data et logiciel - notamment :
Gérer l’infrastructure informatique avec des outils comme Docker, Kubernetes, Ansible et Terraform.
Passer notre infrastructure à l’échelle et répondre aux demandes croissantes sans compromettre la performance ou la résilience des systèmes.
Automatiser le provisionnement, le déploiement et la surveillance des ressources.
Distribuer facilement la charge de travail, passer à l’échelle et réduire la complexité liée à la gestion de serveurs.
Déclencher des flux basés sur des évènements externes.
L’orchestration d’applications :
Kestra s’intègre aussi dans le cycle de vie de développement logiciel et permet de :
Automatiser des batteries de tests, que ce soit pour les tests unitaires ou d’intégration. Cela leur permet d’optimiser le temps de QA et d’identifier les problèmes en amont dans le cycle de développement.
Orchestrer des migrations de base de données et des back-up.
Gérer et automatiser des déploiements d’API et les monitorer.
Automatiser la détection d’incident et répondre avec des process automatisés, offrant une résolution rapide des problèmes et minimisant le temps d’interruption des services.
Faciliter l’automatisation des onboarding, des workflow d’approbations et de synchronisation de données.
Ces tâches, bien que variant d'une entreprise à l'autre, constituent le cœur du métier de data engineer. Avec Kestra, nous avons une plateforme unifiée permettant d’orchestrer l’ensemble de ces tâches.
Rencontrez votre professeur
Bonjour ! Je suis Benoît Pimpaud. Fort de plusieurs années d’expérience en tant que data ingénieur, je suis aujourd’hui Solution Engineer chez Kestra.
Ce nom de poste peut paraître flou à premier abord : il reflète en réalité bien mon travail au quotidien !
J’occupe une position multicasquette me permettant d’accompagner les utilisateurs Kestra dès leur début jusqu’à des projets complexes dans leur entreprise. Ayant déjà travaillé sur différentes stack data dans des entreprises telles que Maisons du Monde, l’Olympique de Marseille ou encore Deezer - je connais bien les problématiques d’orchestration au sein des équipes data et métier.
Chez Kestra, je découvre tous les jours de nouveaux projets d’automatisation, me confortant dans l’idée qu’une plateforme unifiée est nécessaire pour les mener à bien !
Passionné par ces problématiques, j’écris régulièrement des blogs gravitant autour de la data et des meilleures pratiques d’ingénierie et de design. Vous pouvez vous inscrire à ma newsletter.
Découvrez le fonctionnement du cours
Dans ce cours, vous trouverez :
Des vidéos visant à vous aider à appréhender les concepts clés.
Des screencasts vous plongeant directement dans l'utilisation de Kestra.
Des exercices pratiques dans les sections "À vous de jouer", pour passer à l'action et tester vos compétences !
Des quiz pour vérifier que vous maîtrisez bien Kestra.
Envie de tout savoir sur Kestra ? Consultez le document officiel de Kestra.
Prêt à découvrir la plateforme Kestra ? C’est parti !
