Plan de contrôle Apache Airflow

Vigie

Un parc Airflow
sous surveillance
permanente.

Vigie surveille l'ensemble de vos instances Airflow en continu. Il détecte les surcharges avant qu'elles ne provoquent d'incident et bascule automatiquement vos pipelines critiques en cas de défaillance.

On-premise Souveraineté des données Aucune écriture sur vos clusters
production préprod dev finance-etl ingest-core analytics-mart marketing-etl · incident preprod-general preprod-fx bascule → dev-sandbox dev-play déploiement en attente

Ce que Vigie change

Trois bénéfices concrets pour vos équipes,
dès la première semaine.

Voir
Un tableau de bord, tout votre parc.

Fini les silos par instance. Chaque DAG, chaque cluster, chaque incident sont visibles au même endroit — en temps réel, sans changer d'outil.

Empêcher
Zéro déploiement à risque en production.

Chaque mise à jour est évaluée contre la charge réelle avant merge. Les déploiements qui menacent la stabilité du cluster sont bloqués automatiquement.

Basculer
Un clic pour reprendre la main.

En cas d'incident, Vigie bascule vos pipelines vers une instance saine — sans perte d'état, sans intervention manuelle, sans mobiliser l'équipe.

01
Observabilité

Sachez enfin ce que consomme vraiment votre parc.
Et ce que vous pourriez économiser.

Vigie mesure la consommation réelle par DAG — pas les ressources déclarées, la réalité mesurée. Le moteur de recommandations signale automatiquement le sur-dimensionnement (gaspillage cloud) et le sous-dimensionnement (risque d'incident).

analytics-mart fenêtre : 24 h glissantes résolution : 15 min
CPU RAM GPU
ingest_raw_events transform_sessions spark_agg_daily heavy_spark_join export_warehouse limite cluster
1000m 750m 500m 250m 0 04:00 08:00 12:00 16:00 20:00 00:00 limite 1000m 97 % — risque OOM maintenant
heavy_spark_join
97 %
risque d'incident
spark_agg_daily
83 %
à surveiller
transform_sessions
61 %
nominal
export_warehouse
21 %
économie possible
ALERTE heavy_spark_join approche la limite CPU. Augmenter à 2000m pour éviter un crash lors du prochain pic.
ÉCONOMIE export_warehouse ne consomme que 21 % de sa limite. Réduction possible 1000m → 260m.
02
Protection

L'incident du week-end
qui n'aura pas lieu.

Avant chaque mise en production, Vigie simule l'impact du nouveau code sur la charge réelle du cluster. Si le déploiement risque de saturer un serveur, il est suspendu et un rapport est envoyé à l'équipe. Aucun déploiement ne surprend l'infrastructure.

Simulation d'impact · heavy_spark_join cible : analytics-mart ressources demandées : 1800m CPU · 4Gi RAM
DÉPLOIEMENT SUSPENDU
52 % serveur-1 → 70 % après déploiement 61 % serveur-2 → 77 % après déploiement 96 % serveur-3 · saturation projetée actuel 78 % · +18 % seuil de blocage : 85 %
projection de charge par serveur
serveur-1
52 % → 70 %
serveur-2
61 % → 77 %
serveur-3
78 % → 96 %
serveur-3 dépasserait le seuil de sécurité. Deux options : replanifier après 23 h, ou réduire les ressources demandées. Voir le rapport →
03
Résilience

Un incident
n'arrête plus votre équipe.

Quand une instance tombe, Vigie bascule automatiquement les pipelines critiques vers une instance saine — en préservant l'état exact et sans mobiliser l'équipe. En cas de fausse alerte, un seul clic ramène tout à l'origine.

Bascule automatique · marketing-etlfinance-etl déclenchée par incident · 14:32
temporaire · rollback armé
marketing-etl instance en incident finance-etl instance saine score_campaigns · en cours spark_attribution · à basculer 4 pipelines · bascule progressive selon leur charge
progression de la bascule
notify_subscribers charge : faible vague 1 ✓ BASCULÉ
enrich_leads charge : faible vague 1 ✓ BASCULÉ
score_campaigns charge : moyenne vague 2 EN COURS
spark_attribution charge : élevée vague 3 EN ATTENTE
État de l'instance source préservé. Rollback disponible à tout moment — restauration garantie sans perte de contexte. Rollback →
04
Cohérence

Ce qui est validé en préprod
arrive intact en production.

Vigie garantit qu'un code testé en préprod est le même que celui déployé en production — pas une variante recompilée. Fini les incidents "ça marchait chez moi" et les enquêtes de dérive entre environnements.

vigie-spark-operator · pipeline de promotion entre environnements
dev préprod prod v1.5.0-rc2 v1.5.0-rc1 v1.4.2 (actuel) prête à promouvoir dev-sandbox preprod-general 3 instances prod ← historique des versions · 14 jours →
versions déployées
v1.5.0-rc1 preprod-general · validée depuis 2h préprod Promouvoir →
v1.4.2 finance-etl · ingest-core · analytics-mart production Détails
v1.5.0-rc2 dev-sandbox · en test dev Tests
05
Cycle de vie

Les mises à jour d'Airflow,
sans nuit blanche.

Vigie met à jour vos instances Airflow une par une, avec sauvegarde préalable et vérification de santé entre chaque étape. Si quelque chose casse, le retour à la version précédente s'exécute tout seul — sans réveiller personne.

Mise à jour en cours · Airflow 2.8.x → 2.9.3 déploiement séquentiel avec vérification entre chaque instance
50 % · 2 / 4 instances
début +15m +30m +45m +60m maintenant dev-sandbox ✓ 2.9.3 — vérifié preprod-general migration en cours finance-etl sauvegarde prête analytics-mart sauvegarde prête sauvegarde mise à jour vérification
Sauvegardes archivées à 22:14 pour chaque instance. Retour à la version précédente disponible à tout moment, sans intervention manuelle.

Pour qui

Vigie s'adresse aux organisations dont
Airflow porte des processus critiques.

Directions techniques

CTO, VP Engineering, Head of Data qui doivent garantir la fiabilité de la plateforme de données à leur comité, sans multiplier les astreintes.

Équipes plateforme

Platform Engineering et SRE qui opèrent plusieurs instances Airflow et cherchent à réduire les incidents, les coûts cloud et la charge d'exploitation.

Contextes régulés

Organisations soumises à des exigences de souveraineté qui ne peuvent pas déporter leurs données de production vers un SaaS externe.

Accès anticipé

Reprenez le contrôle
de votre parc Airflow.

Vigie est actuellement en accès anticipé. Les premiers utilisateurs bénéficient d'un accompagnement direct pour l'installation et le paramétrage.