Jobs, scheduler et performance

Jobs async

Fonctionnel

Les tâches longues ne doivent pas bloquer l’application : imports, refresh, pipelines, exports, IA, transformations.

Technique

Phase 1 : workers async + queue.

Phase 2 : workers distribués.

Phase 3 : Temporal/Airflow si nécessaire.

Scheduler

Fonctionnel

Planifier refresh datasets, pipelines, exports, alertes et jobs BI.

Technique

Scheduler applicatif avancé : priorités, retries, monitoring, dépendances, séparation dev/viewer.

Cache / performance

Fonctionnel

Le produit doit rester performant sur gros volumes.

Technique

Cache multi-niveau : Redis pour sessions/locks/présence, cache résultats BI, pré-agrégations, materialized views, snapshots.

Gros volumes

Technique

Stratégie : push-down query, pagination, virtualisation UI, cache, pré-agrégation, workers.