Data preparation et pipelines

Data preparation / transformation

Fonctionnel

Le produit doit intégrer des modules type SAS Guide : transformation, joins, filtres, calculs, outputs, preview et pipelines.

Technique

packages/data-pipelines
packages/transformation-engine
services/worker
services/scheduler

Représentation : DAG visuel, nœuds, edges, exécution async.

Pipelines

Fonctionnel

Les pipelines seront visuels. Ils devront supporter exécution manuelle, exécution planifiée et triggers futurs.

Technique

Phase 1 : manuel et planifié.

Phase 2 : triggers événementiels et dépendances pipelines.

Phase 3 : orchestration avancée, SLA et retries intelligents.

Exécution des transformations

Fonctionnel

Les transformations doivent être scalables.

Technique

Stratégie validée : push-down SQL maximum, moteur backend si nécessaire, workers distribués plus tard, Python sandboxé plus tard.