Sources de données, connecteurs et stockage

Sources de données

Fonctionnel

Phase 1 : CSV, Excel, TXT, autres formats classiques et bases de données classiques.

Phase 2 : BigQuery, Snowflake, Databricks, Redshift.

Phase 3 : APIs SaaS métier.

Technique

packages/connectors
packages/connector-sdk
packages/connector-runtime

Chaque connecteur expose auth, metadata, schema discovery, query capabilities, refresh, preview et lineage hooks.

Stockage fichiers

Fonctionnel

Les fichiers importés doivent être stockés de manière scalable.

Technique

Choix : object storage dès le départ.

raw-files
processed-files
exports
previews

PostgreSQL stocke les métadonnées. Object storage stocke les fichiers.

Base metadata

Fonctionnel

Stocker les objets applicatifs.

Technique

Choix recommandé : PostgreSQL.

Plus tard : Redis pour cache/locks/sessions, object storage pour fichiers, warehouse externe pour analytique.