La base de données brutes conserve un seul et même substrat pour les transactions et les analyses.
Toutes les données collectées par la couche d'ingestion sont ici stockées sous forme de données brutes, réparties simultanément dans deux bases de données : une base SQL optimisée pour la cohérence transactionnelle et une base MPP optimisée pour l'analyse à grande échelle. Ces deux bases sont synchronisées en temps réel grâce à la capture des modifications, ce qui permet de disposer des mêmes enregistrements bruts pour les opérations courantes et les requêtes analytiques complexes, sans avoir à gérer manuellement deux copies distinctes des données de référence.
Les données ingérées sont enregistrées sous forme de fichiers bruts dans une base de données SQL (transactionnelle) et une base de données MPP (analytique), synchronisées directement par CDC.
La valeur est opérationnelle, pas seulement technique.
L'IA et tous les éléments qui la composent peuvent s'appuyer sur une seule et même base de données. Les recherches transactionnelles sont effectuées dans la base de données SQL, tandis que les agrégations importantes sont effectuées dans la base de données MPP. Cependant, les deux bases reflètent les mêmes enregistrements bruts grâce à la synchronisation CDC.
Préserve les données ingérées sous forme d’enregistrements bruts avant toute modélisation ou abstraction.
Assure la cohérence transactionnelle du magasin SQL et l’échelle analytique du magasin MPP.
Utilise CDC pour synchroniser directement les deux magasins, au lieu des tâches de copie nocturnes.
Chaque niveau supérieur dispose d'une source brute cohérente sur laquelle s'appuyer.
Fonctionnement de cette couche
Les données ingérées sont écrites sous forme d'enregistrements bruts plutôt que dans des tableaux pré-agrégés.
Une base de données SQL contient la vue transactionnelle orientée lignes pour une cohérence opérationnelle.
Une base de données MPP offre une vue analytique organisée en colonnes pour les requêtes à grande échelle.
La capture des données de modification permet de propager les modifications effectuées entre les deux magasins afin de les synchroniser.
Fonctionnalités
C’est ainsi que la couche améliore les décisions de l’IA.
Sans une base de données brute synchronisée avec le CDC, les équipes se retrouvent avec des copies disparates : une base de données transactionnelle et un entrepôt de données analytiques distincts qui divergent, sans parler des traitements par lots qui retardent les données analytiques de plusieurs heures par rapport à la réalité opérationnelle.
Une recherche opérationnelle de l'état actuel d'un membre peut accéder directement au magasin SQL.
Une analyse de cohorte à grande échelle sur plusieurs mois peut être exécutée sur le magasin MPP sans charger le magasin SQL.
Une modification effectuée dans une boutique est répercutée dans l'autre via CDC plutôt que par traitement par lots nocturne.