SocialHub.AI
← 数据架构
SQL + MPP,CDC 同步

原始数据存储为交易和分析保留一个原始数据基础。

所有由数据采集层收集的数据都以原始数据的形式存储在此处,同时存储在两个数据库中:一个针对事务一致性优化的 SQL 存储和一个针对分析规模优化的 MPP 存储。这两个数据库通过变更数据捕获直接保持同步,因此相同的原始记录可用于操作读取和大型分析查询,而无需手动维护两个单独的真实数据副本。

层
原始数据存储库

摄取的数据以原始记录的形式存储在 SQL(事务)数据库和 MPP(分析)数据库中,由 CDC 直接保持同步。

为何重要

价值是可操作的,而不仅仅是技术的。

人工智能及其上层的所有功能都可以依赖于单一的原始基础数据。事务性查询访问 SQL 存储,而大量聚合操作访问 MPP 存储,但由于 CDC 保持同步,两者都反映相同的原始记录。

在进行任何建模或抽象之前,将摄取的数据保留为原始记录。

提供来自 SQL 存储的事务一致性和来自 MPP 存储的分析规模。

使用 CDC 直接保持两个存储库的一致性,而不是通过夜间复制作业。

为每一层级提供一个一致的原始数据来源,以便在此基础上进行构建。

建筑合同

此层负责什么

1

摄取的数据被写入原始记录而不是预先聚合的表。

2

SQL 数据库保存事务性的、面向行的视图,以实现操作一致性。

3

MPP 数据库存储着用于大规模查询的分析性、列式视图。

4

变更数据捕获功能会在两个门店之间同步已提交的变更。

零售信号覆盖

它的实用性

用于交易读取的原始会员、订单、优惠券和积分记录相同的记录在 MPP 存储中用于分析扫描。原始行为事件与业务记录一同记录产品、价格、门店和库存状态(已导入)
代理机构人工智能的影响

这就是该层改进人工智能决策的方式。

如果没有一个与 CDC 同步的原始数据基础,团队最终会得到各自独立的副本:一个不一致的交易数据库和一个独立的分析仓库,再加上批处理作业导致分析数据与实际运营数据滞后数小时。

对成员当前状态的操作查找可以直接访问 SQL 存储。

无需加载 SQL 存储,即可在 MPP 存储上运行跨越数月事件的大型队列扫描。

通过 CDC(变更数据控制),一个商店中已提交的更改会反映到另一个商店,而不是通过夜间批处理。

继续构建架构

实时功能源于完整的执行链。