原始数据存储为交易和分析保留一个原始数据基础。
所有由数据采集层收集的数据都以原始数据的形式存储在此处,同时存储在两个数据库中:一个针对事务一致性优化的 SQL 存储和一个针对分析规模优化的 MPP 存储。这两个数据库通过变更数据捕获直接保持同步,因此相同的原始记录可用于操作读取和大型分析查询,而无需手动维护两个单独的真实数据副本。
摄取的数据以原始记录的形式存储在 SQL(事务)数据库和 MPP(分析)数据库中,由 CDC 直接保持同步。
价值是可操作的,而不仅仅是技术的。
人工智能及其上层的所有功能都可以依赖于单一的原始基础数据。事务性查询访问 SQL 存储,而大量聚合操作访问 MPP 存储,但由于 CDC 保持同步,两者都反映相同的原始记录。
在进行任何建模或抽象之前,将摄取的数据保留为原始记录。
提供来自 SQL 存储的事务一致性和来自 MPP 存储的分析规模。
使用 CDC 直接保持两个存储库的一致性,而不是通过夜间复制作业。
为每一层级提供一个一致的原始数据来源,以便在此基础上进行构建。
此层负责什么
摄取的数据被写入原始记录而不是预先聚合的表。
SQL 数据库保存事务性的、面向行的视图,以实现操作一致性。
MPP 数据库存储着用于大规模查询的分析性、列式视图。
变更数据捕获功能会在两个门店之间同步已提交的变更。
它的实用性
这就是该层改进人工智能决策的方式。
如果没有一个与 CDC 同步的原始数据基础,团队最终会得到各自独立的副本:一个不一致的交易数据库和一个独立的分析仓库,再加上批处理作业导致分析数据与实际运营数据滞后数小时。
对成员当前状态的操作查找可以直接访问 SQL 存储。
无需加载 SQL 存储,即可在 MPP 存储上运行跨越数月事件的大型队列扫描。
通过 CDC(变更数据控制),一个商店中已提交的更改会反映到另一个商店,而不是通过夜间批处理。