← 資料架構
SQL + MPP,CDC 同步
原始資料儲存為交易和分析保留一個原始資料基礎。
所有由資料擷取層收集的資料都以原始資料的形式儲存在此處,同時儲存在兩個資料庫中:一個針對交易一致性最佳化的 SQL 儲存和一個針對分析規模最佳化的 MPP 儲存。這兩個資料庫透過變更資料擷取直接保持同步,因此相同的原始記錄可用於操作讀取和大型分析查詢,而無需手動維護兩個單獨的真實資料副本。
層
原始資料儲存庫
攝取的資料以原始記錄的形式儲存在 SQL(交易)資料庫和 MPP(分析)資料庫中,由 CDC 直接保持同步。
為何重要
價值是可操作的,而不僅僅是技術的。
人工智慧及其上層的所有功能都可以依賴單一的原始基礎資料。事務性查詢存取 SQL 存儲,而大量聚合操作存取 MPP 存儲,但由於 CDC 保持同步,兩者都反映相同的原始記錄。
在進行任何建模或抽象化之前,將攝取的資料保留為原始記錄。
提供來自 SQL 儲存的交易一致性和來自 MPP 儲存的分析規模。
使用 CDC 直接保持兩個儲存庫的一致性,而不是透過夜間複製作業。
為每一層級提供一致的原始資料來源,以便在此基礎上進行建置。
架構合約
此層負責什麼
1
攝取的資料以原始記錄的形式寫入,而不是預聚合資料表。
2
SQL 資料庫保存事務性的、面向行的視圖,以實現操作一致性。
3
MPP 資料庫儲存用於大規模查詢的分析性、列式視圖。
4
變更資料擷取功能會在兩個門市之間同步已提交的變更。
零售訊號覆蓋
它的實用性
用於交易讀取的原始會員、訂單、優惠券和積分記錄相同的記錄在 MPP 儲存中用於分析掃描。原始行為事件與業務記錄一同記錄產品、價格、門市和庫存狀態(已匯入)
代理商人工智慧的影響
這就是該層改進人工智慧決策的方式。
如果沒有一個與 CDC 同步的原始資料基礎,團隊最終會得到各自獨立的副本:一個不一致的交易資料庫和一個獨立的分析倉庫,再加上批次作業導致分析資料與實際營運資料滯後數小時。
可直接存取 SQL 資料庫以查詢成員的目前狀態。
無需載入 SQL 存儲,即可在 MPP 儲存上執行跨越數月事件的大型佇列掃描。
透過 CDC(變更資料控制),一個商店中已提交的變更會反映到另一個商店,而不是透過夜間批次處理。