原始資料儲存為交易和分析保留一個原始資料基礎。
所有由資料擷取層收集的資料都以原始資料的形式儲存在此處,同時儲存在兩個資料庫中:一個針對交易一致性最佳化的 SQL 儲存和一個針對分析規模最佳化的 MPP 儲存。這兩個資料庫透過變更資料擷取直接保持同步,因此相同的原始記錄可用於操作讀取和大型分析查詢,而無需手動維護兩個單獨的真實資料副本。
攝取的資料以原始記錄的形式儲存在 SQL(交易)資料庫和 MPP(分析)資料庫中,由 CDC 直接保持同步。
價值是可操作的,而不僅僅是技術的。
人工智慧及其上層的所有功能都可以依賴單一的原始基礎資料。事務性查詢存取 SQL 存儲,而大量聚合操作存取 MPP 存儲,但由於 CDC 保持同步,兩者都反映相同的原始記錄。
在進行任何建模或抽象化之前,將攝取的資料保留為原始記錄。
提供來自 SQL 儲存的交易一致性和來自 MPP 儲存的分析規模。
使用 CDC 直接保持兩個儲存庫的一致性,而不是透過夜間複製作業。
為每一層級提供一致的原始資料來源,以便在此基礎上進行建置。
此層負責什麼
攝取的資料以原始記錄的形式寫入,而不是預聚合資料表。
SQL 資料庫保存事務性的、面向行的視圖,以實現操作一致性。
MPP 資料庫儲存用於大規模查詢的分析性、列式視圖。
變更資料擷取功能會在兩個門市之間同步已提交的變更。
它的實用性
這就是該層改進人工智慧決策的方式。
如果沒有一個與 CDC 同步的原始資料基礎,團隊最終會得到各自獨立的副本:一個不一致的交易資料庫和一個獨立的分析倉庫,再加上批次作業導致分析資料與實際營運資料滯後數小時。
可直接存取 SQL 資料庫以查詢成員的目前狀態。
無需載入 SQL 存儲,即可在 MPP 儲存上執行跨越數月事件的大型佇列掃描。
透過 CDC(變更資料控制),一個商店中已提交的變更會反映到另一個商店,而不是透過夜間批次處理。