Raw Data Store จะเก็บข้อมูลดิบไว้หนึ่งรายการสำหรับทั้งธุรกรรมและการวิเคราะห์
ทุกสิ่งที่รวบรวมโดยเลเยอร์การนำเข้าจะมาที่นี่เป็นข้อมูลดิบ และจัดเก็บไว้ในฐานข้อมูลสองแห่งพร้อมกัน ได้แก่ ร้านค้า SQL ที่ปรับให้เหมาะสมสำหรับความสอดคล้องของธุรกรรม และร้านค้า MPP ที่ปรับให้เหมาะสมสำหรับระดับการวิเคราะห์ ทั้งสองข้อมูลจะถูกเก็บไว้โดยตรงผ่านการเก็บข้อมูลการเปลี่ยนแปลง ดังนั้นจึงมีบันทึกดิบเดียวกันสำหรับการอ่านการปฏิบัติงานและการสืบค้นเชิงวิเคราะห์ขนาดใหญ่ โดยไม่ต้องเก็บสำเนาความจริงสองชุดแยกกันด้วยมือ
ข้อมูลที่นำเข้าจะถูกจัดเก็บเป็นระเบียนดิบในทั้งฐานข้อมูล SQL (ธุรกรรม) และฐานข้อมูล MPP (วิเคราะห์) ซึ่งจะถูกซิงค์โดยตรงโดย CDC
คุณค่านั้นใช้งานได้จริง ไม่ใช่แค่ทางเทคนิคเท่านั้น
AI และทุกอย่างที่อยู่เหนือ AI สามารถพึ่งพาพื้นฐานดิบเพียงแหล่งเดียว การค้นหาธุรกรรมจะเข้าถึงฐานข้อมูล SQL ในขณะที่การรวมข้อมูลจำนวนมากจะเข้าถึงฐานข้อมูล MPP แต่ทั้งสองจะสะท้อนถึงบันทึกดิบเดียวกันเนื่องจาก CDC ช่วยให้ข้อมูลซิงโครไนซ์กันอยู่เสมอ
เก็บรักษาข้อมูลที่นำเข้าไว้เป็นบันทึกดิบก่อนที่การสร้างแบบจำลองหรือนามธรรมใดๆ จะเกิดขึ้น
ตอบสนองความสอดคล้องของธุรกรรมจากร้านค้า SQL และมาตราส่วนการวิเคราะห์จากร้านค้า MPP
ใช้ CDC เพื่อให้ร้านค้าทั้งสองแห่งอยู่ในแนวเดียวกันโดยตรง แทนที่จะทำสำเนาทุกคืน
ให้ทุกเลเยอร์ที่สูงกว่ามีแหล่งวัตถุดิบที่สอดคล้องกันหนึ่งแหล่งในการสร้าง
สิ่งที่เลเยอร์นี้รับผิดชอบ
ข้อมูลที่นำเข้าจะถูกเขียนเป็นบันทึกดิบแทนที่จะเป็นตารางที่รวบรวมไว้ล่วงหน้า
ฐานข้อมูล SQL จะเก็บมุมมองเชิงแถวของธุรกรรมเพื่อความสอดคล้องในการปฏิบัติงาน
ฐานข้อมูล MPP เก็บมุมมองเชิงคอลัมน์เชิงวิเคราะห์สำหรับการสืบค้นขนาดใหญ่
การบันทึกข้อมูลการเปลี่ยนแปลงจะเผยแพร่การเปลี่ยนแปลงที่ยืนยันแล้วระหว่างสองร้านค้าเพื่อให้ร้านค้าทั้งสองซิงค์กัน
สิ่งที่ทำให้ใช้งานได้
นี่คือวิธีที่เลเยอร์ปรับปรุงการตัดสินใจของ AI
หากไม่มีข้อมูลดิบที่ซิงค์กับ CDC ทีมงานจะลงเอยด้วยสำเนาที่คลาดเคลื่อน: ฐานข้อมูลธุรกรรมและคลังข้อมูลวิเคราะห์แยกต่างหากที่ไม่สอดคล้องกัน รวมถึงงานแบบแบตช์ที่ทำให้ข้อมูลวิเคราะห์ล้าหลังความจริงในการดำเนินงานหลายชั่วโมง
การค้นหาการดำเนินการสำหรับสถานะปัจจุบันของสมาชิกสามารถไปที่ร้านค้า SQL ได้โดยตรง
การสแกนกลุ่มขนาดใหญ่ในช่วงหลายเดือนของกิจกรรมสามารถทำงานบน MPP store ได้โดยไม่ต้องโหลด SQL store
การเปลี่ยนแปลงที่มุ่งมั่นในร้านค้าแห่งหนึ่งจะสะท้อนให้เห็นในอีกร้านหนึ่งผ่านทาง CDC แทนที่จะเป็นชุดต่อคืน