Kedai Data Mentah menyimpan satu substrat mentah untuk kedua-dua transaksi dan analitik.
Semua yang dikumpul oleh lapisan pengambilan berada di sini sebagai data mentah, disimpan dalam dua pangkalan data sekaligus: stor SQL yang dioptimumkan untuk konsistensi transaksi dan stor MPP yang dioptimumkan untuk skala analitikal. Kedua-duanya diselaraskan secara langsung melalui penangkapan data perubahan, jadi rekod mentah yang sama tersedia untuk bacaan operasi dan untuk pertanyaan analitikal yang besar tanpa mengekalkan dua salinan kebenaran yang berasingan secara manual.
Data yang diserap akan menjadi rekod mentah dalam pangkalan data SQL (transaksi) dan pangkalan data MPP (analitikal), yang disegerakkan secara langsung oleh CDC.
Nilainya adalah operasi, bukan sekadar teknikal.
AI dan semua yang di atasnya boleh bergantung pada satu substrat mentah. Carian transaksi memasuki stor SQL manakala pengagregatan yang banyak memasuki stor MPP, tetapi kedua-duanya mencerminkan rekod mentah yang sama kerana CDC memastikan ia disegerakkan.
Memelihara data yang diserap sebagai rekod mentah sebelum sebarang pemodelan atau abstraksi berlaku.
Memberikan konsistensi transaksi daripada kedai SQL dan skala analitikal daripada kedai MPP.
Menggunakan CDC untuk memastikan kedua-dua kedai sejajar secara langsung, bukannya kerja salinan setiap malam.
Memberikan setiap lapisan yang lebih tinggi satu sumber mentah yang konsisten untuk dibina.
Apa yang bertanggungjawab untuk lapisan ini
Data yang diserap ditulis sebagai rekod mentah dan bukannya jadual pra-agregat.
Pangkalan data SQL menyimpan pandangan berorientasikan baris transaksi untuk konsistensi operasi.
Pangkalan data MPP menyimpan pandangan analitikal berorientasikan lajur untuk pertanyaan berskala besar.
Penangkapan data perubahan menyebarkan perubahan yang dilakukan antara kedua-dua kedai untuk memastikan ia selaras.
Apa yang boleh digunakan
Beginilah cara lapisan meningkatkan keputusan AI.
Tanpa satu substrat mentah yang disegerakkan oleh CDC, pasukan akan berakhir dengan salinan yang hanyut: pangkalan data transaksi dan gudang analitik berasingan yang tidak bersetuju, serta kerja kelompok yang meninggalkan data analitikal berjam-jam di belakang kebenaran operasi.
Pencarian operasi untuk keadaan semasa ahli boleh sampai ke stor SQL secara langsung.
Imbasan kohort besar selama berbulan-bulan peristiwa boleh dijalankan di kedai MPP tanpa memuatkan kedai SQL.
Perubahan yang dilakukan dalam satu kedai dicerminkan dalam kedai yang lain melalui CDC dan bukannya kelompok setiap malam.