Raw Data Store menyimpan satu substrat mentah untuk transaksi dan analitik.
Semua yang dikumpulkan oleh lapisan penyerapan masuk ke sini sebagai data mentah, disimpan dalam dua basis data sekaligus: penyimpanan SQL yang dioptimalkan untuk konsistensi transaksional dan penyimpanan MPP yang dioptimalkan untuk skala analitik. Keduanya dijaga agar tetap selaras secara langsung melalui pengambilan data perubahan, sehingga catatan mentah yang sama tersedia untuk pembacaan operasional dan untuk kueri analitik besar tanpa perlu memelihara dua salinan kebenaran yang terpisah secara manual.
Data yang dimasukkan masuk sebagai catatan mentah baik dalam basis data SQL (transaksional) maupun basis data MPP (analitis), yang disinkronkan langsung oleh CDC.
Nilainya bersifat operasional, bukan hanya teknis.
AI dan semua yang ada di atasnya dapat mengandalkan satu substrat mentah. Pencarian transaksional mengakses penyimpanan SQL sementara agregasi berat mengakses penyimpanan MPP, tetapi keduanya mencerminkan catatan mentah yang sama karena CDC menjaga agar tetap sinkron.
Mempertahankan data yang dimasukkan sebagai catatan mentah sebelum pemodelan atau abstraksi apa pun terjadi.
Menyediakan konsistensi transaksional dari penyimpanan SQL dan skala analitik dari penyimpanan MPP.
Menggunakan CDC untuk menjaga agar kedua toko tetap selaras secara langsung, bukan pekerjaan penyalinan harian.
Memberikan setiap lapisan yang lebih tinggi satu sumber mentah yang konsisten untuk dibangun.
Apa yang menjadi tanggung jawab lapisan ini
Data yang dimasukkan ditulis sebagai catatan mentah, bukan tabel yang telah diagregasi sebelumnya.
Basis data SQL menyimpan tampilan transaksional berorientasi baris untuk konsistensi operasional.
Basis data MPP menyimpan tampilan analitis berorientasi kolom untuk kueri skala besar.
Pengambilan data perubahan menyebarkan perubahan yang telah dikonfirmasi antara kedua toko untuk menjaga agar keduanya tetap sinkron.
Apa yang membuatnya dapat digunakan
Inilah cara lapisan ini meningkatkan keputusan AI.
Tanpa satu substrat mentah yang disinkronkan CDC, tim akan berakhir dengan salinan yang bergeser: basis data transaksional dan gudang analitik terpisah yang tidak sesuai, ditambah pekerjaan batch yang membuat data analitik tertinggal beberapa jam dari kebenaran operasional.
Pencarian operasional untuk status terkini anggota dapat langsung mengakses penyimpanan SQL.
Pemindaian kohort besar selama berbulan-bulan dapat dijalankan pada penyimpanan MPP tanpa membebani penyimpanan SQL.
Perubahan yang dilakukan di satu toko tercermin di toko lain melalui CDC, bukan melalui batch harian.