원시 데이터 저장소는 거래 및 분석 모두에 대해 하나의 원시 기반을 유지합니다.
수집 계층에서 수집된 모든 데이터는 원시 데이터 형태로 두 개의 데이터베이스에 동시에 저장됩니다. 하나는 트랜잭션 일관성에 최적화된 SQL 저장소이고, 다른 하나는 분석 규모에 최적화된 MPP 저장소입니다. 두 저장소는 변경 데이터 캡처(CDC)를 통해 직접적으로 동기화되므로, 운영 환경에서의 읽기 작업과 대규모 분석 쿼리 모두에서 동일한 원시 레코드를 사용할 수 있으며, 수동으로 두 개의 별도 복사본을 관리할 필요가 없습니다.
수집된 데이터는 CDC에서 직접 동기화되는 SQL(트랜잭션) 데이터베이스와 MPP(분석) 데이터베이스 모두에 원시 레코드로 저장됩니다.
그 가치는 단지 기술적인 것이 아니라 운영적인 것입니다.
AI 및 그 위의 모든 기능은 단일 원시 데이터에 의존할 수 있습니다. 거래 조회는 SQL 저장소를 사용하고, 대규모 집계는 MPP 저장소를 사용하지만, CDC(데이터 변경 관리)를 통해 동기화되므로 두 저장소 모두 동일한 원시 레코드를 반영합니다.
모델링이나 추상화가 발생하기 전에 수집된 데이터를 원시 레코드로 보존합니다.
SQL 저장소의 트랜잭션 일관성과 MPP 저장소의 분석 규모를 제공합니다.
매일 밤 복사 작업을 수행하는 대신 CDC를 사용하여 두 매장의 데이터를 직접 정렬합니다.
모든 상위 계층에 구축 기반이 될 일관된 원본 소스를 제공합니다.
이 계층의 역할
수집된 데이터는 사전 집계된 테이블이 아닌 원시 레코드로 기록됩니다.
SQL 데이터베이스는 운영 일관성을 위해 트랜잭션, 행 중심 보기를 보유합니다.
MPP 데이터베이스는 대규모 쿼리를 위한 분석적이고 열 지향적인 뷰를 저장합니다.
변경 데이터 캡처는 두 스토어 간에 커밋된 변경 사항을 전파하여 동기화 상태를 유지합니다.
그것이 유용하게 만들어주는 것
이것이 레이어가 AI 결정을 향상시키는 방법입니다.
CDC와 동기화된 단일 원시 기반 시스템이 없으면 팀은 서로 일치하지 않는 복사본을 갖게 됩니다. 즉, 트랜잭션 데이터베이스와 별도의 분석 데이터 웨어하우스가 존재하고, 배치 작업으로 인해 분석 데이터가 실제 운영 데이터보다 몇 시간씩 뒤처지게 됩니다.
멤버의 현재 상태에 대한 운영 조회는 SQL 저장소에 직접 도달할 수 있습니다.
수개월에 걸친 이벤트에 대한 대규모 코호트 스캔은 SQL 저장소에 부하를 주지 않고 MPP 저장소에서 실행할 수 있습니다.
한 스토어에서 확정된 변경 사항은 야간 배치 처리가 아닌 CDC를 통해 다른 스토어에 반영됩니다.