SocialHub.AI
개발자 센터 - 데이터 아키텍처

데이터를 인텔리전스로 변환하는 아키텍처

원시 데이터에서 에이전트 기반 의사 결정에 이르기까지, 어댑터, 제로 카피 페더레이션 및 컬렉터를 통해 수집된 데이터는 SQL 및 MPP에 원시 형태로 저장되고, 이벤트, 프로필, 메트릭 및 관계로 추상화된 다음, AI 에이전트를 위한 온톨로지를 통해 연결됩니다.

수집스토어추상적인의사결정
AI 애플리케이션에 최적화

AI 에이전트에 네 가지 계층이 중요한 이유

에이전트는 그것이 추론하는 컨텍스트만큼만 우수합니다. 수집, 원시 스토리지, 추상화 및 온톨로지를 분리하면 모델에 모든 수준에서 깨끗하고 관리되며 연결된 인터페이스가 제공되므로 결정이 근거가 있고 설명 가능하며 저렴하게 발전할 수 있습니다.

에이전트는 원시 데이터가 아닌 문맥을 읽습니다.

각 계층은 에이전트에게 이벤트, 프로필, 관리되는 지표 및 연결된 온톨로지와 같은 안정적인 인터페이스를 제공합니다. 에이전트는 추론 시점에 원시 레코드를 구문 분석하고 결합하는 대신, 근거 있는 컨텍스트를 기반으로 추론하므로 일관된 결과를 도출할 수 있습니다.

소스 독립적 수집

데이터 수집은 자체적인 계층이므로, 모델은 시스템 연결 방식에 전혀 의존하지 않습니다. 어댑터를 추가하거나, 데이터 웨어하우스를 제자리에서 통합하거나, 개방형 API을 통해 푸시하는 등 어떤 방식을 사용하더라도 상위 계층의 모든 시스템은 동일한 데이터 형태를 보므로, 새로운 소스가 프롬프트나 로직에 영향을 주지 않습니다.

하나의 일관된 기질

SQL 및 MPP 저장소는 변경 데이터 캡처를 통해 지속적으로 정렬되므로 에이전트의 컨텍스트는 서로 일치하지 않는 여러 복사본이 아닌 단일 원본 데이터에 기반합니다. 운영 읽기 및 대규모 분석 스캔에서 동일한 레코드를 참조합니다.

통제된 비즈니스 진실

메트릭은 시맨틱 레이어에서 하나의 권위 있는 정의를 가지므로 에이전트가 처리하는 수치는 대시보드에 표시되는 수치와 동일합니다. 따라서 의사 결정은 임의적인 집계에 의존하는 대신 설명 가능하고 감사 가능한 상태를 유지합니다.

명확하고 추적 가능한 관계

온톨로지는 의도, 프로필 및 비즈니스 가치를 연결하므로 추천이 생성된 정확한 컨텍스트로 추적할 수 있습니다. 관계는 모델에 이미 존재하며, 상담원이 매 통화마다 다시 도출할 필요가 없습니다.

진화해도 안전함

모델을 교체하고, 데이터 소스를 추가하거나, 스테이블 레이어 계약 뒤에 있는 스토리지를 변경하세요. 에이전트는 동일한 추상화 계층을 계속 소비하므로, 상위 인텔리전스는 하위 코드 수정 없이 진화합니다.

네 개의 레이어

원시 데이터에서 연결된 온톨로지로

각 계층은 상위 계층에 더 깔끔하고 체계적인 인터페이스(데이터 수집, 원시 저장소, 추상화, 그리고 AI가 작동하는 온톨로지)를 제공하므로, 상위 계층의 인텔리전스는 하위 계층의 재작업 없이 발전할 수 있습니다.

2

원시 데이터 레이어

원시 데이터를 수집하여 실시간 CDC 동기화를 통해 SQL 및 MPP 데이터베이스에 저장합니다.

이 레이어 살펴보기 →
4

온톨로지-액션 레이어

사용자 엔티티 모델을 통해 의도, 프로필 및 비즈니스를 연결하고 상담원 중심의 의사 결정을 지원합니다.

이 레이어 살펴보기 →
하나의 신호로 엔드 투 엔드 처리

단일 작업이 의사 결정으로 이어지는 과정

레이어는 움직이는 모습을 더 쉽게 볼 수 있습니다. 다음은 원시 클릭부터 상담원의 차선책 조치까지 네 가지 모두를 통해 이동하는 하나의 소매 신호입니다.

1소비

쇼핑객의 행동이 도착합니다

회원이 동일한 재킷을 세 번 보고 장바구니에 담았다가 구매하지 않고 떠나는 경우, 이러한 검색 및 장바구니 담기 이벤트는 연결된 상거래 및 CRM 시스템의 주문 내역과 함께 추적 수집기를 통해 수집됩니다.

2원시 데이터 저장소

모든 것이 있는 그대로의 진실로 다가옵니다

이벤트 및 기록은 원시 데이터로 SQL 및 MPP 저장소에 동시에 기록되며, 변경 데이터 캡처를 통해 데이터가 일관되게 유지됩니다. 따라서 운영 조회와 대규모 분석 모두에 동일한 데이터가 활용됩니다.

3추상화

원시 데이터가 의미를 갖게 됨

이벤트 모델은 "반복 조회 + 장바구니, 구매 없음"을 높은 의도 신호로 인식합니다. 태그는 해당 회원을 이탈하는 고가치 회원으로 표시합니다. 메트릭 레이어는 이미 그녀의 평생 가치와 사용률을 알고 있습니다. 각각 하나의 정의된 기준에 따라 관리됩니다.

4온톨로지-액션

에이전트가 결정합니다

온톨로지는 고객의 의도, 프로필, 가치를 하나의 통합된 그림으로 연결합니다. 에이전트는 이러한 맥락을 읽고 제한된 인센티브를 통해 개인화된 재구매 전략을 결정하며, 해당 결정은 그 배경에 있는 정확한 신호까지 추적할 수 있습니다.

고성능 및 확장성
데이터 보안 및 규정 준수
개방형 및 확장 가능한 아키텍처
실시간 및 지능형
기술 리더를 위한

건축을 결정하는 질문들

귀사의 시맨틱 레이어와 온톨로지를 표준화하면 벤더 종속을 어떻게 방지할 수 있을까요?

레이어는 블랙박스가 아닌 계약입니다. 원시 데이터는 표준 SQL 및 MPP 저장소에 보관되거나 복사할 필요가 없는 제로 복사를 통해 자체 웨어하우스에 보관되며 측정항목, 태그 및 ID 정의는 선언적이며 버전이 지정되며 귀하가 관리하는 형식으로 내보낼 수 있습니다. 데이터와 정의를 유지합니다. 추상화는 독점 형식 안에 갇히지 않고 개방형 저장소에 있습니다.

당사 데이터는 물리적으로 어디에 저장되며, 제로 카피 페더레이션을 통해 실제로 경계를 넘나드는 것은 무엇입니까?

연합 소스의 경우 쿼리는 사용자의 데이터 웨어하우스(Snowflake, Databricks, Salesforce Data Cloud 또는 Delta Sharing)로 푸시되어 사용자가 지정한 자격 증명으로 제자리에서 읽힙니다. 원시 테이블은 당사 저장소에 복제되지 않으므로 사용자의 데이터 웨어하우스가 기록 시스템으로 유지되고 해당 웨어하우스의 상주 및 액세스 제어가 계속 적용됩니다. 사용자의 경계를 벗어나는 것은 범위가 지정된 쿼리 결과일 뿐 기본 테이블은 아닙니다. 수집된 소스는 테넌트별로 격리된 저장소에 저장되며, 동의 및 개인정보 보호 상태는 버전 관리되므로 규제 대상 데이터는 임시방편이 아닌 정책에 따라 처리됩니다.

누가 지표의 의미를 결정하며, 수천 명의 사용자를 대상으로 어떻게 관리되는가?

메트릭 정의는 대시보드와 노트북에 흩어져 있지 않고, 하나의 관리되는 시맨틱 계층에 존재합니다. 각 정의에는 담당자가 있으며, 인증된 메트릭은 담당자의 승인을 받아야 합니다. 변경 사항은 검토 및 버전 관리가 이루어지며 감사 추적 기록이 남고, 자체 캐시가 무효화되어 오래된 데이터가 남아있지 않도록 합니다. 이것이 바로 조직 규모에서 "동일한 KPI에 대해 세 가지 다른 결과가 나오는" 문제를 방지하는 핵심입니다.

우리 데이터는 다른 테넌트와 어떻게 격리되며, 단일 버그의 폭발 반경은 얼마나 됩니까?

테넌트 범위는 데이터 경로에서 적용되며, 애플리케이션 코드가 필터를 기억하도록 두지 않습니다. 메트릭 및 프로필 액세스는 테넌트 범위 계약 뷰에 대해 읽기 전용으로 실행됩니다. 이는 쿼리가 행을 보기 전에 테넌트별로 필터링하는 보안 장벽 계층이므로 사용자 지정 쿼리조차도 다른 테넌트의 데이터나 원시 테이블에 접근할 수 없습니다. 격리는 각 개발자의 전문 분야가 아닌 쿼리 경로의 속성이므로 하나의 애플리케이션 버그가 다른 테넌트에까지 확산되지 않습니다.

에이전트가 행동을 취할 때, 어떻게 그 행동을 감사하고 제한할 수 있을까요?

모든 상담원 작업은 관리되는 추상화 및 온톨로지에 기반하므로 의사 결정은 불투명한 프롬프트가 아닌 정확한 의도, 프로필 및 사용된 측정 컨텍스트로 추적됩니다. 상담원이 수행할 수 있는 작업은 서버 측 가드레일 및 속도 제한에 의해 제한되며, 완료되지 않을 경우 오류가 발생합니다. 인센티브 또는 지출과 같은 민감한 작업은 사람의 승인이 필요할 수 있으며, 모든 작업은 감사를 위해 기록됩니다. 에이전트는 사용자가 관리하는 진실을 기반으로 추론하고 검토 가능한 상태를 유지하며, 누구도 재구성할 수 없는 맥락에 따라 행동하지 않습니다.

5년 동안 계층형 아키텍처가 창고 솔루션과 포인트 솔루션을 결합한 방식보다 유지 비용이 저렴한 이유는 무엇일까요?

데이터 웨어하우스와 포인트 툴 스택의 지속적인 비용은 통합 및 조정에 있습니다. 새로운 소스가 추가될 때마다 맞춤형 파이프라인이 필요하고, 각 툴은 메트릭과 ID를 재정의하며, 팀은 이러한 요소들 간의 불일치를 관리해야 합니다. 데이터 수집, 저장, 추상화 및 온톨로지를 분리하면 소스는 한 번만 연결되고, 메트릭은 한 번만 정의되며, ID는 한 번만 해결됩니다. 그 이후의 모든 작업은 이를 재사용합니다. 취약한 통합과 상충되는 정의가 점점 복잡해지는 대신, 하나의 기반과 하나의 관리되는 정의 세트를 사용할 수 있게 됩니다.

개발자 시사점

단순한 데이터가 아닌 연결된 컨텍스트를 기반으로 구축하세요.

어댑터, 제로 카피 페더레이션, 추적 수집기 및 개방형 API/SDK을 통해 데이터를 수집하고, 원시 데이터를 CDC 동기화 SQL 및 MPP 저장소에 저장한 다음, 이를 이벤트 모델, 타임라인, 프로필 및 메트릭으로 추상화합니다. 마지막으로 사용자 엔티티 모델을 통해 연결하여 에이전트가 연결된 컨텍스트에서 결정을 내릴 수 있도록 합니다.

관련 항목: 플랫폼 루프 및 웹 추적SDK.