Denodo 기본 개념 정리

💡 Denodo란?

• 여러 데이터 저장소에 흩어져 있는 데이터를 실제로 한곳에 복사하지 않고, 하나의 데이터베이스에 모여 있는 것처럼 조회하고 사용할 수 있게 해주는 데이터 가상화 플랫폼

1️⃣ Denodo가 왜 필요한가?

• 회사의 데이터는 보통 한곳에만 있지 않고 여기저기 흩어져 있는 경우가 많다.
• 아래와 같은 상황을 예로 들어보자.

고객 정보: Oracle
주문 정보: PostgreSQL
분석 결과: Databricks
상품 목록: Excel
외부 정보: REST API

• 일반적으로 이 데이터를 함께 사용하려면 ETL로 가져와서 하나의 DB나 데이터 웨어하우스에 적재해야 하지만, Denodo는 원본 데이터를 그대로 둔 채 각 데이터 소스에 연결하고, 필요한 순간에 데이터를 가져와 결합해서 보여준다.

 

• 이렇게 Denodo는 데이터를 직접 보관하는 새로운 데이터베이스라기보다, 여러 데이터 소스 위에 가상의 통합 데이터 환경을 만들어주는 연결·조회 계층이라고 보면 된다.

2️⃣ 핵심 개념

 ① Data Source

• Denodo에 원본 데이터의 위치와 접속 방법을 등록한 것이다.
• PostgreSQL, Oracle, Excel, REST API 등 다양한 원본을 연결할 수 있다.
• ex. “주문 정보는 이 PostgreSQL에 있으니 해당 접속 정보를 이용해 연결해.”

 ② Base View

• Data Source에 연결한 다음, 원본 테이블이나 파일의 데이터를 Denodo에서 조회할 수 있도록 만든 기본 View
• ex. Oracle의 customers 테이블을 연결하면 Denodo에 아래와 같은 Base View를 만들 수 있다.

b_customers
 ├─ customer_id
 ├─ customer_name
 └─ grade

• 실제 데이터가 Denodo에 복사된 것은 아니며, 원본 데이터를 바라보는 가상의 창이 만들어진 것이다.

 ③ Derived View

• Base View 또는 다른 Derived View를 필터링하거나 조인·집계하여 만든 가공 View
• ex. 전체 고객 중 VIP 고객의 정보만 필요하다면, b_customers라는 Base View에서 아래와 같은 조건을 걸어 Derived View를 생성한다.

SELECT *
FROM b_customers
WHERE grade = 'VIP';

 

 ④ Interface View

• 여러 단계로 가공한 데이터 중 사용자, BI 도구 또는 서비스가 실제로 사용할 데이터를 제공하는 최종 View
• 별도의 완전히 다른 종류의 View라기보다는, 외부에 데이터를 제공하는 최종 계층의 View라고 이해하면 된다.

iv_customer_summary
 ├─ customer_id
 ├─ customer_name
 └─ total_order_amount

 

 ⑤ VQL (Virtual Query Language)

• Denodo에서 데이터를 조회하고 View를 생성·수정하는 데 사용하는 SQL 기반의 Denodo 전용 언어
• SQL과 문법이 비슷하지만 Denodo의 데이터 가상화 기능을 관리하기 위한 명령도 포함한다.

 ⑥ Cache 

• 원본 데이터 소스에 매번 접근하면 조회 속도가 느려지거나 원본 시스템에 부담을 줄 수 있다.
• 이를 줄이기 위해 View의 데이터를 Denodo 캐시에 저장하고 재사용할 수 있다.
• 캐시를 사용하면 조회 성능은 좋아지지만, 원본의 변경 내용이 즉시 반영되지 않을 수 있으므로 적절한 갱신 주기를 설정해야 한다.
• ex. 상품 목록은 하루에 한 번만 변경된다고 하면, 사용자가 조회할 때마다 원본 Excel 파일을 다시 읽을 필요 없이 결과를 Denodo 캐시에 저장해두고 제공할 수 있다.