Yellog

Denodo 실습 - 5. REST로 Denodo 뷰 조회하기

💡 [Denodo 실습 5] REST로 Denodo 뷰 조회하기지난번에는 외부 DB(PostgreSQL)와 CSV 데이터를 조인한 뷰를 만들고 캐시 적용을 확인했다.이번에는 이 뷰를 브라우저와 Python에서 REST로 조회해보겠다.1️⃣ 브라우저에서 조회Denodo는 생성한 뷰를 조회할 수 있는 RESTful Web Service를 기본으로 제공한다.별도로 API 코드를 작성하지 않아도 아래와 같은 뷰의 주소로 접속해 결과를 확인할 수 있다.http://localhost:9090/denodo-restfulws/tutorial/views/dv_stock_csv_join위 주소에서 tutorial은 Denodo 데이터베이스 이름이고, dv_stock_csv_join은 조회할 뷰 이름이다.접속 결과 브라우..

Denodo 실습 - 4. 외부 DB 연결 및 뷰 생성·조인·캐시 적용

💡 [Denodo 실습 4] 외부 DB 연결 및 가상 뷰 생성·조인·캐시 적용 지난번에는 Denodo에서 가상 뷰를 조회하고, 쿼리 푸시다운이 적용되는 과정을 확인했다.이번에는 개인 프로젝트에서 사용하던 PostgreSQL 데이터베이스를 Denodo에 연결하고, 주가 테이블로 조건·집계 뷰를 만들고, CSV 데이터와 조인한 뒤 VQL 조회와 캐시 적용까지 실습해 보겠다.1️⃣ PostgreSQL 데이터 소스 연결 및 Base View 생성하기상단 메뉴에서 File → New → Data source → JDBC 클릭⁕ JDBC (Java Database Connectivity) : Java 프로그램이 데이터베이스에 접속할 때 사용하는 표준 연결 방식각 항목에 맞는 연결 정보를 입력하고 Save 클릭항목..

Denodo 실습 - 3. VQL 조회 및 Interface View 생성

💡 [Denodo 실습 3] VQL 조회 및 Interface View 생성하기지난번에는 customers.csv를 Denodo에 연결하고 bv_customers Base View를 생성해 보았다.이번에는 주문 데이터를 추가한 뒤 고객 데이터와 JOIN 하고, 금액 조건 필터링과 고객별 주문 집계까지 연습해보려고 한다.1️⃣ VQL 실행상단 메뉴에서 Tools → VQL Shell 클릭입력란에 아래와 같은 쿼리를 입력 후 Execute 버튼을 클릭하면 실행 결과가 나온다.SELECT customer_name, order_count, total_amountFROM dv_customer_summaryWHERE total_amount >= 100000ORDER BY total_amount DESC;2️⃣ ..

Denodo 실습 - 2. Derived View 생성

💡 [Denodo 실습 2] Derived View 생성해보기지난번에는 customers.csv를 Denodo에 연결하고 bv_customers Base View를 생성해보았다.이번에는 주문 데이터를 추가한 뒤 고객 데이터와 JOIN 하고, 금액 조건 필터링과 고객별 주문 집계까지 연습해보려고 한다.1️⃣ 주문 데이터 Base View 생성하기고객별 주문 정보를 저장할 orders.csv 파일을 생성한다.메모장을 열어서 아래 내용을 입력하고, denodo-practice 폴더에 csv 파일로 저장한다.order_id,customer_id,order_date,product_name,amount101,1,2026-09-01,Laptop_Stand,35000102,1,2026-09-03,Keyboard,89..

💡 Denodo란? 여러 데이터 저장소에 흩어져 있는 데이터를 실제로 한곳에 복사하지 않고, 하나의 데이터베이스에 모여 있는 것처럼 조회하고 사용할 수 있게 해주는 데이터 가상화 플랫폼1️⃣ Denodo가 왜 필요한가?회사의 데이터는 보통 한곳에만 있지 않고 여기저기 흩어져 있는 경우가 많다.아래와 같은 상황을 예로 들어보자.고객 정보: Oracle주문 정보: PostgreSQL분석 결과: Databricks상품 목록: Excel외부 정보: REST API일반적으로 이 데이터를 함께 사용하려면 ETL로 가져와서 하나의 DB나 데이터 웨어하우스에 적재해야 하지만, Denodo는 원본 데이터를 그대로 둔 채 각 데이터 소스에 연결하고, 필요한 순간에 데이터를 가져와 결합해서 보여준다. 이렇게 Denodo는..

💡 Windows에 Denodo 설치하기 앞서 Denodo의 개념과 주요 View 구조를 살펴봤다면, 이번에는 Windows 환경에 Denodo를 직접 설치해보자. 개인 학습과 실습에는 무료로 제공되는 Denodo Platform Developer Tier를 사용할 수 있다.1️⃣ Denodo Developer Tier 다운로드 먼저 Denodo를 설치하기 위해서는 아래 링크에서 계정을 생성하고 설치 프로그램 파일과 라이센스를 제공받아야 한다.https://www.denodo.com/en/denodo-platform/developer-tier Denodo Platform – Developer TierThe easiest way to start building with the Denodo Platfo..

💡 [Denodo 실습 1] Base View 생성 및 조회해보기이번에는 가상 데이터베이스를 생성하고 CSV Data Source 연결 후, Base View 생성까지 연습해보려고 한다.1️⃣ 연습용 가상 데이터베이스 생성먼저 실습에서 사용할 가상 데이터베이스를 생성해야한다.Virtual DataPort Administration Tool의 위쪽 메뉴에서 Administration → Database Management 선택New 클릭 → 데이터베이스 이름을 tutorial로 입력하고 OK 클릭 tutorial 데이터베이스 생성 완료!: 여기서 생성한 tutorial은 PostgreSQL이나 Oracle처럼 데이터를 직접 저장하는 실제 데이터베이스가 아니라, Data Source, Base View,..

💡 쿠버네티스(Kubernetes, K8s) 쿠버네티스 주요 개념 참고 쿠버네티스(Kubernetes) 주요 개념 정리💡 쿠버네티스(Kubernetes, K8s)란?정의 : 컨테이너화된 애플리케이션을 자동으로 배포, 관리, 확장해 주는 오픈소스 플랫폼1️⃣ 컨테이너(Container)와 도커(Docker)기존에는 서버에 프로그램을 직접ejji.tistory.com🔍 kubectlK8s 클러스터를 관리하기 위해 사용하는 명령어 도구 (K8s에 명령을 전달하는 도구)사용자가 터미널에서 kubectl 명령을 실행하면, kubectl은 K8s의 API 서버에 요청을 전달API 서버는 요청을 확인한 후 클러스터의 리소스를 조회하거나 변경kubectl 명령어는 일반적으로 아래와 같은 구조로 작성kubectl..

💡 쿠버네티스(Kubernetes, K8s)란?정의 : 컨테이너화된 애플리케이션을 자동으로 배포, 관리, 확장해 주는 오픈소스 플랫폼1️⃣ 컨테이너(Container)와 도커(Docker)기존에는 서버에 프로그램을 직접 설치하여 운영했지만, 서버마다 운영체제(OS)나라이브러리 버전 등의 환경이 달라 배포 과정에서 오류가 발생하거나 프로그램 간 충돌이 자주 발생하였다.이러한 문제를 해결하기 위해 컨테이너(Container) 기술이 등장하였다.더보기📍컨테이너• 애플리케이션과 실행에 필요한 라이브러리, 설정 등을 모두 하나의 패키지로 묶어 실행할 수 있도록 하는 격리 기술• 컨테이너를 실행할 수 있는 환경이라면 어떤 서버에서도 동일하게 프로그램을 실행할 수 있다.📍이미지• 컨테이너를 생성..

💡 Airflow란?Airbnb에서 시작된 오픈소스 워크플로우 오케스트레이션 툴데이터 파이프라인이나 배치 작업의 실행 순서, 스케줄, 의존성을 관리하는 도구쉽게 말해, 매일 반복되는 수많은 작업을 정해진 시간, 순서대로 자동으로 실행되도록 관리해주는 시스템💡 Airflow 기본 구조 1️⃣ DAG (Directed Acyclic Graph ) Airflow에서 워크플로우를 정의하는 핵심 단위, 전체적인 작업의 순서도어떤 작업(Task을, 어떤 순서로, 언제 실행할지를 정의하는 문서 방향성(Directed)이 있어서 반드시 순서대로 흘러가야 하고, 순환하지 않기 때문에(Acyclic) 한 번 지나간 길로 되돌아와서 무한 루프에 빠지지 않는 구조를 가진다. 2️⃣ TASKDAG에 들어갈 하나하나의 할 일..