Yellog

💡 쿠버네티스(Kubernetes, K8s) 쿠버네티스 주요 개념 참고 쿠버네티스(Kubernetes) 주요 개념 정리💡 쿠버네티스(Kubernetes, K8s)란?정의 : 컨테이너화된 애플리케이션을 자동으로 배포, 관리, 확장해 주는 오픈소스 플랫폼1️⃣ 컨테이너(Container)와 도커(Docker)기존에는 서버에 프로그램을 직접ejji.tistory.com🔍 kubectlK8s 클러스터를 관리하기 위해 사용하는 명령어 도구 (K8s에 명령을 전달하는 도구)사용자가 터미널에서 kubectl 명령을 실행하면, kubectl은 K8s의 API 서버에 요청을 전달API 서버는 요청을 확인한 후 클러스터의 리소스를 조회하거나 변경kubectl 명령어는 일반적으로 아래와 같은 구조로 작성kubectl..

💡 쿠버네티스(Kubernetes, K8s)란?정의 : 컨테이너화된 애플리케이션을 자동으로 배포, 관리, 확장해 주는 오픈소스 플랫폼1️⃣ 컨테이너(Container)와 도커(Docker)기존에는 서버에 프로그램을 직접 설치하여 운영했지만, 서버마다 운영체제(OS)나라이브러리 버전 등의 환경이 달라 배포 과정에서 오류가 발생하거나 프로그램 간 충돌이 자주 발생하였다.이러한 문제를 해결하기 위해 컨테이너(Container) 기술이 등장하였다.더보기📍컨테이너• 애플리케이션과 실행에 필요한 라이브러리, 설정 등을 모두 하나의 패키지로 묶어 실행할 수 있도록 하는 격리 기술• 컨테이너를 실행할 수 있는 환경이라면 어떤 서버에서도 동일하게 프로그램을 실행할 수 있다.📍이미지• 컨테이너를 생성..

💡 Airflow란?Airbnb에서 시작된 오픈소스 워크플로우 오케스트레이션 툴데이터 파이프라인이나 배치 작업의 실행 순서, 스케줄, 의존성을 관리하는 도구쉽게 말해, 매일 반복되는 수많은 작업을 정해진 시간, 순서대로 자동으로 실행되도록 관리해주는 시스템💡 Airflow 기본 구조 1️⃣ DAG (Directed Acyclic Graph ) Airflow에서 워크플로우를 정의하는 핵심 단위, 전체적인 작업의 순서도어떤 작업(Task을, 어떤 순서로, 언제 실행할지를 정의하는 문서 방향성(Directed)이 있어서 반드시 순서대로 흘러가야 하고, 순환하지 않기 때문에(Acyclic) 한 번 지나간 길로 되돌아와서 무한 루프에 빠지지 않는 구조를 가진다. 2️⃣ TASKDAG에 들어갈 하나하나의 할 일..

💡 Decimal 자료형파이썬에서 정확한 소수 계산을 위해 사용하는 자료형 1️⃣ 필요성우리가 사용하는 숫자는 10진수지만, 컴퓨터는 모든 것을 2진수(0과 1)로 처리함2진법은 모든 데이터를 0과 1로 표현모든 10진수는 2진수로 딱 떨어지게 표현될 수 없음ex 1. 10진수 5를 2진수로 변환 (가능)1×2² + 0×2¹ + 1×2⁰ = 4 + 0 + 1 = 5ex 2. 10진수 0.1를 2진수로 변환 (불가능) (10진수 소수를 2진수로 바꿀 때는 값이 0이 될 때까지 2를 곱하는 방식을 사용)0.1 * 2 = 0.2 (정수부 0 기록)0.2 * 2 = 0.4 (정수부 0 기록)0.4 * 2 = 0.8 (정수부 0 기록)0.8 * 2 = 0.6 (정수부 1 기록, 남은 건 0.6)0.6 * 2 =..

💡 MariaDB로 로컬 데이터베이스 생성하기MariaDB: MySQL 기반의 오픈소스 관계형 데이터베이스(RDBMS)아래 내용은 개인 로컬 PC에 MariaDB를 생성하는 방법으로,이 경우, 다른 유저가 DB에 접속하려면 해당 PC가 항상 켜져있고 인터넷과 연결되어있어야 한다. 1️⃣ MariaDB 설치https://mariadb.org/download/ 에서 다운로드 후 아래 이미지 순서대로 설치 2️⃣ MariaDB 실행 및 데이터베이스 생성 📍 cmd 열고 아래 명령어를 순서대로 입력 cd "MariaDB 설치 디렉토리\bin".\mysql -u root -p # 비밀번호 입력MariaDB 설치 폴더\bin 안에 실행 파일들이 있고, 그중에 mysql.exe가 있기때문에 해당 경로에..

💡 LangChain이란?대형언어모델(LLM)을 중심으로, 프롬프트, 검색, 출력, 파싱 등의 구성요소를 묶어서 애플리케이션을 만드는 프레임워크예를 들면 실제 서비스에서는,사용자가 질문을 입력하면질문을 임베딩하여 벡터 형태로 변환하고이 벡터를 기반으로 Vector DB에서 관련성이 높은 문서를 검색이후 검색된 문서를 프롬프트에 포함시켜 LLM을 호출하고LLM이 생성한 답변을 필요한 형태로 정리하여 사용자에게 반환한다.이렇게 단순한 "질문" → "답변" 구조가 아닌,검색, 데이터 가공, 프롬프트 구성, 모델 호출, 결과 처리까지 이어지는 전체 흐름이 요구되는데, LangChain은 이런 여러 단계를 하나의 흐름으로 연결하여, LLM 기반 애플리케이션을 보다 쉽게 구현할 수 있도록 도와주는 도구이다. 💡..

💡 악성 코드 탐지악성코드 탐지는 시스템과 사용자 환경을 보호하기 위해 비정상적이거나 악의적인 프로그램 및 행위를 식별하고 차단하는 것을 목표로 한다. 진화하는 보안 위협 환경에서는 전통적인 탐지 방식만으로는 한계가 존재하며, 이를 보안하기 위해 다양한 탐지 기법이 활용되고 있다.1️⃣ 시그니처 기반 탐지 (Signature-based Detection)이미 알려진 악성코드의 "고유한 흔적(패턴)"을 미리 등록해 두고,동일한 패턴이 발견되면 악성으로 탐지하는 방식장점: 탐지 속도가 빠르고 정확도가 높으며, 오탐(False Positive)이 상대적으로 낮음단점: 기존에 정의된 패턴에 의존하기 때문에 알려지지 않은 신종/변종 공격에 취약2️⃣ 행위 기반 탐지 (Behavior-based Detection..

본 포스팅은 ALIO(공공기관 경영정보 공개시스템) 에서 특정 기관의 보고서를 자동 수집하고,첨부파일(PDF)을 자동 다운로드하는 크롤러를 Python으로 구현한 내용을 정리한 글입니다. 💡 ALIO 보고서 자동 크롤러 개발기 Python + Requests + Pathlib를 활용해, ALIO 사이트에서 특정 기관의 보고서를 자동으로 크롤링하고 PDF 파일로 저장하는 크롤러 개발크롤링은 크게 3가지 단계로 구분 기관별 수집 대상 보고서 목록 가져오기각 보고서의 disclosureNo(공시번호)로 첨부 파일 목록 가져오기첨부 파일 다운로드 & PDF 저장 1️⃣ 보고서 목록 가져오기 ALIO( https://www.alio.go.kr/main.do )에서 특정 기관의 보고서를 수집하려면,가장 먼저 “해..

💡 HTTP(HyperText Transfer Protocol)란? 인터넷에서 클라이언트와 서버가 서로 대화하기 위해 사용하는 규칙(프로토콜) 브라우저·앱·크롤러 같은 클라이언트가 서버에 요청을 보내고, 서버는 그 요청을 해석해 응답을 돌려준다.💡 HTTP 요청(HTTP Request)의 구성 요소HTTP 요청은 크게 Request Line, Headers, Body 3가지로 이루어진다.1️⃣Request Line요청의 목적을 가장 먼저 나타내는 부분 “무슨 행동을 어떤 자원에 대해 하고 싶은지”를 지정하는 핵심 라인GET /report/list?page=1 HTTP/1.1 구성요소HTTP Method : GET, POST, PUT, DELETE 등 “무슨 동작을 하고 싶은지” Request Tar..

1. Seq2Seq (Sequence to sequence) Seq2Seq는 이름 그대로 하나의 시퀀스(입력 문장)를 받아 또 다른 시퀀스(출력 문장)를 생성하는 모델 예를 들어, 한국어 문장(입력) → 영어 문장(출력) 변환과 같은 작업에 사용되며, 기계 번역, 챗봇 등 다양한 분야에 활용된다. 모델은 크게 Encoder와 Decoder 두 부분으로 이루어져 있으며, 각각은 RNN(LSTM) 기반 신경망이다. 2. Encoder-Decoder 구조📌 Encoder Encoder는 Embedding층과 LSTM 층으로 구성되어 있으며, 입력되는 sequence의 정보를 최대한 보존하도록 압축하는 역할예를 들어 "나는 고양이로소이다"라는 문장이 입력되면, 이 문장은 토큰 단위로 나뉘고, 각 단어는 Em..