쿠리이야기

AWS 네트워크 인프라 구축 정리 (VPC → Subnet → Routing → IGW → Redshift)VPC (Virtual Private Cloud)정의: AWS에서 제공하는 가상의 네트워크 공간.역할: 우리가 만들 리소스(EC2, RDS, Redshift 등)를 안전하게 격리된 환경에서 운영.설정 시 포인트:CIDR 블록 지정 (예: 10.0.0.0/16)이후 Subnet, 라우팅 등을 이 범위 내에서 구성 쉽게 말해 **“내 집터 마련하기”**에 해당한다. Subnet (서브넷)정의: VPC의 IP 대역을 쪼개 만든 작은 네트워크 구역.종류:Public Subnet: 외부 인터넷과 연결 가능 (IGW를 통해)Private Subnet: 인터넷 연결 불가, 내부 리소스 전용활용:Redshift를..

1. AWS Redshift란?Amazon Redshift는 AWS에서 제공하는 클라우드 기반 데이터 웨어하우스(DWH) 서비스.대규모 데이터를 빠르게 분석할 수 있도록 MPP(Massively Parallel Processing, 대규모 병렬 처리) 아키텍처를 사용하며,SQL 기반 분석을 지원하기 때문에 기존 BI 툴이나 SQL 사용자에게 친숙하다. 주요 특징:고성능: 컬럼 기반 저장, 압축, 병렬 처리로 빠른 쿼리 성능확장성: 페타바이트 규모까지 확장 가능호환성: PostgreSQL 기반 SQL 문법 지원통합성: S3, Glue, QuickSight, Athena, EMR 등과 손쉽게 연동즉, Redshift는 대용량 데이터를 빠르게 분석하기 위한 클라우드 기반 DWH 솔루션. 2. 아키텍처 개념도 ..

1. AWS Glue란?AWS Glue는 AWS에서 제공하는 서버리스(서버 관리 불필요) 데이터 통합 서비스.데이터를 탐색(Discover) → 준비(Prepare) → 변환(Transform) → 적재(Load) 하는 과정을 자동화하여 ETL(Extract, Transform, Load) 작업을 쉽게 할 수 있도록 지원한다. 주요 특징:서버리스: 인프라 관리 필요 없음자동화: 데이터 카탈로그 생성 및 스키마 추론유연성: Spark 기반(분산 처리 가능)통합: S3, RDS, Redshift, DynamoDB 등과 원활하게 연동즉, Glue는 데이터 엔지니어가 복잡한 ETL 파이프라인을 쉽고 빠르게 구성하도록 돕는 서비스.2. 아키텍처 개념도 ┌───────────────────┐ ..

DeltaTable 주요 메서드 정리 1. 테이블 접근from delta.tables import DeltaTable# 경로 기반으로 불러오기delta_table = DeltaTable.forPath(spark, "/mnt/delta/user_metrics")# 테이블 이름 기반으로 불러오기delta_table = DeltaTable.forName(spark, "default.user_metrics") 2. MERGE (업서트)delta_table.alias("t").merge( df_updates.alias("s"), "t.user_id = s.user_id AND t.date = s.date").whenMatchedUpdateAll() \ .whenNotMatchedInsertAll() \..

PySpark - ETL 코드 흐름 # 데이터 읽기### 데이터 읽기 extract from pyspark.sql import SparkSessionspark = SparkSession.builder.appName("ETLExample").getOrCreate()# CSV 읽기df_csv = spark.read.option("header", True).csv("/mnt/data/input/sample.csv")# Parquet 읽기df_parquet = spark.read.parquet("/mnt/data/input/sample.parquet")# Delta 읽기df_delta = spark.read.format("delta").load("/mnt/delta/sample_delta") # 데이터 변환##..

1. Alertmanager 다운로드 & 설치공식 사이트:https://prometheus.io/download/#alertmanager리눅스 (예시)cd /optwget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gztar -xvf alertmanager-0.26.0.linux-amd64.tar.gzmv alertmanager-0.26.0.linux-amd64 alertmanagercd alertmanager 디렉토리 구조 예시:C:\Alertmanager\ ├── alertmanager.exe ├── amtool.exe ├── alertmanager.y..

1. Alertmanager로 메일 알림 설정1.1 Prometheus alert rule 작성Prometheus 가 설치된 서버에 추가하면 된다.파일 설치 위치iis_service_alert.yamlPrometheus 서버 내, rules 디렉토리 (예: /etc/prometheus/rules/ 또는 C:\Prometheus\rules\)(※ rules 디렉토리 없다면 그냥 만들어도 됨.) 새 Alert rule 파일 (iis_service_alert.yaml) 예시:groups:- name: IIS Service Alerts rules: - alert: IISServiceDown expr: wmi_service_status{service="W3SVC"} == 0 for: 2m la..

Windows 서버에 windows_exporter 설치 방법MSI 설치 -> 서비스 확인 -> 포트 오픈 -> Prometheus 등록 1. windows_exporter 다운로드공식 GitHub 페이지 접속:https://github.com/prometheus-community/windows_exporter/releases최신 버전(zip 파일 또는 msi 설치 파일)을 다운로드한다.보통 .msi 파일이 편하다 (windows_exporter-*.msi)2. windows_exporter 설치MSI 파일 설치 방법다운로드한 .msi 파일 더블 클릭설치 마법사 실행설치 옵션 확인:설치 경로(Default: C:\Program Files\windows_exporter\)기본 포트(9182) 사용설치 완료..

IIS(Internet Information Services)란?IIS(Internet Information Services)는 Windows 운영체제에 기본 포함된 웹 서버(HTTP 서버) 소프트웨어.웹 브라우저가 보내는 요청을 받아, 웹페이지(HTML, CSS, JS) 나 웹 애플리케이션(ASP.NET, PHP) 의 결과를 사용자에게 전달하는 역할을 한다. 주요 기능 기능 설명 웹 서버 (HTTP)브라우저 요청을 받고 웹사이트, 웹앱을 제공파일 서버이미지, 문서 등 정적 파일을 다운로드 제공ASP.NET 통합C# 기반 웹사이트/웹앱 실행 지원SSL/TLSHTTPS(보안 통신) 지원인증 및 권한 설정로그인 기능, 접근 제한 기능 제공로드 밸런싱여러 서버로 요청 분산 처리 가능 (ARR 연동)로깅 및 ..

windows_exporter 란? windows_exporter는 Windows 서버의 CPU, 메모리, 디스크, 네트워크 상태 같은 서버 리소스 메트릭(Metrics) 을 수집해서 Prometheus가 가져갈 수 있게 해주는 모니터링 에이전트다. 원래 이름은 wmi_exporter였는데, 2020년에 이름이 windows_exporter로 공식 변경되었다. 쉽게 말하면: "Prometheus가 Windows 서버 상태를 모니터링할 수 있게 해주는 프로그램" 이다. 왜 필요한가?Prometheus는 기본적으로 Linux 서버에 최적화된 시스템이라,Windows 서버 리소스(CPU 사용률, 메모리 사용량, 디스크 상태 등) 을 직접 수집할 수 없다.→ 그래서 Windows 서버에 windows_expor..