쿠리이야기

AWS 네트워크 인프라 구축 정리

박쿠리 — Tue, 9 Sep 2025 21:44:25 +0900

AWS 네트워크 인프라 구축 정리 (VPC → Subnet → Routing → IGW → Redshift)

VPC (Virtual Private Cloud)

정의: AWS에서 제공하는 가상의 네트워크 공간.
역할: 우리가 만들 리소스(EC2, RDS, Redshift 등)를 안전하게 격리된 환경에서 운영.
설정 시 포인트:
- CIDR 블록 지정 (예: 10.0.0.0/16)
- 이후 Subnet, 라우팅 등을 이 범위 내에서 구성

쉽게 말해 **“내 집터 마련하기”**에 해당한다.

Subnet (서브넷)

정의: VPC의 IP 대역을 쪼개 만든 작은 네트워크 구역.
종류:
- Public Subnet: 외부 인터넷과 연결 가능 (IGW를 통해)
- Private Subnet: 인터넷 연결 불가, 내부 리소스 전용
활용:
- Redshift를 학습/테스트할 때는 Public Subnet에 두고 바로 접속
- 운영 환경에서는 보안을 위해 Private Subnet에 두고 VPN이나 Bastion Host 통해 접속

**“집터 안에 방을 나눈 것”**과 같다.

Routing Table (라우팅 테이블)

정의: Subnet 안에서 발생한 트래픽이 어디로 갈지 결정하는 지도.
예시 규칙:
- 10.0.0.0/16 → local (VPC 내부 통신)
- 0.0.0.0/0 → igw-xxxx (외부 인터넷으로 나감)
포인트:
- Public Subnet → IGW로 연결 필요
- Private Subnet → NAT Gateway 통해서만 외부로 나가게 설계하는 경우 많음

**“길 안내 표지판”**이라고 보면 된다.

Internet Gateway (IGW)

정의: VPC와 인터넷을 이어주는 관문.
필수 조건:
- VPC에 IGW 연결해야 Public Subnet이 인터넷 접근 가능
- Routing Table에서 0.0.0.0/0을 IGW로 보내야 외부와 통신됨

“마을 대문” 역할을 한다.

Redshift 클러스터와 네트워크 연결

Redshift는 VPC 안에 배치된다.
접속하려면:
1. 클러스터 생성 시 Subnet Group(VPC 내 Subnet 묶음) 지정
2. Public Access를 열지 Private Subnet 전용으로 둘지 결정
3. Security Group에서 5439 포트를 열어야 함
4. Routing Table + IGW 구성이 있어야 외부 접속 가능

보안이 중요한 운영 환경에서는 Private Subnet에 두고 VPN이나 Bastion Host를 거쳐 접속하는 게 일반적이다.

전체 흐름 요약

VPC 생성 → 내 네트워크 공간 마련
Subnet 생성 → Public / Private 구역 나누기
Routing Table 설정 → 트래픽이 IGW로 나가도록 지정
IGW 연결 → 외부 인터넷과 연결
Redshift 배치 → Subnet Group과 Security Group 설정

그림으로 표현하면 이런 느낌이다:

[ Internet ]
     │
[ Internet Gateway ]
     │
[ Routing Table ]
     │
[ Public Subnet ] ─── [ Redshift Cluster ]
[ Private Subnet ] ─── (내부 자원들)

AWS Redshift란?

박쿠리 — Mon, 8 Sep 2025 20:39:44 +0900

1. AWS Redshift란?

Amazon Redshift는 AWS에서 제공하는 클라우드 기반 데이터 웨어하우스(DWH) 서비스.
대규모 데이터를 빠르게 분석할 수 있도록 MPP(Massively Parallel Processing, 대규모 병렬 처리) 아키텍처를 사용하며,
SQL 기반 분석을 지원하기 때문에 기존 BI 툴이나 SQL 사용자에게 친숙하다.

주요 특징:

고성능: 컬럼 기반 저장, 압축, 병렬 처리로 빠른 쿼리 성능
확장성: 페타바이트 규모까지 확장 가능
호환성: PostgreSQL 기반 SQL 문법 지원
통합성: S3, Glue, QuickSight, Athena, EMR 등과 손쉽게 연동

즉, Redshift는 대용량 데이터를 빠르게 분석하기 위한 클라우드 기반 DWH 솔루션.

2. 아키텍처 개념도

                 ┌───────────────────┐
                 │      사용자        │ (BI 툴, SQL 클라이언트)
                 └─────────┬─────────┘
                           │
                           ▼
                  ┌─────────────────┐
                  │   Leader Node   │
                  │ - SQL 파싱      │
                  │ - 실행 계획 생성 │
                  └─────────┬───────┘
                            │
      ┌─────────────────────┴───────────────────────┐
      ▼                                             ▼
┌─────────────┐                               ┌──────────────┐
│ Compute Node│   ... 병렬 분산 처리 ...       │ Compute Node │
│ - 데이터 저장│                               │ - 데이터 저장│
│ - 쿼리 실행  │                               │ - 쿼리 실행  │
└─────────────┘                               └─────────────┘

3. 주요 컴포넌트

Cluster
- Redshift의 기본 단위. Leader Node + 여러 Compute Node로 구성.
Leader Node
- 클라이언트 요청(SQL)을 받아 쿼리 파싱 및 실행 계획 생성 후, 각 Compute Node에 작업 분배.
Compute Node
- 실제 데이터를 저장하고 쿼리를 실행하는 노드.
- 결과를 Leader Node에 전달.
Node Slice
- Compute Node는 내부적으로 Slice라는 작은 단위로 나뉘어 데이터와 작업을 병렬 처리.

4. 데이터 저장 방식

컬럼 기반 저장(Columnar Storage)
→ 같은 컬럼 값들이 모여 저장되어 압축률이 높고, 특정 컬럼만 읽을 때 성능이 뛰어남.
압축(Encoding)
→ 컬럼별 데이터 특성에 맞게 자동 압축.
분산 방식(Distribution Style)
- KEY: 특정 키를 기준으로 데이터 분산
- ALL: 전체 데이터를 모든 노드에 복제
- EVEN: 데이터를 균등하게 분산

5. Redshift 예제 (SQL)

아래는 S3 → Redshift COPY → 쿼리 실행 예시.

-- S3 데이터 로딩
COPY sales
FROM 's3://my-bucket/sales_data/'
IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftCopyRole'
FORMAT AS PARQUET;

-- 데이터 조회
SELECT region, SUM(amount) AS total_sales
FROM sales
GROUP BY region
ORDER BY total_sales DESC;

6. 실무 활용 시나리오

데이터 레이크 분석: S3에 저장된 데이터를 Redshift로 불러와 BI 분석 수행
실시간 + 배치 분석: Kinesis, Glue와 연동하여 실시간 데이터와 배치 데이터를 통합 분석
대규모 BI/리포팅: Tableau, Power BI, QuickSight 등 BI 툴과 연결해 대시보드 구축

7. 정리

AWS Redshift는 클라우드 환경에서 대규모 데이터 웨어하우스 구축을 가능하게 하는 서비스.

빠른 쿼리 성능(컬럼 기반 + 병렬 처리)
탄력적인 확장성
AWS 생태계와 자연스러운 통합

데이터 엔지니어링, BI, 머신러닝 등 다양한 분석 환경에서 핵심 역할을 한다.

AWS Glue 란?

박쿠리 — Mon, 8 Sep 2025 20:33:29 +0900

1. AWS Glue란?

AWS Glue는 AWS에서 제공하는 서버리스(서버 관리 불필요) 데이터 통합 서비스.
데이터를 탐색(Discover) → 준비(Prepare) → 변환(Transform) → 적재(Load) 하는 과정을 자동화하여 ETL(Extract, Transform, Load) 작업을 쉽게 할 수 있도록 지원한다.

주요 특징:

서버리스: 인프라 관리 필요 없음
자동화: 데이터 카탈로그 생성 및 스키마 추론
유연성: Spark 기반(분산 처리 가능)
통합: S3, RDS, Redshift, DynamoDB 등과 원활하게 연동

즉, Glue는 데이터 엔지니어가 복잡한 ETL 파이프라인을 쉽고 빠르게 구성하도록 돕는 서비스.

2. 아키텍처 개념도

        ┌───────────────────┐
        │    데이터 소스     │ (S3, RDS, DynamoDB 등)
        └─────────┬─────────┘
                  │
                  ▼
          ┌───────────────┐
          │ Glue Crawler  │ → 메타데이터 추출 (스키마 자동 생성)
          └───────────────┘
                  │
                  ▼
          ┌───────────────┐
          │ Glue Catalog  │ → 데이터베이스/테이블 메타데이터 저장
          └───────────────┘
                  │
                  ▼
          ┌───────────────┐
          │ Glue Job      │ → ETL 코드(PySpark) 실행
          └───────────────┘
                  │
                  ▼
        ┌───────────────────┐
        │   대상 저장소      │ (S3, Redshift, RDS 등)
        └───────────────────┘

3. 주요 컴포넌트

Crawler
- 데이터 소스를 자동으로 스캔해 스키마를 추론하고 Glue Catalog에 테이블 생성.
Data Catalog
- Glue의 핵심 메타데이터 저장소.
- 테이블, 스키마, 위치 정보를 저장. Athena, Redshift Spectrum 등에서도 활용 가능.
Job
- ETL 실행 단위.
- PySpark 기반 코드 자동 생성 가능.
Trigger
- 스케줄링 혹은 이벤트 기반 실행을 지원.

4. Glue Notebook 실행 예제

S3 -> 변환 -> S3 파이프라인의 예제.

from awsglue.context import GlueContext
from pyspark.context import SparkContext

# GlueContext 생성
sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

# S3에서 데이터 읽기
datasource = glueContext.create_dynamic_frame.from_options(
    connection_type="s3",
    connection_options={"paths": ["s3://my-bucket/input/"]},
    format="csv",
    format_options={"withHeader": True}
)

# 변환 예시: 컬럼 매핑
transformed = datasource.apply_mapping([
    ("id", "string", "user_id", "string"),
    ("name", "string", "user_name", "string"),
    ("age", "string", "user_age", "int")
])

# 결과 확인 (Notebook은 display() 가능)
transformed.show()

# 변환된 데이터를 다시 S3에 저장
glueContext.write_dynamic_frame.from_options(
    frame=transformed,
    connection_type="s3",
    connection_options={"path": "s3://my-bucket/output/"},
    format="parquet"
)

5. 실무 활용 시나리오

데이터 레이크 구축: S3에 저장된 다양한 원천 데이터를 카탈로그화 후 Athena/Redshift로 분석
ETL 파이프라인 자동화: 매일 크롤링된 로그 데이터를 정제하여 S3/Redshift에 적재
서버리스 데이터 엔지니어링: Spark 클러스터 관리 부담 없이 대규모 데이터 처리

PySpark - DeltaTable 주요 method 정리

박쿠리 — Thu, 4 Sep 2025 16:11:10 +0900

DeltaTable 주요 메서드 정리

1. 테이블 접근

from delta.tables import DeltaTable

# 경로 기반으로 불러오기
delta_table = DeltaTable.forPath(spark, "/mnt/delta/user_metrics")

# 테이블 이름 기반으로 불러오기
delta_table = DeltaTable.forName(spark, "default.user_metrics")

2. MERGE (업서트)

delta_table.alias("t").merge(
    df_updates.alias("s"),
    "t.user_id = s.user_id AND t.date = s.date"
).whenMatchedUpdateAll() \
 .whenNotMatchedInsertAll() \
 .execute()

3. Update

from pyspark.sql.functions import col, lit

delta_table.update(
    condition=col("cnt") > 100,
    set={"flag": lit(1)}
)

4. Delete

delta_table.delete(condition=col("date") < "2025-01-01")

5. Optimize & Z-Order

# 작은 파일 합치기 (compaction)
delta_table.optimize().executeCompaction()

# 특정 컬럼 기준으로 정렬 (Z-Order)
delta_table.optimize().executeZOrderBy("date")

6. Vacuum

delta_table.vacuum()

7. Time Travel

# 버전 기준 조회
df_old = spark.read.option("versionAsOf", 5).table("user_metrics")

# 타임스탬프 기준 조회
df_old = spark.read.option("timestampAsOf", "2025-09-01").table("user_metrics")

8. Change Data Feed

stream_df = spark.readStream \
    .option("readChangeFeed", "true") \
    .table("user_metrics")

간략 정리

기능	메서드 / 옵션	설명
테이블 불러오기	forPath(spark, path), forName(spark, tableName)	Delta 테이블을 객체로 불러오기
업서트(Upsert)	.merge()	조건 맞으면 업데이트, 없으면 인서트
조건 기반 수정	.update(), .updateExpr()	특정 조건 만족 시 값 변경
조건 기반 삭제	.delete()	특정 조건 만족 시 행 삭제
성능 최적화	.optimize().executeCompaction() .optimize().executeZOrderBy(col)	작은 파일 합치기(Compaction), 특정 컬럼 기준 정렬(Z-Order)
파일 정리(Vacuum)	.vacuum()	오래된 스냅샷 및 불필요 파일 정리
Time Travel	versionAsOf, timestampAsOf 옵션	과거 버전/시점의 데이터 조회
변경 추적(CDF)	readChangeFeed=true 옵션	Insert/Update/Delete 변경 이력 추적

PySpark - ETL 코드 흐름

박쿠리 — Thu, 4 Sep 2025 15:13:23 +0900

PySpark - ETL 코드 흐름

# 데이터 읽기

### 데이터 읽기 extract 

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("ETLExample").getOrCreate()

# CSV 읽기
df_csv = spark.read.option("header", True).csv("/mnt/data/input/sample.csv")

# Parquet 읽기
df_parquet = spark.read.parquet("/mnt/data/input/sample.parquet")

# Delta 읽기
df_delta = spark.read.format("delta").load("/mnt/delta/sample_delta")

# 데이터 변환

### 데이터 변환 transform

from pyspark.sql.functions import col, when, to_date, count, avg

df_transformed = (
    df_csv
    .withColumn("date", to_date(col("timestamp"))) #날짜 컬럼 변환
    .withColumn("status", when(col("status") == "OK", 1).otherwise(0)) #상태값 가공
    .groupBy("user_id", "date") #집계
    .agg(
        count("*").alias("cnt"),
        avg("value").alias("avg_value")
    )
)

# 데이터 적재

### 데이터 적재 Load

# databricks 에선 Delta Lake 로 저장하는 패턴을 많이 쓴다.

from delta.tables import DeltaTable

# Delta 테이블이 이미 있을 경우 Merge(Upsert)
target_path = "/mnt/delta/user_metrics"

if DeltaTable.isDeltaTable(spark, target_path): # target_path 경로에 Delta 테이블 있는지 확인, 있으면 upsert 없으면 새로 저장 write 
    delta_table = DeltaTable.forPath(spark, target_path)  # 이미 있는 Delta 테이블을 가져와서 조작할 수 있는 객체 생성
    (
        delta_table.alias("t").merge(
            df_transformed.alias("s"),
            "t.user_id = s.user_id AND t.date = s.date"
        )
        .whenMatchedUpdateAll()
        .whenNotMatchedInsertAll()
        .execute()
    )
else:
    df_transformed.write.format("delta").mode("overwrite").save(target_path)

Alertmanager 다운로드 & 설치

박쿠리 — Mon, 28 Apr 2025 22:35:12 +0900

1. Alertmanager 다운로드 & 설치

공식 사이트:
https://prometheus.io/download/#alertmanager

리눅스 (예시)

cd /opt
wget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gz
tar -xvf alertmanager-0.26.0.linux-amd64.tar.gz
mv alertmanager-0.26.0.linux-amd64 alertmanager
cd alertmanager

디렉토리 구조 예시:

C:\Alertmanager\
  ├── alertmanager.exe
  ├── amtool.exe
  ├── alertmanager.yaml (설정파일)

2. Alertmanager 설정 파일 작성 (alertmanager.yaml)

경로: Alertmanager 실행파일(alertmanager.exe)이 있는 디렉토리에 alertmanager.yaml 파일 만들어야 함.

기본 설정 예시 (메일 알림용):

global:
  smtp_smarthost: 'smtp.example.com:587'
  smtp_from: 'alert@example.com'
  smtp_auth_username: 'alert@example.com'
  smtp_auth_password: 'your_password'

route:
  receiver: email-alert

receivers:
- name: email-alert
  email_configs:
  - to: 'your_target_email@example.com'

3. Alertmanager 실행

./alertmanager --config.file=alertmanager.yaml

기본 포트는 9093으로 실행된다.

4. Prometheus에 Alertmanager 연동 설정

prometheus.yaml 파일을 수정해서 Alertmanager를 연결해야 한다.

수정할 부분 예시:

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - 'localhost:9093'

localhost:9093 = Prometheus와 Alertmanager가 같은 서버 안에 있기 때문에 localhost 사용

5. Prometheus 재시작

설정 반영하려면 Prometheus를 재시작해야 한다.

systemctl restart prometheus

최종 디렉토리 구조 예시

C:\Prometheus\
  ├── prometheus.exe
  ├── prometheus.yaml
  ├── rules\
      ├── iis_service_alert.yaml

C:\Alertmanager\
  ├── alertmanager.exe
  ├── amtool.exe
  ├── alertmanager.yaml

알림 흐름도 예시

Windows 서버 (wmi_exporter)
   ↓ (9183)
Prometheus (Alert Rule 체크)
   ↓ (발생)
Alertmanager (메일 발송)
   ↓
관리자 이메일 수신

Alertmanager 메일 알림 기능 추가

박쿠리 — Mon, 28 Apr 2025 21:55:45 +0900

1. Alertmanager로 메일 알림 설정

1.1 Prometheus alert rule 작성

Prometheus 가 설치된 서버에 추가하면 된다.

파일	설치 위치
iis_service_alert.yaml	Prometheus 서버 내, rules 디렉토리 (예: /etc/prometheus/rules/ 또는 C:\Prometheus\rules\)

(※ rules 디렉토리 없다면 그냥 만들어도 됨.)

새 Alert rule 파일 (iis_service_alert.yaml) 예시:

groups:
- name: IIS Service Alerts
  rules:
  - alert: IISServiceDown
    expr: wmi_service_status{service="W3SVC"} == 0
    for: 2m
    labels:
      severity: critical
    annotations:
      summary: "IIS 서비스 다운"
      description: "IIS (W3SVC) 서비스가 2분 이상 죽어있습니다."

for: 2m → 2분 이상 다운된 경우 알람 발생
필요시 1m, 5m로 조정 가능

prometheus.yaml에 alert rule 등록

파일	위치
prometheus.yaml	Prometheus 메인 설정 파일, 보통 /etc/prometheus/prometheus.yml 또는 C:\Prometheus\prometheus.yml

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'windows_exporter'
    static_configs:
      - targets: ['서버IP:9182']

  - job_name: 'wmi_exporter'
    static_configs:
      - targets: ['서버IP:9183']

rule_files:
  - "rules/iis_service_alert.yaml"

rule_files는 scrape_configs 끝난 뒤 추가하면 된다.
(즉, scrape_configs: 블록과 나란히 존재해야 한다.)

1.2 Alertmanager 메일 설정 예시

Alertmanager : Prometheus 가 보낸 알람을 받아서 외부로 알리는 소프트웨어

https://cool-ri.tistory.com/78

Alertmanager 다운로드 & 설치

1. Alertmanager 다운로드 & 설치공식 사이트:https://prometheus.io/download/#alertmanager리눅스 (예시)cd /optwget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gztar -xvf alertmanager

cool-ri.tistory.com

파일	설치 위치
alertmanager.yaml	Alertmanager 설정 파일, 보통 /etc/alertmanager/alertmanager.yaml 또는 C:\Alertmanager\alertmanager.yaml

alertmanager.yaml 예시:

global:
  smtp_smarthost: 'smtp.example.com:587'
  smtp_from: 'alert@example.com'
  smtp_auth_username: 'your_email@example.com'
  smtp_auth_password: 'your_password'

route:
  receiver: email-alert

receivers:
- name: email-alert
  email_configs:
  - to: 'your_target_email@example.com'

SMTP 설정은 회사/개인 메일 서버에 맞춰 수정해야 함.

요약

[Prometheus]
  - 서버 상태 모니터링
  - 알람 발생

    ↓ 알람 전송

[Alertmanager]
  - 알람 수신
  - 메일 발송, Slack 발송 등

    ↓

[관리자 이메일, Slack 채널]

Windows 서버에 windows_exporter & wmi_exporter 설치 방법

박쿠리 — Mon, 28 Apr 2025 21:25:59 +0900

Windows 서버에 windows_exporter 설치 방법

MSI 설치 -> 서비스 확인 -> 포트 오픈 -> Prometheus 등록

1. windows_exporter 다운로드

공식 GitHub 페이지 접속:
- https://github.com/prometheus-community/windows_exporter/releases
최신 버전(zip 파일 또는 msi 설치 파일)을 다운로드한다.
- 보통 .msi 파일이 편하다 (windows_exporter-*.msi)

2. windows_exporter 설치

MSI 파일 설치 방법

다운로드한 .msi 파일 더블 클릭
설치 마법사 실행
설치 옵션 확인:
- 설치 경로(Default: C:\Program Files\windows_exporter\)
- 기본 포트(9182) 사용
설치 완료

(설치가 끝나면 자동으로 Windows 서비스로 등록되고, 실행된다.)

3. 서비스 정상 실행 확인

Windows 서비스(services.msc) 들어간다.
windows_exporter라는 서비스가 Running(실행 중)인지 확인한다.

또는 PowerShell에서 확인:

Get-Service windows_exporter

상태가 Running이면 정상.

4. 방화벽 포트 열기 (선택사항)

기본 포트 9182를 외부에서 접근할 수 있도록 열어야 한다.

PowerShell 명령어:

New-NetFirewallRule -DisplayName "Allow windows_exporter 9182" -Direction Inbound -Protocol TCP -LocalPort 9182 -Action Allow

5. 동작 테스트

서버에서 바로 접속 테스트:

curl http://localhost:9182/metrics

메트릭스 텍스트가 쭉 나오면 정상 설치된 거다.

6. Prometheus에 windows_exporter 타겟 추가

Prometheus 설정 파일(prometheus.yml)에 아래 블록 추가:

- job_name: 'windows_exporter'
  static_configs:
    - targets: ['서버IP:9182']

서버IP는 windows_exporter가 설치된 서버 IP로 바꿔야 한다.

Prometheus 재시작 후 정상 스크래핑 여부 확인.

IIS 서비스 활성화를 확인하기 위해 wmi_exporter 도 따로 추가할 예정

wmi_exporter 설치 방법

1. wmi_exporter 다운로드

공식 GitHub 릴리즈 페이지 접속
wmi_exporter-0.7.0-amd64.msi 다운로드
다운로드한 .msi 파일 더블클릭 → 설치
설치 옵션
- 설치 경로: 기본값 (C:\Program Files\wmi_exporter\)
- 포트: 9183번으로 바꿔야 한다 (windows_exporter는 9182 쓰고 있으니까)

2. 포트 다르게 해서 windows exporter 와 동시에 실행

wmi_exporter 포트를 9183으로 지정해서 설치 후, 서비스 수정

PowerShell 관리자 권한으로:

sc stop wmi_exporter
sc config wmi_exporter binPath= "\"C:\Program Files\wmi_exporter\wmi_exporter.exe\" --telemetry.addr=:9183 --collectors.enabled=service"
sc start wmi_exporter

--telemetry.addr=:9183 → 9183 포트로 띄움
--collectors.enabled=service → 서비스 상태만 수집하도록 collector 설정
즉, wmi_exporter는 서비스 상태만 가져오게 제한함. (IIS 서비스만 볼 거니까.)

서버에서 포트 개방 방법 (Windows 기준)

PowerShell 관리자 권한으로 실행:

New-NetFirewallRule -DisplayName "Allow wmi_exporter 9183" -Direction Inbound -Protocol TCP -LocalPort 9183 -Action Allow

9183 포트만 추가로 열어주면 된다.
Hiware 접속이든 RDP 접속이든 포트 개방은 서버 방화벽 설정 기준이라 무조건 필요
만약 회사 네트워크 방화벽(외부-내부 사이 방화벽)이 또 존재하면
→ 네트워크팀에도 요청해서 9183 인바운드 허용해달라고 해야 한다.

3. Prometheus 타겟 등록 (9183 포트로)

prometheus.yml에 타겟 추가:

- job_name: 'wmi_exporter_service'
  static_configs:
    - targets: ['서버IP:9183']

기존 windows_exporter(9182)랑 따로 등록해야 한다.

4. Prometheus 쿼리로 IIS 서비스 상태 체크

wmi_exporter는 아래 메트릭을 제공한다:

wmi_service_status{service="W3SVC"}

W3SVC = IIS의 핵심 서비스 이름 (World Wide Web Publishing Service)

값 해석:

wmi_service_status{service="W3SVC"} == 1 → 살아있음
wmi_service_status{service="W3SVC"} == 0 → 죽음

IIS (Internet Information Services) 정의

박쿠리 — Mon, 28 Apr 2025 20:39:27 +0900

IIS(Internet Information Services)란?

IIS(Internet Information Services)는 Windows 운영체제에 기본 포함된 웹 서버(HTTP 서버) 소프트웨어.

웹 브라우저가 보내는 요청을 받아, 웹페이지(HTML, CSS, JS) 나 웹 애플리케이션(ASP.NET, PHP) 의 결과를 사용자에게 전달하는 역할을 한다.

주요 기능

기능	설명
웹 서버 (HTTP)	브라우저 요청을 받고 웹사이트, 웹앱을 제공
파일 서버	이미지, 문서 등 정적 파일을 다운로드 제공
ASP.NET 통합	C# 기반 웹사이트/웹앱 실행 지원
SSL/TLS	HTTPS(보안 통신) 지원
인증 및 권한 설정	로그인 기능, 접근 제한 기능 제공
로드 밸런싱	여러 서버로 요청 분산 처리 가능 (ARR 연동)
로깅 및 모니터링	요청 기록, 에러 기록 등을 통해 시스템 관리

IIS 의 구성요소

구성요소	설명
사이트(Site)	하나의 웹사이트 단위. 포트 번호, 도메인 할당
애플리케이션(Application)	사이트 내부의 논리적 구역 (ex: /api, /admin)
애플리케이션 풀(App Pool)	애플리케이션을 실제로 실행하는 워커 프로세스 관리 단위
워커 프로세스(w3wp.exe)	실제로 코드(C# 등)를 실행하는 OS 프로세스

windows_exporter ( 구: wmi_exporter ) 정의

박쿠리 — Mon, 28 Apr 2025 20:27:31 +0900

windows_exporter 란?

windows_exporter는 Windows 서버의 CPU, 메모리, 디스크, 네트워크 상태 같은 서버 리소스 메트릭(Metrics) 을 수집해서 Prometheus가 가져갈 수 있게 해주는 모니터링 에이전트다. 원래 이름은 wmi_exporter였는데, 2020년에 이름이 windows_exporter로 공식 변경되었다.

쉽게 말하면: "Prometheus가 Windows 서버 상태를 모니터링할 수 있게 해주는 프로그램" 이다.

왜 필요한가?

Prometheus는 기본적으로 Linux 서버에 최적화된 시스템이라,
Windows 서버 리소스(CPU 사용률, 메모리 사용량, 디스크 상태 등) 을 직접 수집할 수 없다.

→ 그래서 Windows 서버에 windows_exporter를 설치해서, Prometheus가 HTTP로 메트릭을 긁어가게 만든다.

작동 방식

항목	설명
서버에 설치	Windows OS에 서비스 형태로 설치
HTTP 엔드포인트 제공	기본 포트 9182번으로 /metrics 엔드포인트 오픈
Prometheus가 수집	Prometheus가 HTTP GET 요청으로 메트릭 가져감

수집 가능한 메트릭 종류

카테고리	메트릭 예시
CPU	cpu usage, cpu interrupt rate
메모리	available memory, memory usage percent
디스크	logical disk usage, read/write IO
네트워크	network interface bytes sent/received
시스템	system uptime, OS version
IIS	IIS 요청 수, 연결 수 (선택적 collector 활성화 필요)
서비스	Windows 서비스 상태 (ex: 특정 서비스 running/stopped 여부)

주요 옵션 ( collector 설정 )

windows_exporter.exe --collectors.enabled cpu,logical_disk,net,os,system

cpu, logical_disk, network, OS, system 메트릭만 활성화

요약

항목	내용
풀네임	windows_exporter (구: wmi_exporter)
주목적	Windows 서버의 시스템 상태(메트릭) 를 Prometheus로 수집할 수 있게 해주는 프로그램
수집하는 정보	CPU 사용률, 메모리 사용량, 디스크 사용량, 네트워크 트래픽, 서비스 상태 등
설치 형태	Windows 서비스로 설치해서 항상 백그라운드에서 동작
포트 기본값	9182번 포트로 HTTP 서버 오픈 (메트릭 제공)

wmi_exporter 와 windows_exporter 차이점

항목	wmi_exporter (구버전)	windows_exporter (최신버전)
개발 시기	2018년까지 주로 사용	2019년부터 이름 변경, 유지보수 중
이름	wmi_exporter	windows_exporter
수집 방식	WMI(Windows Management Instrumentation) 쿼리 직접 사용	성능 카운터(Perfmon API) 위주 사용, WMI 최소화
기본 설치시 활성 콜렉터	많음 (cpu, memory, disk, service, IIS 등 거의 다)	적음 (cpu, memory, disk, system 등 기본만)
WMI 의존성	높음	낮음
서비스 상태 (ex: W3SVC) 직접 수집	가능 (wmi_service_status)	불가능 (기본 콜렉터에는 없음)
IIS 상태 수집	사이트 활성화 여부 직접 수집 가능	트래픽/요청 수만 수집 가능 (활성화 여부는 간접 추정)
성능 부하	약간 높음 (특히 서비스 상태 조회 많을 때)	매우 낮음 (Go 언어, 경량 설계)
설치 복잡도	collector 조정 필요 (안 하면 과다 수집)	비교적 단순 (기본 collector 중심)
유지보수 상태	더 이상 업데이트 없음 (deprecated)	현재 유지보수/업데이트 진행 중
추천 사용 용도	서비스 상태, IIS 살아있음/죽음 같은 세밀한 상태 확인 필요할 때	서버 리소스 모니터링(일반적인 CPU, 메모리, 디스크) 중심일 때