쿠리이야기

AWS 네트워크 인프라 구축 정리 (VPC → Subnet → Routing → IGW → Redshift)VPC (Virtual Private Cloud)정의: AWS에서 제공하는 가상의 네트워크 공간.역할: 우리가 만들 리소스(EC2, RDS, Redshift 등)를 안전하게 격리된 환경에서 운영.설정 시 포인트:CIDR 블록 지정 (예: 10.0.0.0/16)이후 Subnet, 라우팅 등을 이 범위 내에서 구성 쉽게 말해 **“내 집터 마련하기”**에 해당한다. Subnet (서브넷)정의: VPC의 IP 대역을 쪼개 만든 작은 네트워크 구역.종류:Public Subnet: 외부 인터넷과 연결 가능 (IGW를 통해)Private Subnet: 인터넷 연결 불가, 내부 리소스 전용활용:Redshift를..

1. AWS Redshift란?Amazon Redshift는 AWS에서 제공하는 클라우드 기반 데이터 웨어하우스(DWH) 서비스.대규모 데이터를 빠르게 분석할 수 있도록 MPP(Massively Parallel Processing, 대규모 병렬 처리) 아키텍처를 사용하며,SQL 기반 분석을 지원하기 때문에 기존 BI 툴이나 SQL 사용자에게 친숙하다. 주요 특징:고성능: 컬럼 기반 저장, 압축, 병렬 처리로 빠른 쿼리 성능확장성: 페타바이트 규모까지 확장 가능호환성: PostgreSQL 기반 SQL 문법 지원통합성: S3, Glue, QuickSight, Athena, EMR 등과 손쉽게 연동즉, Redshift는 대용량 데이터를 빠르게 분석하기 위한 클라우드 기반 DWH 솔루션. 2. 아키텍처 개념도 ..

1. AWS Glue란?AWS Glue는 AWS에서 제공하는 서버리스(서버 관리 불필요) 데이터 통합 서비스.데이터를 탐색(Discover) → 준비(Prepare) → 변환(Transform) → 적재(Load) 하는 과정을 자동화하여 ETL(Extract, Transform, Load) 작업을 쉽게 할 수 있도록 지원한다. 주요 특징:서버리스: 인프라 관리 필요 없음자동화: 데이터 카탈로그 생성 및 스키마 추론유연성: Spark 기반(분산 처리 가능)통합: S3, RDS, Redshift, DynamoDB 등과 원활하게 연동즉, Glue는 데이터 엔지니어가 복잡한 ETL 파이프라인을 쉽고 빠르게 구성하도록 돕는 서비스.2. 아키텍처 개념도 ┌───────────────────┐ ..