개발 일기

Q1. S3 Transfer Acceleration & 멀티파트 업로드각 대륙의 데이터를 하나의 S3 버킷에 집계하려면 S3 버킷에서 S3 Transfer Acceleration 을 켜고 멀티파트 업로드를 사용하여 사이트 데이터를 대상 S3 버킷에 직접 업로드한다.여러 글로벌 사이트의 데이터를 단일 Amazon S3 버킷으로 신속하게 집계하는 가장 효율적이고 운영상 간단한 솔루션을 제공 S3 Transfer AccelerationAmazon CloudFront의 글로벌 네트워크를 활용하여 S3 버킷으로 데이터를 더 빠르게 업로드하거나 다운로드할 수 있도록 설계된 기능. 사용자는 가장 가까운 CloudFront 엣지 로케이션으로 데이터를 업로드하면, AWS 백본 네트워크를 통해 S3 버킷으로 데이터를 ..

'드링크히어'를 위해 VPC 생성 후 Public Subnet/Private Subnet으로 다 분리한 후 ECS, RDS 그리고 ElastiCache를 배치한 뒤 InternetGateway가 위차한 Public Subnet에 Bastion Host를 배치했다.처음에는 어차피 Private Subnet에 위치한 RDS에 Workbench를 통해 접속하기 위해 생성했지만 어차피 노는 서버라서 Jenkins도 같이 사용하면 좋지않을까해서 Jenkins를 설치해봤다. Java21과 Jenkins를 설치하고나서 free -h를 했을때 아래와 같이 약 300MB 밖에 안남은 것을 확인했고 실제로 빌드하게 종종 터지는 현상이 있었다.프리티어의 경우 아마 30GB의 디스크 용량을 제공하지만 메모리(RAM)의 경우 ..

ECS를 VPC 안 Private Subnet에 넣어놨을때 VPC 외부의 ECR로부터 이미지를 받아와서 실행시켜야하는데 이때 NAT Gateway와 Internet Gateway를 지나 Public Internet으로 나간 다음 다시 ECR로 요청이 들어가야한다.그러나 VPC Endpoints를 사용하면 ECS가 Private Subnet에서 실행될 때 NAT Gateway와 Internet Gateway를 통해 퍼블릭 인터넷으로 나가지 않고도 ECR에 접근할 수 있다고 한다.VPC EndpointVPC 엔드포인틀를 통해 인터넷 게이트웨이, NAT 디바이스, VPN 연결 또는 AWS Direct Connect 연결을 필요로 하지 않고 AWS PrivateLink 구동 지원 AWS 서비스 및 VPC 엔드포..

NAT Gateway"NAT Gateway는 Amazon Virtual Private Cloud(VPC)의 프라이빗 서브넷에 있는 인스턴스에서 인터넷에 쉽게 연결할 수 있도록 지원하는 가용성이 높은 AWS 관리형 서비스" NAT Gateway / NAT InstancePrivate 인스턴스가 외부의 인터넷과 통신하기 위한 통로NAT Instance는 단일 EC2 인스턴스 / NAT Gateway는 AWS에서 제공하는 서비스NAT Gateway / Instance 모두 서브넷 단위Public Subnet에 위치해야한다. Bastion Host"외부에서 사설 네트워크에 접속할 수 있도록 경로를 확보해주는 서버"Private 인스턴스에 접근하기 위한 EC2 인스턴스Public 서브넷에 위치해야한다.

보안 그룹(Security Group)"보안 그룹은 인스턴스에 대한 인바운드 및 아웃바운드 트래픽을 제어하는 가상 방화벽 역할을 한다."NACL과 함께 방화벽의 역할을 하는 서비스Port 허용기본적으로 모든 포트는 비활성화선택적으로 트래픽이 지나갈 수 있는 Port와 Source(From) 설정 가능Deny는 불가능하다 ➜ NACL로 가능인스턴스 단위하나의 인스턴스에 하나 이상의 SG설정 가능NACL의 경우 서브넷 단위설정된 인스턴스는 설정한 모든 SG의 룰을 적용 받음기본 5개, 최대 16개Inbound : 들어오는 포트 + 요청을 받는 포트Outbound : 보내는 포트 + 응답을 보내야하는 포트Stateful : 외부에서 서버로 들어오는 트래픽이 있을 때(예: HTTP 요청), 해당 요청에 대한 ..

VPC(Virtual Private Cloud)우리가 흔히 사용하는 서비스들은 Public Internet에 존재하여 사용할 수 있는 것이다.AWS DynamoDB, S3, ECR 등 VPC 외부에 있는 AWS 서비스 들 또한 Public Internet을 통해 엑세스 한다. 그러나 VPC는 Public Internet을 통해 접속할 수 있는 것이 아니기 때문에 외부에서 다이렉트로 엑세스 할 수 없다.이때 AWS Services 또한 다이렉트로 VPC 내부에 엑세스 할 수 없는 것은 마찬가지이다.그래서 예를 들어 VPC 내부의 한 EC2 인스턴스에서 S3에 엑세스하고자 한다면 Internet Gateway를 통해 Public Internet으로 나간 다음에 다시 AWS Services의 Amazon S3..

Amazon SageMaker, Amazon Lex, Amazon Polly, AWS Batch 등이 ECS를 기반으로 동작한다. Built for Security, Reliability, Availability, and Scale 컨테이너 오케스트레이션 도구의 구조는 Control Plane과 Data Plane이 있는데 사용자가 원하는 상태로 동작하도록 관리하는 것이 핵심이다.Amazon ECS Construct크게 3가지로 구성된다. 첫번째로 Cluster테스크가 실행되는 논리적 그룹Region 내 서비스 및 작업의 논리적 그룹화IAM은 클러스터에 대한 사용자 권한 제어기본 인프라를 EC2를 사용할지 Fargate로 사용할지클러스터 생성 시 EC2 선택하면 ECS AMI 사용한 AutoScaling..

AWS EC2를 생성하면 아래와 같이 퍼블릭 IP, 프라이빗 IP 그리고 각각의 DNS 이름까지 할당되어 나온다.이전에 Public IP와 Private IP에 대해서 알아봐서 이제 그래서 EC2에서의 IP에 대해 조금 더 깊이 이해해보고자 한다. EC2의 퍼블릭 IPv4 주소와 프라이빗 IPv4 주소처음에 나의 의문은 퍼블릭 IP 밑에 여러 컴퓨터가 있을 수도 있는데 어떻게 하나의 인스턴스에 접속할 수 있는거지?라는 생각을 했었다. 알고보니 AWS의 퍼블릭 IP는 NAT 없이 직접 인스턴스에 할당되어 퍼블릭 IP가 인스턴스와 1:1 매핑되었기 때문에 가능했던 것이다. 그래서 보안그룹을 통해 포트와 접속하는 IP를 열어 놓으면 그 인스턴스 내부로 접근할 수 있게 되는 것이였다. 그러나 프라이빗 IP를 통..