[아마존] Amazon EC2, S3, AWS Kafka, 및 비용 최적화 개념정리

Amazon EC2: 엘라스틱 컴퓨트 클라우드

Amazon EC2(Elastic Compute Cloud)는 Amazon Web Services(AWS)의 핵심 서비스 중 하나로, 클라우드에서 확장 가능하고 재조정 가능한 컴퓨팅 용량을 제공합니다. EC2는 개발자들이 웹 규모의 클라우드 컴퓨팅을 보다 쉽게 사용할 수 있도록 설계된 서비스로, 사용자가 애플리케이션을 실행할 수 있는 가상 컴퓨팅 환경을 제공합니다. 기업은 물리적인 서버에 투자하는 대신 EC2를 사용하여 필요에 따라 인스턴스라고 불리는 가상 머신을 빠르게 배포하고 수요에 따라 확장하거나 축소할 수 있습니다.

EC2 인스턴스는 다양한 유형으로 제공되며, 각각은 다른 워크로드에 최적화되어 있습니다. 여기에는 컴퓨팅, 메모리, 네트워크 자원의 균형을 제공하는 범용 인스턴스, 고성능 프로세서가 필요한 컴퓨팅 바운드 애플리케이션에 적합한 컴퓨팅 최적화 인스턴스, 메모리 내에서 큰 데이터 세트를 처리하는 워크로드에 적합한 메모리 최적화 인스턴스, 대용량 데이터 세트에 대한 고속의 순차적 읽기 및 쓰기 액세스가 필요한 애플리케이션에 적합한 스토리지 최적화 인스턴스, 그리고 집약적인 그래픽 렌더링이나 머신 러닝 작업에 적합한 GPU 기반 인스턴스 등이 있습니다.

Amazon EC2는 Auto Scaling 기능을 제공하여 애플리케이션의 수요에 따라 자동으로 인스턴스 수를 조정할 수 있습니다. Auto Scaling은 애플리케이션의 가용성을 유지하고 사용자가 정의한 조건에 따라 EC2 용량을 자동으로 확장하거나 축소할 수 있게 해줍니다. 또한, Elastic Load Balancing(ELB)을 통해 들어오는 트래픽을 여러 EC2 인스턴스에 분산시켜 애플리케이션의 장애 허용 범위를 향상시킬 수 있습니다.

EC2의 보안 기능은 매우 강력합니다. Virtual Private Cloud(VPC)와 같은 기능을 통해 사용자가 정의한 가상 네트워크 내에서 AWS 리소스를 시작할 수 있으며, 이 네트워크는 논리적으로 격리됩니다. 이는 보안 그룹과 네트워크 ACL(Access Control List)과 함께 작동하여 인스턴스의 입출력 트래픽을 제어하는 가상 방화벽 역할을 합니다.

EC2 인스턴스는 리눅스와 윈도우 서버의 다양한 버전을 포함한 여러 운영 체제에서 시작할 수 있습니다. 사용자는 AWS에서 제공하는 Amazon Machine Image(AMI)를 사용할 수 있으며, 필요에 따라 자체 AMI를 만들어 정확한 구성을 갖춘 인스턴스를 배포할 수 있습니다. 또한, EC2는 Amazon S3와 같은 스토리지 서비스, Amazon RDS와 같은 관리형 관계형 데이터베이스, Amazon CloudWatch와 같은 모니터링 및 로깅 서비스와 원활하게 통합됩니다.

EC2의 가격은 유연합니다. 여기에는 On-Demand 인스턴스, 예약 인스턴스(Reserved Instances), 스팟 인스턴스(Spot Instances) 옵션이 있습니다. On-Demand 인스턴스는 컴퓨팅 용량에 대해 시간 또는 초 단위로 비용을 지불하며, 장기 계약이 필요하지 않습니다. 예약 인스턴스는 예측 가능한 사용 패턴을 가진 애플리케이션에 대해 On-Demand 가격보다 상당한 할인을 제공하며, 스팟 인스턴스는 유연하고 장애 허용 범위가 넓은 워크로드에 이상적이며, EC2 용량이 남아 있을 때 저렴한 가격에 사용할 수 있습니다.

 

 

 

Amazon S3: 심플 스토리지 서비스

Amazon S3(Simple Storage Service)는 확장 가능하고 신뢰할 수 있는 오브젝트 스토리지 서비스입니다. S3는 산업을 불문하고 다양한 크기의 조직이 데이터 레이크, 웹사이트, 모바일 애플리케이션, 백업 및 복구, 아카이브, 엔터프라이즈 애플리케이션, IoT 장치, 빅데이터 분석 등 여러 사용 사례에 필요한 모든 양의 데이터를 저장하고 보호하는 데 사용됩니다.

Amazon S3는 언제 어디서나 웹을 통해 데이터를 저장하고 검색할 수 있는 간단한 웹 서비스 인터페이스를 제공합니다. S3는 대규모 확장성, 유연한 스토리지 관리, 고급 데이터 보안을 요구하는 현대 애플리케이션을 구축하는 데 이상적입니다.

S3의 객체는 버킷에 저장되며, 버킷은 데이터를 저장하는 컨테이너입니다. 버킷에는 원하는 만큼의 객체를 저장할 수 있으며, 각 객체는 최대 5TB의 크기를 가질 수 있습니다. S3에 저장된 데이터는 매우 내구성이 높고 가용성이 뛰어납니다. AWS는 모든 객체의 복사본을 여러 장치와 여러 시설에 걸쳐 자동으로 저장하여 기기 고장이나 자연재해로 인한 데이터 손실을 방지합니다.

Amazon S3는 가장 엄격한 규제 요구 사항을 충족하는 포괄적인 보안 및 규정 준수 기능을 제공합니다. 데이터는 전송 중 또는 저장 중에 암호화되며, AWS Key Management Service(KMS)와 통합되어 암호화 키를 관리할 수 있습니다. 세밀한 액세스 제어를 통해 사용자는 특정 버킷 및 객체에 대해 사용자 및 그룹에 정밀한 권한을 부여할 수 있습니다. S3는 모든 액세스 요청을 기록하여 데이터를 누가 접근하는지 쉽게 감사하고 모니터링할 수 있습니다.

S3의 주요 기능 중 하나는 다양한 스토리지 클래스를 제공하여 다른 액세스 패턴에 따라 비용을 최적화할 수 있다는 점입니다. S3 Standard 스토리지 클래스는 자주 액세스하는 데이터에 대해 높은 내구성, 가용성, 성능을 제공합니다. S3 Intelligent-Tiering은 액세스 패턴이 변경되면 데이터를 가장 비용 효율적인 액세스 계층으로 자동으로 이동시킵니다. S3 Standard-IA 및 S3 One Zone-IA는 덜 자주 액세스하지만 필요할 때 빠른 검색이 필요한 데이터에 적합합니다. 장기 아카이빙을 위해 S3 Glacier 및 S3 Glacier Deep Archive는 드물게 액세스하는 데이터에 대해 매우 저렴한 비용으로 저장할 수 있습니다.

또한 S3는 다른 AWS 서비스와 원활하게 통합됩니다. 예를 들어, S3를 Amazon CloudFront의 오리진으로 사용하거나, Amazon Athena, Amazon Redshift, Amazon EMR과 같은 분석 서비스의 로그 및 데이터를 저장할 수 있습니다. 버전 관리 및 교차 지역 복제와 같은 기능을 통해 S3는 객체의 이전 버전을 유지하고, 실수로 삭제된 데이터를 복구하며, 데이터를 여러 지리적 위치에 제공할 수 있습니다.

 

 

 

 

AWS Kafka: 관리형 스트리밍 서비스

AWS Kafka(Amazon Managed Streaming for Apache Kafka, MSK)는 스트리밍 데이터를 위한 완전 관리형 서비스로, Apache Kafka를 사용하여 실시간 데이터를 처리하는 애플리케이션을 쉽게 구축하고 실행할 수 있게 해줍니다. Kafka는 LinkedIn에서 처음 개발된 후 Apache Software Foundation의 오픈 소스로 공개된 스트림 처리 플랫폼입니다. Kafka는 실시간 데이터 파이프라인과 스트리밍 애플리케이션을 구축하는 데 사용되며, 하루에 수조 개의 이벤트를 처리할 수 있는 기능을 가지고 있습니다.

Amazon MSK는 Kafka 클러스터의 설정, 확장, 관리를 간소화합니다. MSK를 사용하면 Kafka의 강력한 데이터 스트리밍 기능을 사용할 수 있으며, Kafka 인프라 관리를 위한 운영적 부담을 줄일 수 있습니다. AWS는 Kafka 클러스터의 프로비저닝, 구성, 유지 관리를 처리하므로 사용자는 스트리밍 애플리케이션 구축 및 실행에 집중할 수 있습니다.

MSK는 다른 AWS 서비스와 원활하게 통합됩니다. 예를 들어, Amazon CloudWatch를 사용하여 Kafka 클러스터를 모니터링하고, AWS Identity and Access Management(IAM)를 사용하여 액세스를 관리하며, AWS Key Management Service(KMS)를 사용하여 저장된 데이터를 암호화할 수 있습니다. MSK는 Kafka의 기본 API를 지원하므로 기존의 Kafka 애플리케이션이 MSK에서 수정 없이 작동할 수 있습니다.

Amazon MSK의 주요 기능 중 하나는 데이터가 AWS 리전 내의 여러 가용 영역(AZ)에 자동으로 복제된다는 점입니다. 이는 데이터의 고가용성과 내구성을 보장합니다. 가용 영역 장애가 발생하면 MSK는 자동으로 다른 가용 영역으로 장애 조치(failover)하여 다운타임을 최소화하고 애플리케이션의 연속성을 보장합니다.

MSK는 비용 효율성도 고려하여 설계되었습니다. 사용한 리소스에 대해서만 비용을 지불하며, 선결제 비용이나 장기 계약이 필요하지 않습니다. 이를 통해 애플리케이션의 데이터 스트리밍 요구에 따라 Kafka 클러스터를 확장하거나 축소할 수 있습니다.

Kafka는 실시간 분석, 로그 또는 이벤트 데이터 수집, 스트림 처리와 같은 사용 사례에서 널리 사용됩니다. 예를 들어, 애플리케이션에서 생성된 로그 데이터를 실시간으로 수집 및 분석하거나 IoT 장치에서 생성된 데이터 스트림을 처리 및 분석하는 데 Kafka를 사용할 수 있습니다.

 

 

 

 

 

AWS 비용 최적화: 효율성을 극대화하고 비용을 최소화하기

AWS 비용 최적화는 AWS를 사용하는 조직이 클라우드 투자의 가치를 극대화하고 불필요한 비용을 최소화하기 위해 필수적인 활동입니다. AWS는 클라우드 지출을 관리하고 최적화할 수 있도록 돕는 다양한 도구와 서비스를 제공합니다.

비용 최적화의 주요 전략 중 하나는 AWS Cost Explorer를 사용하는 것입니다. 이 도구는 AWS 지출에 대한 포괄적인 뷰를 제공하여, 비용 및 사용 패턴을 시각화하고, 추세를 식별하며, 비용 절감을 위한 영역을 찾아내는 데 도움을 줍니다.

또한, 비용 최적화의 핵심 요소는 AWS 서비스에 적합한 가격 모델을 선택하는 것입니다. 예를 들어, EC2는 On-Demand, 예약 인스턴스(Reserved Instances), 스팟 인스턴스(Spot Instances)와 같은 다양한 가격 옵션을 제공합니다. 워크로드를 분석하고 가장 적합한 가격 모델을 선택함으로써 EC2 비용을 크게 절감할 수 있습니다. 예약 인스턴스는 예측 가능한 사용 패턴에 대해 On-Demand 가격에 비해 최대 75%의 절감을 제공합니다.

AWS는 또한 AWS Trusted Advisor와 같은 서비스를 제공하여 실시간으로 비용 절감, 보안, 성능 최적화에 대한 권장 사항을 제공합니다. Trusted Advisor는 사용자가 과도하게 프로비저닝된 리소스를 식별하고, 비용 절감을 위해 미사용 리소스를 중지하거나 크기를 줄이는 등의 조치를 취하도록 권장합니다.

또한, S3와 같은 스토리지 서비스에서는 데이터 액세스 패턴에 따라 가장 비용 효율적인 스토리지 클래스를 선택함으로써 비용을 절감할 수 있습니다. 자주 액세스하지 않는 데이터는 S3 Glacier나 S3 Intelligent-Tiering을 사용하여 스토리지 비용을 크게 줄일 수 있습니다.

 

ps.

AWS 비용을 줄일 수 있는 10가지 기법 | Amazon Web Services