SNS + SQS : Fan Out Pattern
·
CLOUD/AWS Cloud
1) APP - 여러 SQS 2) APP - SNS - 여러 SQS 1의 경우, 각 SQS에 보낼 때 APP이 뭔가 문제가 생겨서 delivery를 제대로 못할 수도 있다. 그런데 2의 경우 SNS까지만 보내면 그 다음부터는 알아서 SNS이 책임지고 여러 SQS에 보내니까 훨씬 효율적이다.
ENI는 AZ에 종속적이다.
·
CLOUD/AWS Cloud
ENI는 small VM으로 배포되고, AZ의 subnet에 배포된다.
Udemy AWS SAA-C03 [Decoupling applications: SQS, SNS, Kinesis, Active MQ]
·
CLOUD/AWS Cloud
-> Queue에 메시지가 많이 차면, CloudWatch Alarm이 ASG에게 Scale Out을 하라구 시킨다. https://mentha2.tistory.com/259 [메시지 전달 개념] At-most-once, At-least-once, Exactly-once 정리 데이터 파이프라인 구축 시 자주 보이는 데이터(메시지) 전달 개념 3종류에 대해 간단히 정리해봤습니다. Types of messaging semantics (의미론적 메시지 타입 3가지) 1. At-most-once(최대 한번): 최대 한 번 mentha2.tistory.com 비디오 프로세싱하는 애플리케이션을 만들었다구 하자. 그러면 기본적으로 request가 front-end web app으로 갈거임. 그런데 그러면 front-..
Amazon SQS (+short polling, long polling)
·
CLOUD/AWS Cloud
SQS는 Send message (producer)와 Receive message (consumer)가 분리되어있다. Receive count가 2인 이유는, consumer가 메시지를 받은 후에 processing을 정해진 시간 (polling duration) 안에 해야되는데 그걸 안해가지고 다시 queue로 돌아온거다. 그럼 정상 작동 하게 하는 방법은 뭘까? 바로 delete를 하는거다. Queue에서 message가 delete가 되면, 메시지가 정상적으로 처리되었음을 의미하기 때문이다. 번외) Purge는 Queue에 있는 모든 메시지를 삭제하는거다. 개발 환경에서는 아주 도움이 될거고, 프로덕션 환경에서는 쓰면 안된다. ㅎ Consumer가 polling을 하면 일정 시간(30초)동안은 다른..
cloudformation으로 배포할 때, iam role (policy)이 안맞으면?
·
CLOUD/AWS Cloud
이런식으로 찾으면 됨 ㅎ
EC2 hibernate와 spot instance
·
CLOUD/AWS Cloud
EC2 hibernate를 하면 RAM의 내용을 EBS로 저장할 수 있으니까 root volume에 저장된다는데?, 그럼 스팟 인스턴스로 대규모 계산을 할 때 그 내용을 저장해도 되는건가..? 스팟 인스턴스랑 같이 쓰일 수 있나? https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/hibernate-spot-instances.html Hibernate interrupted Spot Instances - Amazon Elastic Compute Cloud Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us ho..