WiseN

Amazon Managed Streaming for Kafka 소개

Nov 30,2018   |   AWS

작성자_김명수

페이스북 공유하기 트위터 공유하기
Blog thumbnail

여기서 다루는 내용


· 간단 소개
· Kafka cluster 생성
· Kafka client 생성
· Topic 생성
· Producer/Consumer 테스트
· 마무리


 

어제(2018년 11월 29일) Kafka의 완전관리 서비스 버전인 Amazon Managed Streming for Kafka (이하 MSK) 가 소개되었습니다.

이번 시간에는 MSK의 기능을 간단하게 확인해보도록 하겠습니다.

 




간단 소개







  • Amazon Managed Streming for Kafka

    • 관리형 Kafka 클러스터


    • 제품 세부 정보 : Link



    이미지 출처 : https://aws.amazon.com/msk/


     




    Kafka cluster 생성






    EMR realse 5.10.0 이상 부터 kerberos 인증 활성화를 지원합니다.


    지원되는 어플리케이션은 여기 참고 하시면 됩니다.


     




    구성






    먼저 EMR의 Security configuration을 생성합니다.

     




    구성






    기본 가이드인 AWS 공식문서를 참고로 진행 가능하며,

     

    아래 명령으로 HDFS 디렉터리가 정상적으로 만들어진 부분도  확인 됩니다.  (test1 계정은 생략합니다.)

    [test2@ip-10-0-1-181 ~]$ hdfs dfs -ls /user



    여기까지 구성 및 확인이었습니다.

     




    마무리






    이상으로 MSK를 간단 확인해보았습니다.