Jeffrey Oh's Notepad

DevOps/Kafka 검색 결과

해당 글 4건

Kafka 실습 (3) - Zookeeper + Kafka + Kafka Manager 설치 및 간단예제

이전 포스팅에서 Docker 와 Docker-compose를 설치했었다. Kafka 실습 (2) - Docker 및 Docker-compose 설치 이번에는 Zookeeper, Kafka, Kafka Manager를 설치하고 로컬에서 간단한 실습을 해보자. Install 앞서 Docker-compose를 설치한 이유는 한번에 관리하기 위함이다. /home/user 경로에 kafka-docker-compose.yml 파일을 생성하고 다음 내용을 추가한 후 저장한다. version: '3' services: zookeeper: image: zookeeper container_name: zookeeper ports: - "2181:2181" networks: - kafka-net restart: always ..

DevOps/Kafka 2021. 2. 15. 14:00

Kafka 실습 (2) - Docker 및 Docker-compose 설치

이전 포스팅에서 가상머신의 설치 및 환경설정까지 했었다. Kafka 실습 (1) - 환경설정 이번에는 Docker 및 Docker-compose를 설치해보자. Docker Install 우선 설치에 앞서 sudo yum -y install 명령어를 통해 업데이트 먼저 한다. 프로그램 -> 시스템 도구 -> 터미널 에서 위 명령어를 입력 후 모든 설치가 완료되면 sudo yum -y install docker 를 입력하여 Docker를 설치한다. 정상적으로 설치가 되었다면 docker -v 버전확인 명령어를 통해 확인한다. 업데이트 (2023-05-12) 이제 위의 방식대로 하면 버전이 너무 낮아 최신 방법으로 기록된 게시물으르 이용할 것 ! Docker 설치 Docker-compose Install Do..

DevOps/Kafka 2021. 2. 15. 11:45

Kafka 실습 (1) - 환경설정

이전 포스팅에서 소프트하게 Kafka 정리를 했었다. Apache Kafka Summary 이번에는 예제 실습을 통한 메시지를 어떻게 보내고 받고 그것을 시각화 까지 하는지 해볼 예정이다. 가상머신 설치 여기서 사용할 가상머신은 vmware 16 + centos 7 이다. 이 조합으로 하기전에 AWS EC2 Micro 버전으로 해보고 싶으면 다음 출처를 통해 연습해보길 바란다. Kafka AWS EC2 Micro 실습 SK Planet 의 데브원영님의 Kafka 교육자료이다. 단, 이 실습은 오로지 Kafka만 실습이 가능하다. 메모리부족으로 다른 것을 같이 할 수 없다.(Elasticsearch, Kibana 등등 못함) 다음 링크를 통해 vmware 를 설치하자.Vmware Workstation Pl..

DevOps/Kafka 2021. 2. 15. 11:07

Apache Kafka Summary

Apache Kafka 아파치 카프카는 오픈 소스 분산 이벤트 스트리밍 플랫폼으로 LinkedIn에서 개발된 메시징 시스템이다. 카프카가 만들어지기 전에는 다음과 같다. -데이터 연동 복잡 -서로 다른 데이터 파이프라인 연결 -확장의 어려움 LinkedIn이 해결하고자 한 것은 다음과 같다. -모든 시스템으로 데이터를 실시간 처리 가능 -확장이 용이 발행된 메시지를 한 곳으로 모아 필요한 주체가 가져다 사용한다. Publish-Subscribe 모델로 구현되었으며 프로듀서(Producer, 생산자), 컨슈머(Consumer, 소비자), 브로커(Broker, 중재자)로 구성되어있다. 주요 개념 Broker : 실행된 카프카 애플리케이션 서버 중 1대로 프로듀서가 발행한 메시지를 받아 컨슈머로부터 요청된 메..

DevOps/Kafka 2021. 2. 4. 11:28