개발자 장지랩

오늘 공부한 내용 1. 토픽에 데이터를 넣는 방법 2. 토픽에 있는 데이터를 가져가는 방법 및 컨슈머 그룹짓는법 3. 컨슈머그룹의 상세조회를 통한 모니터링(?)방법 4. 토픽에 있는 데이터를 지우는 방법 0. 왜인지 카프카가 꺼져있어서 EC2서버에서 재실행 해준 뒤 로컬에 설치된 ubuntu에서 토픽 리스트를 조회해보기 1. kafka-console-producer.sh를 통해 토픽에 데이터 넣기 kafka-console-producer.sh를 통해 전송되는 레코드 값은 String 타입으로만 전송 가능(메세지가 byte로 변환되고 byteArraySerializer로만 직렬화된다고함.) 메시지 키를 가지는 레코드를 추가하기 위해서는 --property "parse.key=true"를 , 키의 구분자를 ..

오늘 공부한 내용 카프카 커맨드 라인 툴 - 커맨드 라인 툴을 통해 카프카 브로커 운영에 필요한 다양한 명령을 내릴 수 있따. 토픽 - 토픽이란 카프카에서 데이터를 구분하는 가장 기본적인 개념. 토픽에는 파티션이 존재하는데, 파티션을 통해 데이터를 처리하는듯 (파티션 갯수는 최소 1개 이상) 토픽생성 kafka-topics.sh를 통해 토픽 관련 명령을 실행할 수 있음. 실습내용 EC2 주키퍼 실행 [ec2-user@ip-172-31-7-55 kafka_2.12-2.5.0]$ sh bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 카프카 서버 실행 [ec2-user@ip-172-31-7-55 kafka_2.12-2.5.0]$ sh bin..

오늘 공부한 내용 1. AWS EC2를 생성 후 카프카 브로커를 설치 및 실행 완료(주키퍼 실행 -> 카프카 브로커 실행) 2. 윈도우 로컬환경에서 우분투를 설치해 EC2에 있는 카프카 서비스가 정상 작동하는지 확인했다. 오늘 새롭게 알게된 내용 1.주키퍼란 ? 1) 분산 코디네이션 개발자가 비즈니스로직에 집중할 수 있게 분산처리를 해주는 오픈소스 프로젝트로 주키퍼가 설치된 여러 서버들의 동기화를 해주는 것을 말하는듯 2) 카프카의 클러스터 설정 리더 정보, 컨트롤러 정보를 담고 있어 카프카를 실행하는 데 필요한 필수 애플리케이션이라고 한다. 이 의미는 차차 카프카를 공부하다 보면 좀더 이해가 되지 않을까 싶다. 2. 윈도우 10버전부터 우분투를 설치하고 파워쉘을 통해 쉽게 우분투에 접근할 수 있다. (..