kafka (6) 썸네일형 리스트형 [java]Kafka Streams 에서 Json 처리하기 여러 장비에서 전송되는 메시지의 Kafka 처리 상황을 간단히 확인해보기 위해 Kafka Streams 를 이용해보기로 했다. Kafka Streams 기본 기능 익히기 위해 아래 페이지의 샘플 소스로 우선 기능 테스트. KAFKA STREAMS 세세한 API 사용법은 아직 모르겠지만 기본 실행은 성공. 장비에서 전달되는 메시지가 JSON 타입이므로 위 샘플 코드를 응용하려면 JSON Serdes 가 필요하겠기에 구글링으로 가장 무난한 레퍼런스를 찾았다. Implementing custom SerDes for Java objects using Json Serializer and Deserializer in Kafka Streams applications 테스트해보려는 기본 메시지 형태가 아래 같다고 할 .. Kafka mqtt connector 사용법 - RabbitMQ Kafka mqtt connector 사용법 - Mqtt Broker 글 쓴 후 mqtt broker 로 RabbitMQ 사용하는 구조에 대한 추가 검토가 필요해져서 테스트한 내용 이어서 정리해보겠습니다. Kafka mqtt connector 사용법 mqtt 와 kafka 연동할 일이 생겨서 기술 검토를 진행했다. 일반적으로 언급되는 구조가 위 이미지처럼 mqtt broker 를 이용해서 통신하는 방법이던데 온라인 상의 다수의 레퍼런스가 confluent 의 mqtt brok tzara.tistory.com MQTT Plugin MQTT Plugin — RabbitMQ MQTT Plugin RabbitMQ supports MQTT 3.1.1 via a plugin that ships in the core.. Kafdrop 사용법 정리 이런거 아닌 간단 메모. 카프카 모니터링을 위해 예전에 Kafka Tool https://www.kafkatool.com/ 을 잠깐 쓰다가 버전업되면서 라이센스 정책 변경되어 다른 것 써보려다가 일에 밀려 미뤄뒀었는데 Kafka Tool The Ultimate UI Tool for Kafka Kafka Tool is a GUI application for managing and using Apache Kafka ® clusters. It provides an intuitive UI that allows one to quickly view objects within a Kafka cluster as well as the messages stored in the topics of the c ww.. [Go Lang] Kafka Async Producer 긴급하게 Kafka 이용한 대량 데이터 처리 테스트 지원 요청이 있어서 예전에 go 로 짰던 프로그램을 요건에 맞추어 좀 수정해봤습니다. 여러 장비에서 대량 데이터를 짧은 시간 내에 produce 하는 척 하기 위해 AsyncProducer 와 고루틴 등을 이용해보았는데 아직 목표치만큼 송신하지는 못하고 있어서 개선 부분 고민 중입니다. 온라인에서 참고한 샘플 소스랑 요건 조합하다 보니 go 초보 수준이라 네이밍이나 이런게 엉망이지만 혹시라도 조언 주실 분 있을지 몰라 올려봅니다. package main import ( "bufio" "container/list" "flag" "fmt" "github.com/Shopify/sarama" "gopkg.in/yaml.v2" "io/ioutil" "log" ".. go - db 데이터 json 형식으로 kafka publish 얼마 전 파이썬으로 만들었던 기능을 공부 차원에서 go lang 샘플 코드 주워다 만들어 봤습니다. mariaDB 데이터를 json 형식으로 kafka publish 하는거. ( 코드 아랫 부분에 코멘트해놓은거는 파일에서 읽어 처리하는거) 기능들 펑션으로 분리해놓지도 않은 날코딩이지만 go 에서 db, kafka 이용하는 기초 구문 익혀볼 수 있습니다. import ( "fmt" "github.com/Shopify/sarama" "database/sql" _ "github.com/go-sql-driver/mysql" ) func main() { config := sarama.NewConfig() config.Producer.RequiredAcks = sarama.WaitForAll config.Produ.. DB 데이터 Kafka로 publish 개발 환경에서 대량으로 카프카에 메시지 publish 할 일이 생겨서 python 으로 producer 프로그램을 온라인 매뉴얼 등을 참고해서 급조해보았습니다. 간단한 코딩이지만 몇가지 신경 쓸, 눈여겨 볼만한 것만 꼽아봤습니다. 1. 파이썬 3.7 이상인 경우 pip instll kafka 해서 사용하면 에러. pip install kafka-python 해서 사용해야 함. 2. json 스트링 값으로 보내기 위해 KafkaProducer에서 value_serializer에 람다 이용해서 dictionary 타입을 json 으로 변환하는 것 정도 눈여겨 보시면 될 듯. 3. pip install PyMySQL 해서 DB 라이브러리 땡겨주셔야 하고 sql 문에서는 JSON_OBJECT('key이름', 컬.. 이전 1 다음