kafka (5) 썸네일형 리스트형 다시 돌아온 코인 프로젝트 (2) 스토리가 계속 이어집니다 이전 편을 보고 오시면 더욱 이해가 좋습니다! https://sky-develop.tistory.com/99 다시 돌아온 코인 프로젝트 (1)스토리가 계속 이어집니다 이전 편을 보고 오시면 더욱 이해가 좋습니다! https://sky-develop.tistory.com/98 다시 돌아온 코인 프로젝트 (0)오랜만에 포슽잉 이예요 리프레쉬 이후 다시 씽나게 저의 목sky-develop.tistory.com 다시 한번 가보시죠! kafka로 전송로 전처리 한 데이터를 다시 생성해서 보내고 나서 spark-streaming으로 처리 분석을 시작하였습니다 이때 제가 원했던 처리 분석은 다음과 같아요 Ticker 거래 분석 1. 거래소별 평균 2. 지역별 평균 3. 지역 간 .. 다시 돌아온 코인 프로젝트 (1) 스토리가 계속 이어집니다 이전 편을 보고 오시면 더욱 이해가 좋습니다! https://sky-develop.tistory.com/98 다시 돌아온 코인 프로젝트 (0)오랜만에 포슽잉 이예요 리프레쉬 이후 다시 씽나게 저의 목적을 향해 다시 글을 써보려고 합니다 완성은 한 상태이고 하나하나 차근차근 복기를 해보며 지나가려고 합니다 거래소 선택 sky-develop.tistory.com 커넥션을 연결하여 저는 각 스키마 마다 다음과 같이 모든 거래소에서 뽑았습니다..!!timestamp타임스탬프opening_price시가trade_price현재가high_price고가low_price저가prev_closing_price지난 종가acc_trade_volume_24h24시간 평균 볼륨signed_change_.. 다시 돌아온 코인 프로젝트 (0) 오랜만에 포슽잉 이예요 리프레쉬 이후 다시 씽나게 저의 목적을 향해 다시 글을 써보려고 합니다 완성은 한 상태이고 하나하나 차근차근 복기를 해보며 지나가려고 합니다 거래소 선택 거래소를 기존 4개에서 9개로 늘렸습니다 이유는 스케일을 늘려 우리나라 와 다른 지역 간의 거래소 가격차이가 얼마나 나는지 지역 간 거래를 할 때 어떤 거래소에서 진행해야 수익이 나는지를 관찰하고 싶었습니다대한민국업비트빗썸코빗코인원 아시아OKXBybitGateIO유럽BinanceKraken 어떻게 진행했을까?websocket으로 Ticker와 Orderbook으로 진행하였습니다 도중에 끊기면 rest api로 호출하도록 만들었어요 Ticker -> 현재가, Orderbook -> 거래 영수증(어떤 가격에 얼마나 사고팔았는.. Chapter 3. Kafka Producer [카프카로 메시지 전달하기] 3.3 카프카로 메시지 전달하기 메시지를 전송하는 가장 간단한 방법은 다음과 같다 try (Producer producer = new KafkaProducer(kafkaProps)) { // 메시지 생성 및 토픽으로 전송 String message = "Hello, Kafka!"; ProducerRecord record = new ProducerRecord(topic, message); producer.send(record); System.out.println("메시지 전송 성공: " + message); } catch (Exception e) { e.printStackTrace(); } 1. producer는 ProducerRecord 객체를 받으므로 이 객체를 생성하는 것에부터 시작함. 조금 있다가 .. Chapter 3. Kafka Producer [카프카에 메시지 쓰기] 카프카를 큐로 사용하든 메시지 버스나 데이터 저장 플랫폼(data storage platform)으로 사용하든 간에 카프카를 사용할 때는 카프카에 데이터를 쓸 때 사용하는 프로듀서나 읽어 올때 사용하는 컨슈머, 혹은 두 가지 기능 모두를 수행하는 application을 생성해야한다 카프카는 개발자들이 카프카와 상호작용하는 application을 개발할 때 사용할 수 있는 client API와 함께 배포된다. 프로듀서의 디자인과 주요 요소의 전체적인 모습을 살펴본 뒤 KafkaProducer 와 ProducerRecord 객체를 어떻게 생성하는지, 어떻게 카프카에 레코드를 전송하는지, 그리고 리턴할 수 있는 에러를 어떻게 처리 대응하는지 알아보자 끝으로 파티션 할당 방식을 정의하는 파티셔너과 객체의 직렬화.. 이전 1 다음
