fake-data-pipeline

Data Generators -> Kafka -> Spark Streaming -> PostgreSQL -> Grafana

1. fake data -> Kafka

• 랜덤 생성된 데이터들을 카프카 토픽으로 보냄 (Topics: iot, words)
• data-generators/iot_devices.py
• data-generators/words.py
• data-generators/seoul_bike_api.py (Not fake!)

2. Spark Structured Streaming -> PostgreSQL

• iot, words, bike 토픽을 구독하고 처리함
• 5초마다 토픽별로 필터링, 집계 및 timestamp관련 작업(for 실시간 시각화)을 한 후 PostgreSQL의 pipeline_db로 적재.
• StreamHandler.scala

3. Grafana

• PostgreSQL에 담겨지는 데이터들을 시각화

IOT Dashboard

Words Dashboard

Bike Dashboard

---

한번 해보기

Docker & docker-compose로 작성했으므로 간단히 실행해보자.
Dockerfile 링크: Docker Images repo

1. git clone

git clone https://github.com/JHLeeeMe/fake-data-pipeline.git

2. Run docker-compose

cd fake-data-pipeline && docker-compose up -d

# Check
docker-compose ps

여기까지하면 아래와 같은 컨테이너가 실행된다.

Spark: master(10.0.0.10), slave-1, slave-2, slave-3 (10.0.0.11 ~ 10.0.0.13)
Kafka: kafka-single-node(10.0.0.30)
PostgreSQL: postgresql(10.0.0.40)
Grafana: grafana(10.0.0.50)

3. Run data-generators

master container에서 python script들을 실행하자.

docker exec -it master /bin/bash

# master container
master$ cd ~/fake-data-pipeline
master$ pip3 install -r requirements.txt
master$ python3 data-generators/iot_devices.py <home || seoul>

작성한 스크립트가 데몬실행에 적절하지 않음.
그러므로 3개의 콘솔창에 각 docker master로 접근해서 실행하면 된다.
아니면 스크립트 수정하자.
e.g.

4. Run spark-submit

3번 과정에 의해 fake 데이터들이 iot, words 토픽으로 보내지는 중
StreamHandler를 실행시켜 데이터를 정제 후 PostgreSQL로 저장.
spark-submit 실행 스크립트를 만들어두었다.

docker exec -it master /bin/bash

# master container
master$ cd /root/fake-data-pipeline/StreamHandler
master$ ./run-spark-submit.sh

5. Grafana로 시각화

웹 브라우저를 켜고 localhost:3000로 접속
(초기 id: admin, password: admin)
data source를 postgresql로 만들고 시각화

위 스크린샷에서 보여지는 대쉬보드는 grafana/dashboards에 올려둠
import해서 쓰면 될것이다. (이것까지 자동화해서 작성할 수 있어보이던데 귀찮아서 더 안찾아봄...)