Задача:
- Есть Kafka топик clickhouse_topic. Средствами Clickhouse нужно сохранять сообщения из этого топика в таблицу kafka_queue_data.
Реализация:
- В ./click/init/init.sql для Clickhouse'а создаем прослушку топика -> kafka_queue и таблицу, в которую эти сообщения будут сохраняться -> kafka_queue_data;
- Для автоматической перекачки сообщений нужно создать MATERIALIZED VIEW -> kafka_queue_materialized;
- Запускаем docker-compose up;
- После развертывания контейнеров app будет всаживать сообщения в топик clickhouse_topic, а Clickhouse автоматом сохранять их в kafka_queue_data;
- Подключаемся к Clickhouse'у и смотрим, как постепенно сохраняются 100_000_000 сообщений в kafka_queue_data.