探索使用 CockroachDB、Redpanda 和 Kafka Connect 将数据实时摄取到 Snowflake 中
赋予动机
本文以 “Tour of Snowflake ingestion using CockroachDB and Redpanda Connect” 中的先前讨论为基础，在这篇文章中，我们研究了使用 Redpanda Connect 和 Snowpipe 以批处理模式将更改源从 CockroachDB 流式传输到 Snowflake 的过程。在这里，我们将重点转移到 Kafka Connect，并演示如何利用批处理和流式处理模式将数据摄取到 Snowflake 中。
概述
- 使用企业 changefeed 部署 CockroachDB 集群
- 部署 Snowflake
- 部署 Kafka Connect
- 验证
- 结论