27.2 动态分片方案和它要解决的问题
本节重点介绍 :
- 动态分片方案要解决的几个问题
- 如何解决静态分片中分片挂掉的问题
- 如何统一采集器配置
- 如何将采集的target分发给采集器
- 如何降低分片变化时target的迁移
动态分片方案
需要解决下面的问题
- 如何解决静态分片中分片挂掉的问题
- 如何统一采集器配置
- 如何将采集的target分发给采集器
- 如何降低分片变化是target的迁移
如何解决静态分片中分片挂掉的问题
- 答案就是探活，对所有分片进行探活
- 如果发现分片挂掉，将挂掉的分片剔除，进行target的再分配
如何统一采集器配置
- 使用file_sd ，这样每个采集器分片的配置都一致
如何将采集的target分发给采集器
- 既然传输的是文件，则需要ansible文件分发或者其他同步手段
如何降低分片变化时候target的迁移
- 使用一致性哈希算法替换取模
- 这样在分片发生变化时可以降低key的迁移
整体思路总结
- 从cmdb/服务树获取 要监控的target列表，如300台node_exporter
- 以json文件的形式分发存活的3个采集器，每个节点100台
- 每个采集器收到属于自己的target，使用file_sd ，reload配置即可
- 同时开启对3个采集器的探活
- 如果发现采集器A挂掉，则立即获取300台node_exporter分发给 B和C
本节重点 :
- 动态分片方案要解决的几个问题
- 如何解决静态分片中分片挂掉的问题
- 如何统一采集器配置
- 如何将采集的target分发给采集器
- 如何降低分片变化是target的迁移