图解Redis 07 | HyperLogLog数据类型的原理及应用场景

介绍

Redis HyperLogLog 是从 Redis 2.8.9 版本开始引入的一种数据结构，主要用于“基数统计”，即统计数据集中不重复元素的数量。需要注意的是，HyperLogLog 的统计结果是基于概率的，因此不能保证完全准确，其标准误差约为 0.81%。

简单来说，HyperLogLog 提供了一种估算不重复元素数量的方法，这种方法在数据量非常大的情况下也能保持较小的内存消耗。

HyperLogLog 的主要优点是：无论输入元素的数量有多大，HyperLogLog 计算基数所需的内存空间始终是固定的，并且非常小。这样它可以在处理大规模数据集时，节省大量内存资源。

尽管 HyperLogLog 在处理基数统计时具有显著的内存优势，但它也有一些缺点。主要的问题是，它无法提供被统计的具体内容。比如，如果你要统计每天访问的 IP 地址数量，HyperLogLog 可以给你一个大致的访问 IP 总数，但不能提供这些 IP 地址的详细列表。

如果需要同时知道数量和所有具体的 IP 地址，则需要使用集合（Set）来处理。

然而，对于大型网站来说，存储每个访问过的 IP 地址可能会消耗大量的内存。例如，如果你有 1,000,000 个访问 IP，每个 IPv6 地址占用 16 字节，那么这些 IP 地址的总内存需求接近 16MB。如果 IP 地址数量增加到 10,000,00000，那么内存需求将达到约 16GB，这对于内存的需求是相当大的。

相比之下，HyperLogLog 在统计元素基数时只需要固定的内存。例如，计算 2^64 个不同元素的基数，HyperLogLog 只需 12KB 的内存。这对比传统的集合（ Set）数据结构来说，内存占用要低很多。

实现原理

HyperLogLog 的实现原理涉及到很多数学问题，这里就不深究了，有兴趣的朋友可以看看我前面的文章。

常用命令

HyperLogLog 命令很少，常用的有三个。

1. 将指定元素添加到HyperLogLog中

PFADD key element [element ...]

2. 返回给定HyperLogLog的估计基数值

PFCOUNT key [key ...]

3. 将多个 HyperLogLog 合并为一个 HyperLogLog

PFMERGE destkey sourcekey [sourcekey ...]

应用场景

HyperLogLog 主要用于处理网站 UV 统计、广告曝光统计、日访问 IP 统计等需要估算大数据量基数的场景。

下面以网站UV统计为例介绍HyperLogLog的应用。

百万级网页UV统计

统计 UV 时，你可以使用 PFADD 命令将每个访问页面的用户添加到 HyperLogLog 中，例如：

PFADD webpage:uv user1 user2 user3 ...

这样，用户 user1、user2 和 user3 就会被记录到 HyperLogLog 中。

接下来，你可以使用 PFCOUNT 命令获取该网页的 UV 值，即 HyperLogLog 统计结果：

PFCOUNT webpage:uv

这里再次强调，HyperLogLog 的统计结果是基于概率的，因此会存在一定的误差，其标准错误率为 0.81%。这意味着尽管 HyperLogLog 可以提供对大数据量的高效估算，但结果并不是完全准确的。如果您的系统不能接受误差，就不要使用HyperLogLog。