Nacos-3.0.0适配PostgreSQL数据库
🧑 博主简介:CSDN博客专家,历代文学网(PC端可以访问:https://literature.sinhy.com/#/?__c=1000,移动端可微信小程序搜索“历代文学”)总架构师,
15年
工作经验,精通Java编程
,高并发设计
,Springboot和微服务
,熟悉Linux
,ESXI虚拟化
以及云原生Docker和K8s
,热衷于探索科技的边界,并将理论知识转化为实际应用。保持对新技术的好奇心,乐于分享所学,希望通过我的实践经历和见解,启发他人的创新思维。在这里,我希望能与志同道合的朋友交流探讨,共同进步,一起在技术的世界里不断学习成长。
技术合作请加本人wx(注明来自csdn):foreast_sea
Nacos-3.0.0适配PostgreSQL数据库
引言
前段时间写了一篇文章叫“Nacos-2.4.0
最新版本,postgresql插件适配器修改分享”,旨在解决nacos适配PostgreSQL
数据库的问题,因为阿里巴巴nacos开发团队太忙了,一直忙着迭代开发nacos,给大家持续贡献更多更优秀的功能。
但是每次发布nacos
版本时,却忘了及时更新nacos
对应的其他数据源支持,比如大家常用的PostgreSQL
数据库,就有好多伙伴在网上搜索nacos的PostgreSQL
数据库支持插件!却很难找到一个现成能用的,最终都只能接受一个办法,那就是下载nacos
的多数据源项目源码自己在本地修改bug
后打包!有这类需求的朋友,心里应该都清楚,几经折腾很想放弃,但是心有不甘,好不容易走到下载代码后,修改打包这一步,换来的却是无数次失败,真的够大家使劲折腾一番!
好了,废话不多说,相信大家都知道了,前几天nacos
官方发出了新版本3.0.0
正式版,这个版本可谓是花了不少心血啊,前后差不多耗时三五个月,新版本确实有很多大家备受期待的功能,比如:
- 身份验证机制:支持多种身份验证方式,如
OAuth 2.0
和JWT
,确保只有经过授权的用户才能访问敏感数据。 - 细粒度权限控制:管理员可以为不同的用户和角色设置详细的权限,实现更精细的访问控制。
- 加密算法:引入更强大的加密算法,如AES-256,确保数据在传输和存储过程中的安全性。
- 配置灰度管理:支持记录配置灰度历史,方便用户在配置灰度变更后能够查询到之前的变更历史记录和内容,提升了配置变更期间的稳定性和可用性。
- 寻址逻辑统一:优化了客户端和服务端的寻址模块,减少了代码冗余,提高了系统的稳定性和可维护性。
看到这些新特性,相信大家心里应该都迫不及待想体验了,不过对于使用MySQL
的朋友们,确实很方便,不需要那么折腾,因为nacos自身默认使用的就是Mysql,因此本文可能不太需要关注。但是对于想用其他数据库的朋友们,比如想基于PostgreSQL
数据库存储nacos数据的朋友们,今天这篇文章就是大家期待的!
本文重点介绍基于Nacos-3.0.0
最新版本如何用PostgreSQL
数据库来存储,也就是如何打造或直接获取能适配Nacos-3.0.0
的PostgreSQL
数据库插件。
Nacos-3.0.0
版本最直接最快集成PostgreSQL
数据源的方法就是引入依赖,这也是本文重点,也就是核心部分,我把它放这里:
<dependency><groupId>com.sinhy</groupId><artifactId>nacos-postgresql-datasource-plugin-ext</artifactId><version>3.0.0</version>
</dependency>
我已将pg数据源插件打成了jar包,传到maven中央仓库,大家只需下载该jar,然后放入nacos
的home
目录下的plugins
插件目录,再配置pg
数据源信息,即可使用!
一、PostgreSQL
数据库源码地址
为了方便后续及时更新Nacos每个版本对应的PostgreSQL
数据库插件,我们特意基于官方提供的Nacos插件工程进行了二开,然后打算后续自己维护这部分功能,因此给大家分享:
Nacos-3.0.0
的PostgreSQL
数据库插件源码地址
https://github.com/lilinhai/nacos-datasource-plugin-ext
注意:目前该工程中,只有PostgreSQL插件可以正常使用,其余数据库暂未做相关深入适配和测试!
1.1 nacos-3.0.0新增表config_info_gray
config_info_gray
这个表是nacos-3.0.0新增的,用于灰度管理配置,支持记录配置灰度历史,方便用户在配置灰度变更后能够查询到之前的变更历史记录和内容,提升了配置变更期间的稳定性和可用性。以下是该表的postgresql
适配。
DROP TABLE IF EXISTS "config_info_gray";
CREATE TABLE "config_info_gray" ("id" bigserial NOT NULL,"data_id" varchar(255) NOT NULL,"group_id" varchar(128) NOT NULL,"content" text NOT NULL,"md5" varchar(32),"src_user" text,"src_ip" varchar(100) NOT NULL,"gmt_create" timestamp(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,"gmt_modified" timestamp(6) NOT NULL,"app_name" varchar(128) DEFAULT NULL::character varying,"tenant_id" varchar(128) DEFAULT ''::character varying,"gray_name" varchar(128) NOT NULL,"gray_rule" text NOT NULL,"encrypted_data_key" varchar(256) NOT NULL
);
COMMENT ON COLUMN "config_info_gray"."id" IS '自增ID';
COMMENT ON COLUMN "config_info_gray"."data_id" IS 'data_id';
COMMENT ON COLUMN "config_info_gray"."group_id" IS 'group_id';
COMMENT ON COLUMN "config_info_gray"."content" IS 'content';
COMMENT ON COLUMN "config_info_gray"."md5" IS 'md5';
COMMENT ON COLUMN "config_info_gray"."src_user" IS 'src_user';
COMMENT ON COLUMN "config_info_gray"."src_ip" IS 'src_ip';
COMMENT ON COLUMN "config_info_gray"."gmt_create" IS 'gmt_create';
COMMENT ON COLUMN "config_info_gray"."gmt_modified" IS 'gmt_modified';
COMMENT ON COLUMN "config_info_gray"."app_name" IS 'app_name';
COMMENT ON COLUMN "config_info_gray"."tenant_id" IS 'tenant_id';
COMMENT ON COLUMN "config_info_gray"."gray_name" IS 'gray_name';
COMMENT ON COLUMN "config_info_gray"."gray_rule" IS 'gray_rule';
COMMENT ON COLUMN "config_info_gray"."encrypted_data_key" IS 'encrypted_data_key';-- ----------------------------
-- Primary Key structure for table config_info_gray
-- ----------------------------
ALTER TABLE "config_info_gray" ADD CONSTRAINT "config_info_gray_pkey" PRIMARY KEY ("id");
1.2 nacos-3.0.0废弃表config_info_aggr
config_info_aggr
表在Nacos 3.0
版本中不存在了。在Nacos
的早期版本中,config_info_aggr
表用于存储聚合后的配置信息,主要用于集群环境中配置信息的聚合和同步。然而,在Nacos 3.0
版本中,这一功能已经被重新设计和优化,不再依赖于单独的config_info_aggr
表来实现。
1.3 Nacos 3.0中的变化
Nacos 3.0
版本对配置管理进行了重大改进,主要包括以下几个方面:
- 去中心化存储:在
Nacos 3.0
中,配置信息不再集中存储在单一的数据库表中,而是分散存储在多个表中,每个服务或命名空间都有自己的数据表。这种设计减少了单一故障点,提高了系统的可靠性和扩展性。 - 优化查询性能:通过改进查询逻辑和索引策略,
Nacos 3.0
显著提升了查询性能,尤其是在大规模配置管理场景下。 - 更好的兼容性和扩展性:新版本支持更多的数据库类型和更灵活的配置管理策略,使得
Nacos
能够更好地适应不同的使用场景和需求。
Nacos 3.0版本的功能改进
Nacos 3.0
不仅去除了config_info_aggr
表,还引入了其他重要的功能和改进:
- 更强的扩展性:支持更多的服务发现和配置管理场景,包括微服务架构、云原生应用等。
- 更高的可靠性:通过分布式架构设计,提高了系统的稳定性和可用性。
- 更好的性能:优化了查询和处理速度,尤其是在大数据量下表现更佳。
- 更灵活的配置管理:支持更细粒度的配置管理和权限控制,满足不同团队和项目的需求。
二、灰度配置适配
增加了一个抽象类,用于适配其他数据库多灰度配置表的支持:
public abstract class BaseConfigInfoGrayMapper extends AbstractDataSourceMapper implements ConfigInfoGrayMapper
{/*** <pre>构造方法</pre>* @since 2025-04-27 10:03* @param databaseDialect*/protected BaseConfigInfoGrayMapper(DatabaseDialect databaseDialect){super(databaseDialect);}@Overridepublic String getTableName(){return TableConstant.CONFIG_INFO_GRAY;}@Overridepublic MapperResult findAllConfigInfoGrayForDumpAllFetchRows(MapperContext context){String sql = " SELECT id,data_id,group_id,tenant_id,gray_name,gray_rule,app_name,content,md5,gmt_modified " + " FROM config_info_gray ORDER BY id ";sql = databaseDialect.getLimitPageSqlWithOffset(sql, context.getStartRow(), context.getPageSize());return new MapperResult(sql, Collections.emptyList());}
}
三、源码打包构建
源码下载本地后,也可以手动打包构建,输出pg插件,如下图:
执行maven构建命令:
clean package
将输出jar到target目录下:
将jar拷贝到nacos的plugins目录下即可
四、nacos3.0 基于pg启动
启动需要输入安全密钥:
输入后回车、即可访问
8080
(管理端口)端口:
五、插件概述
5.1、简介
从Nacos2.2版本开始,Nacos提供了数据源扩展插件,以便让需要进行其他数据库适配的用户自己编写插件来保存数据。当前项目插件目前已简单适配Postgresql。
当前插件项目地址:
https://github.com/lilinhai/nacos-datasource-plugin-ext
当前项目是基于Nacos3.0.0
版本的扩展插件口进行开发,同时也是基于以下项目的一个分支进行的而开:
https://github.com/nacos-group/nacos-plugin/tree/develop/nacos-datasource-plugin-ext
很感谢阿里nacos
团队的贡献,你们一如既往的迭代nacos
版本,给你们说声辛苦了,但是却忘记了nacos
的其他数据源适配,比如postgresql
。
5.2、插件工程结构说明
nacos-datasource-plugin-ext-base
工程为数据库插件操作的适配抽象定义。
nacos-postgresql-datasource-plugin-ext
工程可打包适配Postgresql
的数据库插件
六、下载和使用
6.1、插件引入
方式一:将nacos
的postgresql
插件下载下来,将依赖手动拷贝到nacos
的home
目录下的plugins
目录下(nacos-3.0.0/plugins
)即可。
- 以下
nacos
的postgresql
插件版本仅支持nacos3.0.0
,采用jdk17
编译级:
<dependency><groupId>com.sinhy</groupId><artifactId>nacos-postgresql-datasource-plugin-ext</artifactId><version>3.0.0</version>
</dependency>
方式二:下载当前插件项目源码,打包为jar包,将该文件的路径配置到startup.sh
文件中,使用Nacos
的loader.path
机制指定该插件的路径,可修改startup.sh
中的loader.path
参数的位置进行指定。
6.2、修改数据库配置文件
在application.properties
文件中声明postgresql
的配置信息:
spring.sql.init.platform=postgresql#spring.datasource.platform=postgresql### Count of DB:
db.num=1### Connect URL of DB:
db.url.0=jdbc:postgresql://127.0.0.1:5432/nacos?currentSchema=public&useUnicode=true&tcpKeepAlive=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai&reWriteBatchedInserts=true&ApplicationName=nacos_java
db.user.0=nacos
db.password.0=nacos
db.pool.config.connectionTimeout=30000
db.pool.config.validationTimeout=10000
db.pool.config.maximumPoolSize=20
db.pool.config.minimumIdle=2
db.pool.config.driverClassName=org.postgresql.Driver# 如果是 oracle 则需要改为 SELECT * FROM dual
# db.pool.config.connectionTestQuery=SELECT 1
6.3、导入Postgresql的数据库脚本文件
导入nacos-postgresql
的脚本文件,脚本文件在nacos-postgresql-datasource-plugin-ext/src/main/resources/schema
文件夹下面.
上面操作完成后,启动Nacos
即可。
七、其他数据库插件开发
可参考nacos-postgresql-datasource-plugin-ext
工程,新创建Maven项目,实现AbstractDatabaseDialect
类,重写相关的分页操作逻辑与方法,并创建相应的mapper实现。
八、参考资料
https://github.com/nacos-group/nacos-plugin/tree/develop/nacos-datasource-plugin-ext