Harbor镜像仓库迁移与高可用集群搭建HTTPS实现实战指南
实验环境
Ubuntu22.04操作系统
registry节点 10.0.0.91
master节点 10.0.0.92
backup节点 10.0.0.93
在企业信息化建设的不同演进阶段,私有镜像仓库的选型策略存在显著差异。近期主导完成某企业级容器镜像仓库升级项目,成功实现Docker Registry至Harbor企业级镜像仓库的平滑迁移。本次技术实践采用基于Harbor的高可用架构设计,同时构建跨数据中心的镜像同步机制,现就架构方案与实施要点进行技术复盘。本文重点剖析Harbor的集群化部署方案、多副本数据一致性保障策略,以及跨云环境镜像同步的最佳实践。
Registry与Harbor功能矩阵对比图
功能模块 | Docker Registry | Harbor |
---|---|---|
权限控制 | 基础HTTP认证 | RBAC角色体系、项目级权限 |
漏洞扫描 | 不支持 | 集成Trivy/Clair、CVE数据库 |
镜像同步 | 需第三方工具 | 多策略跨集群复制 |
高可用架构 | 依赖外部存储 | 内置PostgreSQL集群、Redis哨兵 |
存储后端 | 本地/对象存储 | 支持S3/OSS/NFS/Ceph |
操作审计 | 无 | 完整操作日志记录与追溯 |
Helm Chart管理 | 不支持 | 独立Chart仓库服务 |
镜像签名 | 需手动配置 | Notary服务集成 |
GC机制 | 手动触发 | 策略化自动回收+空间监控 |
通过Harbor的企业级镜像治理能力,企业可构建从开发环境到生产环境的可信镜像流水线,将镜像安全管控节点左移,实现漏洞早发现、风险早阻断。在大规模迁移场景中,合理运用Harbor的智能化GC与分布式复制能力,可使PB级仓库迁移效率提升300%以上,为云原生转型提供坚实基础设施保障。
一、Registry镜像仓库迁移至Harbor
1. 查看现有Registry镜像列表
通过API接口获取当前Registry仓库中的所有镜像:
curl http://10.0.0.91:5000/v2/_catalog
2. Harbor仓库复制配置
登录Harbor管理界面
-
创建目标项目
进入"项目" → "新建项目",输入项目名称(如
library
),选择公开或私有。
-
配置复制规则
导航至"复制管理" → "新建复制规则":
- 名称:registry-migration
- 复制模式:Push(从Registry推送至Harbor )
- 源仓库:选择
Registry
类型,填写地址http://10.0.0.91:5000
- 目标项目:选择刚创建的项目(如
library
) - 触发模式:选择"手动触发"(首次迁移建议手动)
-
执行镜像同步
在复制规则列表中找到新建规则,点击"执行"按钮启动迁移。任务状态可在"任务日志"中查看。
二、Harbor高可用集群部署
1. 双节点Harbor部署
以10.0.0.92(主)和10.0.0.93(备)为例
配置文件呈现
[root@elk93 ~]# vim /usr/local/harbor/harbor.yml
...
hostname: 10.0.0.93
...
## https related config
#https:
# # https port for harbor, default is 443
# port: 443
# # The path of cert and key files for nginx
# certificate: /your/certificate/path
# private_key: /your/private/key/path
# # enable strong ssl ciphers (default: false)
# # strong_ssl_ciphers: false...
harbor_admin_password: 1
...
data_volume: /data/harbor
...本文简单修改了四处配置文件,并且将HTTPS给注释掉,因为我在测试环境还原了步骤,没有证书了。。。。
# 在两节点执行以下操作
wget https://github.com/goharbor/harbor/releases/download/v2.7.0/harbor-offline-installer-v2.7.0.tgz
tar zxf harbor-offline-installer-v2.7.0.tgz -C /usr/local/
cd /usr/local/harbor
cp harbor.yml.tmpl harbor.yml
vim harbor.yml # 修改hostname和端口配置
./install.sh # 启动Harbor
Keepalived实现VIP漂移
# 两个节点安装keepalived服务apt install -y keepalived
主备节点配置差异点:
主节点(10.0.0.92)配置
# 修改配置文件
92节点的master
[root@elk92 ~]# cat /etc/keepalived/keepalived.conf
# /etc/keepalived/keepalived.conf(主节点:10.0.0.92)
global_defs {router_id 10.0.0.92 # 必须唯一,建议用本机IP
}vrrp_script chk_nginx {script "killall -0 nginx" # 检查Nginx进程是否存在interval 2 # 每隔2秒检查一次weight -20 # 检查失败时,优先级降低20
}vrrp_instance VI_1 {state MASTER # 主节点角色interface ens33 # 网卡名称(需根据实际网卡名修改)virtual_router_id 251 # 虚拟路由ID(主从必须一致)priority 100 # 初始优先级(必须高于从节点)advert_int 1 # 主备同步检查间隔(秒)mcast_src_ip 10.0.0.92 # 本机IP(必须为本机真实IP)# 注释或删除 nopreempt 以启用抢占模式# nopreempt # 主节点恢复后会自动抢回VIPauthentication {auth_type PASS # 认证类型auth_pass yinzhengjie # 密码(主从必须一致)}track_script {chk_nginx # 绑定健康检查脚本}virtual_ipaddress {10.0.0.66 # 虚拟IP(VIP)}
}
备节点(10.0.0.93)配置:
93节点的backup
[root@elk93 /usr/local/harbor]# cat /etc/keepalived/keepalived.conf
# /etc/keepalived/keepalived.conf(从节点:10.0.0.93)
global_defs {router_id 10.0.0.93 # 必须唯一,建议用本机IP
}vrrp_script chk_nginx {script "killall -0 nginx"interval 2weight -20
}vrrp_instance VI_1 {state BACKUP # 从节点角色interface ens33virtual_router_id 251 # 必须与主节点一致priority 90 # 初始优先级低于主节点advert_int 1mcast_src_ip 10.0.0.93 # 本机IP(必须为本机真实IP)authentication {auth_type PASSauth_pass yinzhengjie}track_script {chk_nginx}virtual_ipaddress {10.0.0.66}
}访问测试:
http://10.0.0.66现在的VIP就在93上面,我们实现VIP漂移
[root@elk93 ~]# systemctl stop keepalived.service
再次刷新
现在可以看到harbor的节点变成了92节点的信息
3. Nginx反向代理配置
在独立节点(如10.0.0.91)部署:
upstream harbor_cluster {server 10.0.0.66:80;
}server {listen 80;server_name harbor.yourdomain.com;location / {proxy_pass http://harbor_cluster;proxy_set_header Host $host;}
}
访问测试,这里只需要在Windows的hosts解析一下即可,模拟一下域名。
4. 最终架构验证
- 访问测试:
http://harbor.yourdomain.com
- VIP漂移测试:
再次测试keepalived
[root@elk92 ~]# systemctl stop keepalived.service
[root@elk92 ~]# ip a s ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000link/ether 00:0c:29:ca:88:8d brd ff:ff:ff:ff:ff:ffaltname enp2s1inet 10.0.0.92/24 brd 10.0.0.255 scope global ens33valid_lft forever preferred_lft foreverinet6 fe80::20c:29ff:feca:888d/64 scope link valid_lft forever preferred_lft forever
[root@elk92 ~]# 这时候已经漂移到93节点
[root@elk93 ~]# ip a |grep ens33
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000inet 10.0.0.93/24 brd 10.0.0.255 scope global ens33inet 10.0.0.66/32 scope global ens33
再次刷新页面
可以发现数据已经变回了93节点的
三、主从harbor镜像数量同步一致
这时候我们的高可用架构已经搭建完成了,我们只需要同步一下两个harbor的镜像仓库的镜像数量就可以了
等待一分钟,成功即可
四、实现HTTPS证书安全访问
Harbor私有镜像仓库HTTPS深度配置指南:自签名证书与权威CA双实战
引言
在容器化技术普及的今天,Harbor作为企业级私有镜像仓库,其安全传输机制尤为重要。本文深入讲解两种HTTPS配置方案:基于自签证书的快速部署方案与生产级权威CA证书方案,助您构建安全的容器镜像管理体系。
方案选型指南
特性 | 自签证书方案 | 权威CA证书方案 |
---|---|---|
适用场景 | 测试/内部环境 | 生产环境 |
证书信任 | 需手动配置客户端信任 | 浏览器/Docker自动信任 |
安全性 | 基础安全 | 企业级安全 |
维护成本 | 低(无需购买) | 中(需续费管理) |
部署复杂度 | 简单 | 中等 |
自签名证书实战方案
1. 基础环境构建
# 传输安装包到目标主机
scp harbor-offline-installer-v2.12.2.tgz oldboyedu-autoinstall-docker-docker-compose.tar.gz 10.0.0.250:~# 安装Docker生态
tar xf oldboyedu-autoinstall-docker-docker-compose.tar.gz
./install-docker.sh i
tar xf harbor-offline-installer-v2.12.2.tgz -C /usr/local/
2. CA证书链构建
# 生成CA根证书(有效期10年)
openssl genrsa -out ca/ca.key 4096
openssl req -x509 -new -nodes -sha512 -days 3650 \-subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=oldboyedu.com" \-key ca/ca.key \-out ca/ca.crt# 生成服务端证书(含SAN扩展)
openssl genrsa -out harbor-server/harbor250.key 4096
openssl req -sha512 -new -subj "/.../CN=harbor250.oldboyedu.com" -key harbor-server/harbor250.key -out harbor-server/harbor250.csrcat > harbor-server/v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = DNS:harbor250.oldboyedu.com
EOFopenssl x509 -req -sha512 -days 3650 -extfile harbor-server/v3.ext \-CA ca/ca.crt -CAkey ca/ca.key -CAcreateserial \-in harbor-server/harbor250.csr \-out harbor-server/harbor250.crt
3. Harbor服务配置
# harbor.yml核心配置
hostname: harbor250.oldboyedu.com
https:certificate: /usr/local/harbor/certs/harbor-server/harbor250.crtprivate_key: /usr/local/harbor/certs/harbor-server/harbor250.key
harbor_admin_password: StrongPassword@2024
data_volume: /data/harbor # 建议挂载独立存储卷
4. 客户端信任配置
# 分发CA根证书
mkdir -p /etc/docker/certs.d/harbor250.oldboyedu.com/
scp harbor250:/usr/local/harbor/certs/ca/ca.crt /etc/docker/certs.d/harbor250.oldboyedu.com/# 验证登录
docker login -u admin -p StrongPassword@2024 harbor250.oldboyedu.com
权威CA证书生产方案
1. 证书准备流程
- 在云平台(Let's Encrypt/付费CA)申请域名证书
- 获取证书包(通常包含
domain_bundle.crt
和domain.key
)
2. 证书部署规范
# 证书存放规范
/usr/local/harbor/
└── harbor.yinzhengjie.com_nginx/├── harbor.yinzhengjie.com_bundle.crt # 证书链文件└── harbor.yinzhengjie.com.key # 私钥文件
3. 关键配置项
# harbor.yml HTTPS配置段
https:certificate: /usr/local/harbor/harbor.yinzhengjie.com_nginx/harbor.yinzhengjie.com_bundle.crtprivate_key: /usr/local/harbor/harbor.yinzhengjie.com_nginx/harbor.yinzhengjie.com.key
4. 服务重载命令
# 完整更新流程
./prepare --with-trivy --with-chartmuseum # 按需添加组件
./install.sh --with-notary --with-trivy # 组合安装参数
深度运维技巧
1. 证书管理规范
- 权限控制:
chmod 600 *.key
- 定期巡检:建立证书到期提醒机制
- 更新策略:
# 证书热更新流程 mv new_cert.crt /usr/local/harbor/certs/harbor-server/ docker-compose -f /usr/local/harbor/docker-compose.yml down docker-compose -f /usr/local/harbor/docker-compose.yml up -d
2. 跨平台客户端配置
Windows Docker Desktop:
- 将CA证书导入"受信任的根证书颁发机构"
- 重启Docker服务
Kubernetes集群配置:
# 在containerd配置中添加信任
[plugins."io.containerd.grpc.v1.cri".registry][plugins."io.containerd.grpc.v1.cri".registry.configs][plugins."io.containerd.grpc.v1.cri".registry.configs."harbor250.oldboyedu.com".tls]ca_file = "/etc/containerd/certs.d/harbor250/ca.crt"
故障排查矩阵
故障现象 | 排查方向 | 解决命令/方法 |
---|---|---|
x509: certificate signed by ... | 1. 检查客户端证书路径 2. 验证证书链完整性 | openssl verify -CAfile ca.crt server.crt |
503 Service Unavailable | 1. 检查docker-compose状态 2. 查看端口冲突 | docker-compose ps netstat -tlnp |
登录成功但推送失败 | 1. 项目权限检查 2. 存储空间检查 | df -h Harbor控制台审计日志 |
结语
通过本文两种HTTPS配置方案的对比实施,开发者可根据实际环境需求灵活选择。建议开发测试环境采用自签证书快速搭建,生产环境务必使用权威CA证书并建立完善的证书生命周期管理体系。定期检查Harbor官方安全公告,保持服务更新至最新稳定版本。
延伸阅读:
- Harbor官方HTTPS最佳实践
- Let's Encrypt免费证书申请指南
- 企业级证书管理方案Keycloak集成实践
五、生产环境注意事项
-
存储一致性
建议使用共享存储(如NFS/CEPH)挂载/data
目录,确保双节点数据一致。 -
数据库高可用
Harbor默认使用本地PostgreSQL,生产环境建议改用外部MySQL集群。 -
证书配置
为Harbor和Nginx配置HTTPS证书,提升安全性:# 在Harbor节点生成证书 openssl req -x509 -newkey rsa:4096 -nodes -days 365 \-keyout /etc/nginx/ssl/harbor.key \-out /etc/nginx/ssl/harbor.crt
-
监控告警
集成Prometheus监控关键指标:- 容器健康状态
- 镜像同步延迟
- 存储空间使用率
附录:Harbor复制触发模式详解
模式 | 适用场景 | 配置建议 |
---|---|---|
手动触发 | 数据初始化、临时同步 | 结合脚本批量操作 |
定时触发 | 跨地域定期备份 | Cron表达式设置非峰值时段 |
事件触发 | 生产环境实时同步 | 限制并发防止任务堆积 |
失败重试 | 网络抖动后的数据修复 | 设置最大重试次数(建议3-5次) |
通过本文方案,可实现企业级镜像仓库的无缝迁移与高可用保障,支撑容器化业务的稳定运行。