当前位置： 首页 > news >正文

麒麟操作系统 xxl-job集群搭建

news 2024/9/22 5:42:28

xxl-job 集群安装

1. 环境介绍

操作系统Kylin Linux Advanced Server V10 (Lance)Kylin Linux Advanced Server V10 (Lance)Kylin Linux Advanced Server V10 (Lance)
内核版本Linux 4.19.90-52.22.v2207.ky10.aarch64Linux 4.19.90-52.22.v2207.ky10.aarch64Linux 4.19.90-52.22.v2207.ky10.aarch64
IP192.168.31.82192.168.31.83192.168.31.84
Mysql5.7.275.7.275.7.27
JDK1.81.81.8

前提: 准备好高可用数据库 比如mysql 主从 没有则可以查看下面的问题自行搭建

Mysql主从搭建

2. 安装jdk

# 解压
# 下载地址 https://d.injdk.cn/download/oraclejdk/8/jdk-8u381-linux-aarch64.tar.gz
tar -zxvf jdk-8u381-linux-aarch64.tar.gz# 创建文件夹
mkdir -p /usr/local/java# 移动目录
mv jdk1.8.0_381 /usr/local/java# 配置环境变量
vi /etc/profile.d/jdk.sh#!/bin/bash
export JAVA_HOME=/usr/local/java/jdk1.8.0_381
export PATH=${PATH}:${JAVA_HOME}/bin# 启用
source /etc/profile.d/jdk.sh# 验证
java -version

3. 下载xxl-job

# 下载地址
https://github.com/xuxueli/xxl-job/releases# 下载下来 直接源码编译即可# 上传到服务器上
# 新建目录 存放jar包 
mkdir -p /opt/software/xxl-job &&  cd /opt/software/xxl-job# 上传jar包 xxl-job-admin-2.4.1.jar# 数据库导入sql脚本CREATE database if NOT EXISTS `xxl_job` default character set utf8mb4 collate utf8mb4_unicode_ci;
use `xxl_job`;SET NAMES utf8mb4;CREATE TABLE `xxl_job_info` (`id` int(11) NOT NULL AUTO_INCREMENT,`job_group` int(11) NOT NULL COMMENT '执行器主键ID',`job_desc` varchar(255) NOT NULL,`add_time` datetime DEFAULT NULL,`update_time` datetime DEFAULT NULL,`author` varchar(64) DEFAULT NULL COMMENT '作者',`alarm_email` varchar(255) DEFAULT NULL COMMENT '报警邮件',`schedule_type` varchar(50) NOT NULL DEFAULT 'NONE' COMMENT '调度类型',`schedule_conf` varchar(128) DEFAULT NULL COMMENT '调度配置，值含义取决于调度类型',`misfire_strategy` varchar(50) NOT NULL DEFAULT 'DO_NOTHING' COMMENT '调度过期策略',`executor_route_strategy` varchar(50) DEFAULT NULL COMMENT '执行器路由策略',`executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',`executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',`executor_block_strategy` varchar(50) DEFAULT NULL COMMENT '阻塞处理策略',`executor_timeout` int(11) NOT NULL DEFAULT '0' COMMENT '任务执行超时时间，单位秒',`executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',`glue_type` varchar(50) NOT NULL COMMENT 'GLUE类型',`glue_source` mediumtext COMMENT 'GLUE源代码',`glue_remark` varchar(128) DEFAULT NULL COMMENT 'GLUE备注',`glue_updatetime` datetime DEFAULT NULL COMMENT 'GLUE更新时间',`child_jobid` varchar(255) DEFAULT NULL COMMENT '子任务ID，多个逗号分隔',`trigger_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '调度状态：0-停止，1-运行',`trigger_last_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '上次调度时间',`trigger_next_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '下次调度时间',PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `xxl_job_log` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`job_group` int(11) NOT NULL COMMENT '执行器主键ID',`job_id` int(11) NOT NULL COMMENT '任务，主键ID',`executor_address` varchar(255) DEFAULT NULL COMMENT '执行器地址，本次执行的地址',`executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',`executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',`executor_sharding_param` varchar(20) DEFAULT NULL COMMENT '执行器任务分片参数，格式如 1/2',`executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',`trigger_time` datetime DEFAULT NULL COMMENT '调度-时间',`trigger_code` int(11) NOT NULL COMMENT '调度-结果',`trigger_msg` text COMMENT '调度-日志',`handle_time` datetime DEFAULT NULL COMMENT '执行-时间',`handle_code` int(11) NOT NULL COMMENT '执行-状态',`handle_msg` text COMMENT '执行-日志',`alarm_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '告警状态：0-默认、1-无需告警、2-告警成功、3-告警失败',PRIMARY KEY (`id`),KEY `I_trigger_time` (`trigger_time`),KEY `I_handle_code` (`handle_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `xxl_job_log_report` (`id` int(11) NOT NULL AUTO_INCREMENT,`trigger_day` datetime DEFAULT NULL COMMENT '调度-时间',`running_count` int(11) NOT NULL DEFAULT '0' COMMENT '运行中-日志数量',`suc_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行成功-日志数量',`fail_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行失败-日志数量',`update_time` datetime DEFAULT NULL,PRIMARY KEY (`id`),UNIQUE KEY `i_trigger_day` (`trigger_day`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `xxl_job_logglue` (`id` int(11) NOT NULL AUTO_INCREMENT,`job_id` int(11) NOT NULL COMMENT '任务，主键ID',`glue_type` varchar(50) DEFAULT NULL COMMENT 'GLUE类型',`glue_source` mediumtext COMMENT 'GLUE源代码',`glue_remark` varchar(128) NOT NULL COMMENT 'GLUE备注',`add_time` datetime DEFAULT NULL,`update_time` datetime DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `xxl_job_registry` (`id` int(11) NOT NULL AUTO_INCREMENT,`registry_group` varchar(50) NOT NULL,`registry_key` varchar(255) NOT NULL,`registry_value` varchar(255) NOT NULL,`update_time` datetime DEFAULT NULL,PRIMARY KEY (`id`),KEY `i_g_k_v` (`registry_group`,`registry_key`,`registry_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `xxl_job_group` (`id` int(11) NOT NULL AUTO_INCREMENT,`app_name` varchar(64) NOT NULL COMMENT '执行器AppName',`title` varchar(12) NOT NULL COMMENT '执行器名称',`address_type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '执行器地址类型：0=自动注册、1=手动录入',`address_list` text COMMENT '执行器地址列表，多地址逗号分隔',`update_time` datetime DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `xxl_job_user` (`id` int(11) NOT NULL AUTO_INCREMENT,`username` varchar(50) NOT NULL COMMENT '账号',`password` varchar(50) NOT NULL COMMENT '密码',`role` tinyint(4) NOT NULL COMMENT '角色：0-普通用户、1-管理员',`permission` varchar(255) DEFAULT NULL COMMENT '权限：执行器ID列表，多个逗号分割',PRIMARY KEY (`id`),UNIQUE KEY `i_username` (`username`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;CREATE TABLE `xxl_job_lock` (`lock_name` varchar(50) NOT NULL COMMENT '锁名称',PRIMARY KEY (`lock_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;INSERT INTO `xxl_job_group`(`id`, `app_name`, `title`, `address_type`, `address_list`, `update_time`) VALUES (1, 'xxl-job-executor-sample', '示例执行器', 0, NULL, '2018-11-03 22:21:31' );
INSERT INTO `xxl_job_info`(`id`, `job_group`, `job_desc`, `add_time`, `update_time`, `author`, `alarm_email`, `schedule_type`, `schedule_conf`, `misfire_strategy`, `executor_route_strategy`, `executor_handler`, `executor_param`, `executor_block_strategy`, `executor_timeout`, `executor_fail_retry_count`, `glue_type`, `glue_source`, `glue_remark`, `glue_updatetime`, `child_jobid`) VALUES (1, 1, '测试任务1', '2018-11-03 22:21:31', '2018-11-03 22:21:31', 'XXL', '', 'CRON', '0 0 0 * * ? *', 'DO_NOTHING', 'FIRST', 'demoJobHandler', '', 'SERIAL_EXECUTION', 0, 0, 'BEAN', '', 'GLUE代码初始化', '2018-11-03 22:21:31', '');
INSERT INTO `xxl_job_user`(`id`, `username`, `password`, `role`, `permission`) VALUES (1, 'admin', 'e10adc3949ba59abbe56e057f20f883e', 1, NULL);
INSERT INTO `xxl_job_lock` ( `lock_name`) VALUES ( 'schedule_lock');commit;

4. 编写配置文件

4.1 节点192.168.31.82

cat > /opt/software/xxl-job/application.properties <<EOF# 填入你直接的数据库连接
spring.datasource.url=jdbc:mysql://192.168.31.82:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=yuanfang_2024
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
EOF

4.2 节点192.168.31.83

cat > /opt/software/xxl-job/application.properties <<EOF# 填入你直接的数据库连接
spring.datasource.url=jdbc:mysql://192.168.31.83:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=yuanfang_2024
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
EOF

4.3 节点192.168.31.84

cat > /opt/software/xxl-job/application.properties <<EOF# 填入你直接的数据库连接
spring.datasource.url=jdbc:mysql://192.168.31.84:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=yuanfang_2024
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
EOF

5. 启动

# 后台运行
java -jar /opt/software/xxl-job/xxl-job-admin-2.4.1.jar >> /opt/software/xxl-job/xxl-job.log 2>&1 &# 访问
http://IP:8080/xxl-job-admin 
# 默认账号和密码
admin/123456

6 nginx安装

6.1 安装前提(可选)

# 检查电脑是否安装了 pcre-config openssl 如果没有则安装
# 下载pcre(其他)
wget http://downloads.sourceforge.net/project/pcre/pcre/8.37/pcre-8.37.tar.gz# 解压
tar -zxvf pcre-8.37.tar.gz# 进入目录
cd pcre-8.37# 编译安装
./configure
make install# 检测是否安装成功
pcre-config --version# 下载 openssl(其他)
https://github.com/openssl/openssl/releases/download/openssl-3.2.1/openssl-3.2.1.tar.gz# 解压
tar -zxvf openssl-3.2.1.tar.gz# 进入目录
cd openssl-3.2.1# 编译安装
./config make install# 安装zlib
yum -y install zlib zlib-devel libtool

6.2 安装nginx

# 官方地址
https://nginx.org/en/download.html# 下载
mkdir -p /opt/software/nginx && cd /opt/software/nginx
wget https://nginx.org/download/nginx-1.26.2.tar.gz# 解压
tar -zxvf nginx-1.26.2.tar.gz# 进入到nginx目录编译安装
cd nginx-1.26.2# 编译安装
./configure --prefix=/usr/local/nginx-1.26.2 \
--user=root \
--group=root \
--with-http_ssl_module \
--with-http_v2_module \
--with-http_realip_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--with-pcre \
--with-stream \
--with-stream_ssl_module \
--with-stream_realip_module \
--with-mail \
--with-mail_ssl_module# 安装
make && make install# 创建软连接文件 方便后面升级
ln -s /usr/local/nginx-1.26.2 /usr/local/nginx# 配置环境变量
vi /etc/profile.d/nginx.sh#!/bin/bashexport NGINX_HOME=/usr/local/nginx
export PATH="${NGINX_HOME}/sbin:$PATH"# 生效
source /etc/profile.d/nginx.sh# 编写nginx服务
vi /usr/lib/systemd/system/nginx.service
[Unit]
Description=The nginx HTTP and reverse proxy server
After=network-online.target remote-fs.target nss-lookup.target
Wants=network-online.target[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStartPre=/usr/bin/rm -f /usr/local/nginx/logs/nginx.pid
ExecStartPre=/usr/local/nginx/sbin/nginx -t
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
KillSignal=SIGQUIT
TimeoutStopSec=5
KillMode=process
PrivateTmp=true[Install]
WantedBy=multi-user.target# 增加可执行权限
chmod a+x  /usr/lib/systemd/system/nginx.service # 重新加载
systemctl daemon-reload# 查看nginx版本
[root@192.168.31.82 ~]# nginx -v
nginx version: nginx/1.26.2

6.3 修改nginx配置文件

# 清空nginx.conf
echo > /usr/local/nginx/conf/nginx.conf
# 创建配置文件存放的目录
mkdir -p /usr/local/nginx/conf.d# 导入配置文件信息
cat >> /usr/local/nginx/conf/nginx.conf << EOF#user  nobody;
worker_processes  1;#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;#pid        logs/nginx.pid;events {worker_connections  1024;
}http {include       mime.types;default_type  application/octet-stream;#log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '#                  '$status $body_bytes_sent "$http_referer" '#                  '"$http_user_agent" "$http_x_forwarded_for"';#access_log  logs/access.log  main;sendfile        on;#tcp_nopush     on;#keepalive_timeout  0;keepalive_timeout  65;#gzip  on;include /usr/local/nginx/conf.d/*.conf;
}
EOF# 检查配置文件是否错误
# nginx -t
[root@192.168.31.82 ~]# nginx -t
nginx: the configuration file /usr/local/nginx-1.26.2/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx-1.26.2/conf/nginx.conf test is successful

7. xxl-job 负载

7.1 编写配置文件

# 提前创建日志存储文件
touch /usr/local/nginx/logs/xxl_job_server.log# 写入配置信息
vi /usr/local/nginx/conf.d/xxl_job_load.conf# 日志格式
log_format job_log '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';
# 七层负载                    
upstream xxl_job_server {server 192.168.31.82:8080;server 192.168.31.83:8080;server 192.168.31.84:8080;# 使用轮询方式请求least_conn;
}server {listen 18080 ;server_name 192.168.31.82;access_log /usr/local/nginx/logs/xxl_job_server.log job_log;location /xxl-job-admin/ {proxy_pass http://xxl_job_server;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;}
}# 检查配置文件是否存在错误
[root@192.168.31.82 ~]# nginx -t
nginx: the configuration file /usr/local/nginx-1.26.2/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx-1.26.2/conf/nginx.conf test is successful

7.2 启动nginx

systemctl start nginx

http://www.mrgr.cn/news/29748.html

相关文章：

  • 一家CRO企业终止，业绩成长性遭质疑
  • 字幕编辑用什么软件好？盘点国内外7款视频加字幕软件，简单高效！
  • 传输层协议 —— UDP协议
  • C++: 高效使用智能指针的8个建议
  • vue3中如何拿到vue2中的this
  • 【电源专题】一张图理解电源的类型与转换关系
  • 数据库基础
  • 设计模式-依赖注入
  • RocketMQ实战与集群架构详解
  • Python 入门教程（3）基础知识 | 3.6、标准输入与输出
  • 多模态AI技术详解：跨越数据边界的智能未来
  • Springboot与minio：
  • 机器学习中求解模型参数的方法
  • Pytest使用fixture实现token共享
  • 驱动开发知识点
  • 在 Linux 系统中目录架构说明
  • 记录工作中遇到的问题（持续更新~）
  • Kubernetes Ingress
  • C++面试3
  • 根据 IP 地址进行 VPN 分流（详细，亲测，通用）