当前位置： 首页 > news >正文

Atlas 800I A2 双机直连部署DeepSeek-R1-w8a8

news 2025/3/27 10:33:37

一、环境信息

1.1、硬件信息

Atlas 800I A2 * 2

1.2、环境信息

操作系统：openEuler 22.03 LTS
NPU驱动：Ascend-hdk-910b-npu-driver 24.1.0 linux-aarch64.run
NPU固件：Ascend-hdk-910b-npu-firware 7.5.0.3.220.run
MindIE镜像：2.0.T3-800I-A2-py311-openeuler24.03-lts

1.3、组网信息

  • 一台服务器的NPU-0口对应另一个服务器的NPU-0，然后剩下的依次使用光纤连接；
  • NPU侧IP最好在同一个网段里。

二、安装驱动固件

2.1、创建运行用户和所属组

groupadd HwHiAiUser
useradd -g HwHiAiUser -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash

2.2、安装驱动（根据提示选择是否重启）

./Ascend-hdk-910b-npu-driver_24.1.0_linux-aarch64.run --full --install-for-all

2.3、安装固件（根据提示选择是否重启）

./Ascend-hdk-910b-npu-firmware_7.5.0.3.220.run --full

三、配置参数面（NPU）网络

3.1、配置IP和掩码

# 配置master节点上NPU的IP和掩码
hccn_tool -i 0 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 1 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 2 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 3 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 4 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 5 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 6 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 7 -ip -s address 修改成自己规划的IP netmask 255.255.255.0# 配置node节点上的NPU的IP和掩码
hccn_tool -i 0 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 1 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 2 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 3 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 4 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 5 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 6 -ip -s address 修改成自己规划的IP netmask 255.255.255.0 
hccn_tool -i 7 -ip -s address 修改成自己规划的IP netmask 255.255.255.0

3.2、配置检测IP

检测IP配置成对端NPU口的IP，比如说机器1的IP是： 192.168.10.11，机器2的IP是：192.168.10.19。那机器1的检测IP就是：192.168.10.19，机器2的检测IP就是：192.168.10.11。

# 配置master节点上NPU的侦测IP
hccn_tool -i 0 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 1 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 2 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 3 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 4 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 5 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 6 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 7 -netdetect -s address 修改成自己规划的IP# 配置master节点上NPU的侦测IP
hccn_tool -i 0 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 1 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 2 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 3 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 4 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 5 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 6 -netdetect -s address 修改成自己规划的IP
hccn_tool -i 7 -netdetect -s address 修改成自己规划的IP

3.3、关闭TLS

for i in {0..7}; do hccn_tool -i $i -tls -s enable 0 ; done

3.4、检测配置是否正确

1.1、检查物理链接
for i in {0..7}; do hccn_tool -i $i -lldp -g | grep Ifname; done 1.2、检查链接情况
for i in {0..7}; do hccn_tool -i $i -link -g ; done1.3、检查网络健康情况
for i in {0..7}; do hccn_tool -i $i -net_health -g ; done1.4、查看侦测ip的配置是否正确
for i in {0..7}; do hccn_tool -i $i -netdetect -g ; done1.5、获取每张卡的ip地址
for i in {0..7};do hccn_tool -i $i -ip -g; done1.6、检测NPU底层TLS行为一致性，每台机器需要是一样的值，建议全0
for i in {0..7}; do hccn_tool -i $i -tls -g ; done | grep switch1.7、NPU底层tls校验行为置0操作 
for i in {0..7};do hccn_tool -i $i -tls -s enable 0;done1.8、检测机器间NPU互联情况
hccn_tool -i NPU节点 -ping -g address 另一台机器NPU的IP

四、编辑rank_table_file.json文件

{"server_count": "2","server_list": [{"device": [{"device_id": "0","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "0"},{"device_id": "1","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "1"},{"device_id": "2","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "2"},{"device_id": "3","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "3"},{"device_id": "4","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "4"},{"device_id": "5","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "5"},{"device_id": "6","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "6"},{"device_id": "7","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "7"}],"server_id": "master-业务IP","container_ip": "master-业务IP"},{"device": [{"device_id": "0","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "8"},{"device_id": "1","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "9"},{"device_id": "2","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "10"},{"device_id": "3","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "11"},{"device_id": "4","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "12"},{"device_id": "5","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "13"},{"device_id": "6","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "14"},{"device_id": "7","device_ip": "参数面IP-修改成自己规划的IP","rank_id": "15"}],"server_id": "node-业务IP","container_ip": "node-业务IP"}],"status": "completed","version": "1.0"
}

五、启动容器

docker run -itd --privileged  --name=容器名称 --net=host \--shm-size 500g \--device=/dev/davinci0 \--device=/dev/davinci1 \--device=/dev/davinci2 \--device=/dev/davinci3 \--device=/dev/davinci4 \--device=/dev/davinci5 \--device=/dev/davinci6 \--device=/dev/davinci7 \--device=/dev/davinci_manager \--device=/dev/hisi_hdc \--device /dev/devmm_svm \-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \-v /usr/local/sbin:/usr/local/sbin \-v /etc/hccn.conf:/etc/hccn.conf \-v 物理机权重路径：容器权重路径 \容器镜像名称或ID \bash

六、设置容器环境变量

vim ~/.bashrcsource /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh
source /usr/local/Ascend/atb-models/set_env.sh
source /usr/local/Ascend/mindie/set_env.sh# 服务化多机配套变量
export MIES_CONTAINER_IP=容器IP
export RANKTABLEFILE=rank_table_file.json文件路径# 日志打印（默认Error级别）
export MINDIE_LOG_TO_STDOUT=1# 虚拟内存
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True# ATB WorkSpace 使能
export ATB_WORKSPACE_MEM_ALLOC_ALG_TYPE=3
export ATB_WORKSPACE_MEM_ALLOC_GLOBAL=1 # 单线程加速权重加载
export OMP_NUM_THREADS=1# 设置显存占比
export NPU_MEMORY_FRACTION=0.96# 设置精度饱和模式，防止fp16引起的上下溢出
export INF_NAN_MODE_ENABLE=0# 关闭确定性计算
export HCCL_DETERMINISTIC=false# 使能AIV，暂时还有问题性问题，不建议线上业务使用，性能复现必须开启
export HCCL_OP_EXPANSION_MODE="AIV"# 使能内存复用
export ATB_LAYER_INTERNAL_TENSOR_REUSE=1
export ATB_OPERATION_EXECUTE_ASYNC=1
export ATB_CONVERT_NCHW_TO_ND=1
export ATB_WORKSPACE_MEM_ALLOC_GLOBAL=1
export ATB_WORKSPACE_MEM_ALLOC_ALG_TYPE=3
export ATB_CONTEXT_WORKSPACE_SIZE=0
export ATB_LAUNCH_KERNEL_WITH_TILING=1
export ATB_LLM_ENABLE_AUTO_TRANSPOSE=0# CPU亲和性调度
export CPU_AFFINITY_CONF=1
export TASK_QUEUE_ENABLE=1
unset ASCEND_LAUNCH_BLOCKING

七、拉起服务

# 修改MindIE配置文件
cd /usr/local/Ascend/mindie/latest/mindie-service/
vim conf/config.json# 修改如下配置：
"ipAddress" : "改成主节点IP""managementIpAddress" : "改成主节点IP"
"httpsEnabled" : false
"multiNodesInferEnabled" : true
"interCommTLSEnabled" : false
"interNodeTLSEnabled" : false
"npudeviceIds" : [[0,1,2,3,4,5,6,7]]
"modelName" : "模型名称"
"modelWeightPath" : "权重路径"
"worldSize":8# 配置文件权限
chmod -R 640 {rank_table_file.json路径}
chmod -R 750 {/path-to-weights}# 拉起服务
nohup ./bin/mindieservice_daemon > output.log 2>&1 &# 停止服务
ps -ef | grep mindieservice
pkill -9 mindieservice

八、测试

curl http://IP:1025/v1/chat/completions -d '{"model": "改为mindie配置文件中设置的名称","messages": [{"role": "user", "content": "请告诉我关于人工智能的一些信息。"}],"stream": true}'

http://www.mrgr.cn/news/95795.html

相关文章：

  • Go常见问题与回答(下)
  • poetry安装与使用
  • 华为交换相关
  • vmwaretools解压失败|vmware tools distrib cannot mkdir read only file system|bug汇总
  • Linux 练习一 NFS和DNS
  • Floyd 算法--多源最短路
  • 利用dify打造命令行助手
  • Spring Boot整合Activiti工作流详解
  • 【Redis实战专题】「技术提升系列」​RedisJSON核心机制与实战应用解析（入门基础篇）
  • 调语音类大模型必备-音频录制小妙招-自制工具-借助浏览器录一段单声道16000采样率wav格式音频
  • 华为OD机试 - 核酸最快检测效率 - 动态规划、背包问题（Java 2024 E卷 200分）
  • 【学习记录】大模型微调之使用 LLaMA-Factory 微调 Qwen系列大模型，可以用自己的数据训练
  • How to share files with Linux mint 22 via samba in Windows
  • Sql Server 索引性能优化 分析以及分表
  • _DISPATCHER_HEADER结构中的WaitListHead和_KWAIT_BLOCK的关系
  • Linux的SPI子系统的原理和结构详解【SPI控制器(spi_master)、SPI总线(device-driver-match匹配机制)、SPI设备、SPI万能驱动`spidev.c`】
  • Unity 实现一个简易可拓展性的对话系统
  • 深度解读DeepSeek：开源周（Open Source Week）技术解读
  • 从零开始的LeetCode刷题日记：128. 最长连续序列
  • Spring Boot 整合 Nacos 注册中心终极指南