当前位置: 首页 > news >正文

【torch\huggingface默认下载路径修改】.cache/torch/ 或 .cache/huggingface

问题

服务器的硬盘空间是有限的,系统上的固态硬盘空间又比较小,在跑深度学习模型的时候经常有默认下载权重的操作,不管是torch或者huggingface,如果不加管理,所有的权重都放在home/user/.cache 里面,迟早会爆,在大模型盛行的今天,huggingface每一次的权重都是几个g的大小,系统盘根本撑不住,所以肯定需要修改默认下载位置。

解决方案1-系统环境直接修改变量

1、打开环境

nano ~/.bashrc

2、添加HF\TORCH\XDG默认路径

# 设置 Hugging Face 全家桶缓存路径
export HF_HOME="/data1/user/cache/huggingface"
# pytorch 通用缓存
export TORCH_HOME="/data1/user/cache/torch"
# SDG 规范缓存目录 (影响更广)
export XDG_CACHE_HOME="/data1/user/cache/xdg_cache"

其中/data1/user/cache是我想要存的机械硬盘的位置
3、重新激活环境

source ~/.bashrc

解决方案2 -代码中添加路径

import os
# 手动设置环境变量,将这里替换为您实际想要设置的路径
os.environ['TORCH_HOME'] = '/data1/yerq/cache/torch'

http://www.mrgr.cn/news/100042.html

相关文章:

  • 金仓数据库征文-政务领域国产化数据库更替:金仓 KingbaseES 应用实践
  • General Spark Operations(Spark 基础操作)
  • 一天学完Servlet!!!(万字总结)
  • 杨立昆:卷积神经网络创始者,人工智能领路人
  • redis特性及应用场景
  • Android killPackageProcessesLSP 源码分析
  • RabbitMQ 基础核心概念详解
  • Ubuntu22学习记录
  • 【数据可视化-22】脱发因素探索的可视化分析
  • TensorFlow深度学习实战(14)——循环神经网络详解
  • Ubuntu / WSL 安装pipx
  • 【Linux】基本指令(下)
  • pycharm2024.3.2项目解释器选择问题
  • docker 配置代理
  • 面试之消息队列
  • http协议、全站https
  • 2025第十六届蓝桥杯python B组满分题解(详细)
  • 每天学一个 Linux 命令(30):cut
  • 【华为】防火墙双击热备-之-主备模式-单外网线路-分享
  • 第9章 多模态大语言模型