Ubuntu 22.04 AI大模型环境配置及常用工具安装

一、基础环境准备

1.1 系统准备

建议使用 Ubuntu22.04
以下配置皆以 Ubuntu22.04 系统版本为例

1.2 安装git

  apt-get update && apt-get install git -y

1.3 安装 Python 3.9+

【建议安装 3.10】（安装miniconda或者conda来管理虚拟环境）

  wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && chmod +x Miniconda3-latest-Linux-x86_64.sh && ./Miniconda3-latest-Linux-x86_64.sh && source ~/.bashrc 

1.4 安装CUDA

CUDA安装，建议安装11.8或者 12.4

  # CUDA Toolkit Installer-12.4wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pinsudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.debsudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.debsudo cp /var/cuda-repo-ubuntu2204-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/sudo apt-get updatesudo apt-get -y install cuda-toolkit-12-4# 安装驱动sudo apt-get install -y cuda-drivers# 设置环境变量（注意cuda安装的路径）echo 'export PATH="/usr/local/cuda-12.4/bin${PATH:+:${PATH}}"' >> ~/.bashrcsource ~/.bashrc  # 重新加载配置echo $PATH | grep cuda-12.4 # 验证 PATHreboot# 重启后验证是否可以获取 nvidia 显卡信息nvcc --versionnvidia-smi

1.5 安装CUDNN

下载匹配cuda12.4、ubuntu适用的CUDNN包

  wget https://developer.download.nvidia.com/compute/cudnn/9.8.0/local_installers/cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.debsudo dpkg -i cudnn-local-repo-ubuntu2204-9.8.0_1.0-1_amd64.debsudo cp /var/cudnn-local-repo-ubuntu2204-9.8.0/cudnn-*-keyring.gpg /usr/share/keyrings/sudo apt-get updatesudo apt-get -y install cudnn# 使用以下命令进行查看ldconfig -p | grep cudnn

1.6 安装Pytorch

# 创建基础环境
conda create -n ai python==3.12 -y && conda activate ai
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

1.7 创建基础目录

  mkdir -p ~/work/ai/models ~/work/ai/datasets ~/work/ai/tools/

二、大模型部署框架

2.1 安装Ollama

Ollama简介

• ollama只支持GGUF格式的模型，如果在modelscope
  或者huggingface下载模型，需要注意模型格式（GGUF一般指的是量化后的模型，缺点是模型效果变差，优势是模型会更小，推理速度会更快，对硬件要求会更低）
• mac以及windows上是直接下载客户端
• ollama一般针对的是个人用户

  conda create -n ollama python==3.10 -y && conda activate ollamacd ~/work/ai/tools && curl -fsSL https://ollama.com/install.sh | sh# 启动ollama服务(开启的端口默认是11434)ollama serve# 列出已下载的模型ollama list# 运行模型(没有的话会从modelscope下载)ollama run qwen2.5:0.5b

2.2 安装vLLM

vLLM 是一个 Python 库，它包含预编译的 C++ 和 CUDA (12.1) 二进制文件。
通过 PagedAttention 等技术优化 GPU 内存使用，显著提升推理速度

• 推理性能高，适合实时和大规模推理任务
• 支持分布式推理，适合生产环境
• 兼容 Hugging Face 的 Transformer 模型

要求:
1.操作系统：Linux
2.Python: 3.8 – 3.12
3.GPU: 计算能力 7.0 或更高（例如，V100、T4、RTX20xx、A100、L4、H100 等）

  conda create -n vllm python=3.10 -y && conda activate vllm  pip install vllm# 运行模型(开启的端口默认是8000)vllm serve /path/to/model# 显存不足建议使用以下命令启动(测试机显卡为8G 3070ti)# 先强制释放残留显存python -c "import torch; torch.cuda.empty_cache()"# 在进行启动(以Qwen/Qwen2.5-0.5B-Instruct为例)vllm serve ~/work/ai/models/Qwen/Qwen2.5-0.5B-Instruct \--gpu-memory-utilization 0.95 \--max-model-len 1024 \--block-size 16 \--max-num-seqs 4 \--tensor-parallel-size 1

2.3 安装LMDeploy

LMDeploy 是一个高效且友好的 LLMs 模型部署工具箱，功能涵盖了量化、推理和服务

• 功能全面，支持从训练到部署的全流程
• 提供模型压缩和加速技术，适合资源受限的场景

要求:
1.操作系统：windows、linux
2.Python: 3.8 – 3.12

  conda create -n lmdeploy python=3.12 -y && conda activate lmdeploypip install lmdeploy partial_json_parser# 运行模型(开启的端口默认是23333)lmdeploy serve api_server /path/to/model

三、大模型微调框架

3.1 安装LLaMA-Factory

LLaMA-Factory推荐使用python3.10

  conda create -n llamafactory python==3.10 -y && conda activate llamafactorycd ~/work/ai/tools && git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git && cd LLaMA-Factory && pip install -e .  # 使用可视化界面微调llamafactory-cli webui

  使用流程1. 下载model2. 下载data/data格式处理3. 开始微调

四、大模型前端框架

4.1 安装OpenWebui

OpenWebui要求使用python3.11

  conda create -n openwebui python==3.11 -y && conda activate openwebuipip install -U open-webui torch transformers# 运行ollamaollama serve# 运行open-webuiexport HF_ENDPOINT=https://hf-mirror.comexport ENABLE_OLLAMA_API=Trueexport OPENAI_API_BASE_URL=http://127.0.0.1:11434/v1open-webui serve# 启动浏览器(http://localhost:8080)

博主使用优云智算平台进行GPU实例部署，目前使用感受不错，推给大家