当前位置：首页 > news >正文

【原创】Ubuntu 24搭建Ollama+ DeepSeek局域网服务器

news 2025/2/28 21:06:24

安装Ubuntu 服务器

通过ubuntu官网下载ubuntu 24服务器版本
刻录光盘（也可以使用U盘）
用光盘启动PC机器（必须是带显卡的PC机，包括集成Intel显卡的也行，纯CPU计算的服务器基本上不能使用）
最小化安装Ubuntu Server，使用自动分区

安装Ollama

可以到ollama官网查看信息
https://ollama.com
下载Linux版本
https://ollama.com/download/linux

切换到 root用户，执行如下指令

curl -fsSL https://ollama.com/install.sh | sh

如果执行失败，则多试几次即可。
执行完毕后，基本配置好了。

修改服务

vi /etc/systemd/system/ollama.service

参考《大模型部署框架 Ollama：环境变量设置与常用 CLI 命令》
https://zhuanlan.zhihu.com/p/23824503091

添加如下内容：
//允许其它计算机访问，端口8080
Environment=“OLLAMA_HOST=0.0.0.0:8080”
//允许跨域访问
Environment=“OLLAMA_ORIGINS=*”
//模型存放的位置
Environment=“OLLAMA_MODELS=/llm_models”
//模型在内存中存放的时间
Environment=“OLLAMA_KEEP_ALIVE=10”

完成后的内容如下：

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0:8080"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_MODELS=/llm_models"
Environment="OLLAMA_KEEP_ALIVE=10"[Install]
WantedBy=default.target

启动服务

systemctl daemon-reload
systemctl restart ollama
systemctl enable ollama

开放服务器8080端口，用于ollama提供服务（参考上面OLLAMA_HOST参数）
在这里插入图片描述

下载模型

模型务必通过ollama服务器的web Api来下载

首先创建一个目录保存模型，与/etc/systemd/system/ollama.service中的配置OLLAMA_MODELS保持一致

mkdir /llm_models

将所有者设置为ollama，否则ollama账户权限写该目录

chown ollama /llm_models

查找模型
https://ollama.com/search
当前排名第一的就是deepseek，
在这里插入图片描述
点击deepseek-r1

默认情况下，使用7b(70亿参数)模型，在普通的P C机上可以运行，这里我选8B的

记录复制下来的内容，这个是本地命令窗口运行的指令，我们暂时不用它，这里只是获取模型名称，接下来用。

ollama run deepseek-r1:8b

进行请求，model参数重，填入上面的模型名称。

curl -X POST http://192.168.250.115:8080/api/pull -d '{"model": "deepseek-r1:8b"}'

接下来一堆输出，直到出现{“status”:“success”}后，模型下载完毕。

e7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"pulling 0cb05c6e4e02","digest":"sha256:0cb05c6e4e02614fa7f4c5d9ddcd5ae7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"pulling 0cb05c6e4e02","digest":"sha256:0cb05c6e4e02614fa7f4c5d9ddcd5ae7e630e5df98602f1c0894ed0cacd11eeb","total":487,"completed":487}
{"status":"verifying sha256 digest"}
{"status":"writing manifest"}
{"status":"success"}