当前位置: 首页 > news >正文

DeepSeek本地化部署与跨域访问架构构建

1. DeepSeek本地部署基础环境

  1. 部署 Ollama 推理框架
  2. 获取并加载 DeepSeek 大语言模型
  3. 配置图形化用户界面 (GUI)
  4. 构建本地知识库并集成

鉴于上述四个步骤已在之前的博客中详尽阐述,为避免重复,以下内容将不再赘述,仅作概要性描述

2. 局域网共享大模型配置

在局域网环境下,通过单机部署 DeepSeek-r1 (或其他预训练模型) 及本地知识库,并配置相应的网络服务,实现局域网内其他主机对该模型推理服务及知识库的访问。

1. 启动局域网访问权限

默认Ollama仅允许本地访问,需修改环境变量实现局域网共享:

  • 创建用户环境变量

    1. WIN+R打开输入cmd,以管理身份启动CMD终端,执行如下两个命令创建用户和系统变量,系统多个“ /m”。
      setx OLLAMA_HOST "0.0.0.0"
      setx OLLAMA_ORIGINS "*"
      
      在这里插入图片描述
  • 创建系统环境变量

    1. 在电脑设置中搜索找到“编辑系统环境变量”并打开 编辑系统环境变量。
    2. 在系统属性面板中点击环境变量,点击新建系统变量。
    3. 新建系统变量名为:OLLAMA_HOST ,值设置为0.0.0.0 。
      在这里插入图片描述
    4. 再次新建系统变量名称为:OLLAMA ORIGINS ,值设为:“ * ” 。
      在这里插入图片描述
    5. 电脑右下角右键退出Ollama 程序后重新手动启动Ollama程序。 在这里插入图片描述

2. 局域网访问本地大模型配置

在同一局域网下的其他用户访问当前本地部署。无论是使用Page Assist、Anything LLM、ChatboxCherry Studio进行部署,都需要在主机与被访问主机上安装对应用的部署工具。

主机ip 地址查询,在CMD中 直接输入: ipconfig 回车即可显示。
在这里插入图片描述

2.1 浏览器插件

Page Assist浏览器插件安装与配置

  1. 首先打开Chrome浏览器,进入应用商店
    在这里插入图片描述
  2. 在顶部搜索框中搜索Page Assist
    在这里插入图片描述
  3. 点击添加至Chrome

在这里插入图片描述

  • 在弹出的提示框中点击添加扩展程序
    在这里插入图片描述
    添加后在浏览器右上角的扩展程序图标中打开它即可看到Web UI界面了
    在这里插入图片描述
  • 被访问主机设置(Server)、:点击右上角设置,找到Ollama设置地址为http://[主机IP]:11434
    在这里插入图片描述
  • 访问主机设置(Client):访问主机将127.0.0.1 改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
    在这里插入图片描述

2.2 客户端工具

Anything LLM、ChatboxCherry Studio进行部署,配置API地址为http://[主机IP]:11434/v1,选择对应模型即可交互。

  • 被访问主机设置:默认Api :http://localhost:11434,保持默认即可
    在这里插入图片描述
  • 访问主机设置:访问主机将localhost改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
    在这里插入图片描述
  • Anything LLM工具设置同上
    在这里插入图片描述

3. 跨域公网访问大模型

一台主机本地部署了DeepSeek-r1 (或其他模型)以及数据(知识)库后,通过公网(外网)异地访问这台主机的大模型和数据,进行内网穿透设置,工具cpolar路由侠

1. 被访问主机安装路由侠

  • 这里以路由侠为例,选择适合自己系统下载安装。

    # 路由侠地址:
    https://www.luyouxia.com/
    # cpolar地址:
    https://www.cpolar.com/
    

    在这里插入图片描述
    2. 启动安装程序进行安装。 在这里插入图片描述
    3. 注册路由侠账户,并登录账户
    在这里插入图片描述

2. 路由侠配置

  • 启动软件后,设置点击内网映射。
    在这里插入图片描述
  • 点击添加映射 ,并进行配置
    在这里插入图片描述
  • 选择原生端口——开始创建。
    在这里插入图片描述
  • 配置公网地址:设置端口为Ollama 端口,然后点击创建。
    在这里插入图片描述
  • 创建完成后即显示创建的映射内容,右键复制地址,接下来将复制的地址粘贴到对应部署的工具中。
    在这里插入图片描述

3.1 访问端设置

3.1.1 浏览器插件部署

  • Page Assist访问端设置:将复制的地址粘贴在Ollama 设置——Ollama URL 中保存,重启浏览器。
    在这里插入图片描述

3.1.2 客户端工具

  • Cherry studio访问端设置:在设置——模型服务——Ollama——API地址中粘贴地址,再添加模型设置后重启Cherry studio
    在这里插入图片描述
  • AnythingLlm访问端设置:首选项——Ollama——Ollama URL 中粘贴复制的地址,设置完成后设置后重启AnythingLlm。
    在这里插入图片描述

注:提示错误 Ollama call failed with status code 403:

检查环境变量——用户变量及系统变量是否有Ollama的变量设置。


http://www.mrgr.cn/news/93923.html

相关文章:

  • ngx_regex_create_conf
  • 多视图几何--相机标定--从0-1理解张正友标定法
  • 【Go每日一练】统计字符出现的次数
  • Nuxt.js 全栈开发指南:构建现代 Web 应用的终极解决方案
  • 【09】单片机编程核心技巧:变量赋值,从定义到存储的底层逻辑
  • 最大括号深度
  • 一二三应用开发平台——能力扩展:多数据源支持
  • 「string」笔记
  • 优选算法系列(1. 双指针_上)
  • Trae IDE:解锁 AI 驱动的高效编程体验
  • [Java]使用java进行JDBC编程
  • 【追根溯源】在数电中脉冲波形的产生和整形电路
  • 数学之快速幂-数的幂次
  • el-pagination的使用说明
  • 【解决哈希冲突】
  • vscode带参数调试
  • starrocks如何配置多个hive数据源,其中一个是kerberos认证
  • JavaScript中的生成器函数详解
  • 【CSS3】金丹篇
  • 微信小程序,自定义导航栏,搜索框滚动,搜索框过渡,滚动吸顶,吸顶导航栏,过渡动画,自定义tabbar