当前位置: 首页 > news >正文

在 MacOS 上为 LM Studio 更换镜像源

在 MacOS 之中使用 LM Studio 部署本地 LLM时,用户可能会遇到无法下载模型的问题。

一般的解决方法是在 huggingface.co 或者国内的镜像站 hf-mirror.com 的项目介绍卡页面下载模型后拖入 LM Studio 的模型文件夹。这样无法利用 LM Studio 本身的搜索功能。

本文将详细介绍如何在 MacOS 系统中为 LM Studio 更换镜像源。

此方法受到了以下内容的启发:

国内如何使用LM-Studio替换huggingface为镜像网址720pLM-Studiohttps://lmstudio.aiLM-Studio 安装目录C:\Users\jiang\AppData\Local\LM-Studio修改huggingface.cofindstr /s /i /m /c:"huggingface.co" *.*查找结果resources\app\.webpack\main\index.jsresources\app\, 视频播放量 6892、弹幕量 1、点赞数 150、投硬币枚数 100、收藏人数 315、转发人数 40, 视频作者 nichengshiyong, 作者简介 ,相关视频:电脑本地部署Llama3中文版 - LM studio,LM Studio更新后如何在国内正常使用+数学逻辑及代码强LLM:Yi 9B本地安装,LM Studio - 一键搞定本地下载运行LLM,并兼容OpenAI API,终于找到了!这绝对是全B站最详细(没有之一)Huggingface,机器学习界的GitHub!3小时带你核心模块解读+预训练模型!学不会来找我!-NLP、hug,AIGC交互完全体 - 本地电脑GPT,如何使用LM Studio一键快速高效的运行本地大语言模型,支持多种语言模型,省去手动部署的麻烦,本地运行通义千问72B!兼容AMD显卡或纯CPU【LM Studio】,LM Studio:全网最简单LLM模型免费本地使用教程,HuggingFace快速下载模型,如何打开AI的精彩世界:国内使用HuggingFace最简单实操icon-default.png?t=O83Ahttps://www.bilibili.com/video/BV1dw4m1f7zQ/

LM Studio

LM Studio 是一款桌面应用程序,旨在让用户在本地计算机上开发和试验大型语言模型(LLM)。LM Studio 为用户提供了一个熟悉的聊天界面,以及管理本地模型和配置的系统。

其主要功能包括:

• 🤖 在本地离线运行 LLMs

• 📚 与本地文档进行对话(0.3 版本新功能)

• 👾 通过应用内的聊天界面或兼容 OpenAI 的本地服务器使用模型

• 📂 从 Hugging Face 🤗 仓库下载任何兼容的模型文件

• 🔭 在应用内的“发现”页面中探索新的 LLMs

问题描述

在 MacOS 上,直接下载并打开 LM Studio 后,尝试下载模型时会发现无法正常进行。这主要是因为应用程序默认从 huggingface.co 获取模型,而在某些网络环境下,访问该域名可能受到限制。

LM Studio 提示无法找到模型: Model details error: fetch failed

解决方案:更换镜像源

为了解决这个问题,我们可以将 LM Studio 中的所有 huggingface.co 域名替换为国内的镜像站 hf-mirror.com。

具体步骤如下:

(1)定位 LM Studio 应用目录

打开终端(默认使用 zsh),输入以下命令进入 LM Studio 的内容目录:

cd /Applications/LM\ Studio.app/Contents/

(2) 搜索需要替换的域名

使用 grep 命令在当前目录下搜索包含 huggingface.co 的文件:

grep -r "huggingface.co" .

这将输出大量包含目标字符串的文件列表,如下图所示。

与 Windows 系统中类似,需要关注的四个.js文件位于:

./Resources/app/.webpack/main/index.js./Resources/app/.webpack/main/llmworker.js ./Resources/app/.webpack/main/worker.js./Resources/app/.webpack/renderer/main_window/index.js

(3) 访问并编辑目标文件

由于 .webpack 目录在 MacOS 中默认被隐藏,可以先通过以下命令进入该目录:

cd /Applications/LM\ Studio.app/Contents/Resources/app/.webpack

再使用 open 命令在访达 Finder 中打开当前目录,以方便地查看和编辑文件。

open .

 如下图所示:

或者,直接使用 Visual Studio Code 等代码编辑器打开该目录。

(4) 域名替换

打开上述列出的四个 .js 文件,使用文本编辑器查找 huggingface.co,并将其全部替换为 hf-mirror.com

(5) 保存修改并重启 LM Studio

保存所有修改后的文件,重新启动 LM Studio。此时,在搜索页面应该可以正常检索并下载模型了。下一节将进行演示。

值得注意的是,即使在修改后,如果再次执行 grep -r "huggingface.co" .,仍然会有大量输出结果。这些文件无法直接修改,但不影响模型的检索和 LM Studio 的正常使用。

验证:下载并使用支持视觉输入的模型

为了验证上述方法的有效性,我们以下载和部署 llava-phi-3-mini-gguf 模型为例。该模型支持视觉输入。xtuner / llava-phi-3-mini-gguficon-default.png?t=O83Ahttps://hf-mirror.com/xtuner/llava-phi-3-mini-gguf在 LM Studio 的搜索框中输入 llava-phi-3-mini-gguf,可以看到模型显示为 Vision Enabled。

点击下载后,模型即可在 MacBook 上正常使用。

 尝试输入一张实拍照片以及一段 Prompt,其响应速度与回答准确性都非常好。

通过以上步骤,我们在 MacOS 上成功地为 LM Studio 更换了镜像源。

参考链接

• LM Studio 官方网站:https://lmstudio.ai

• 原始解决方案视频(Windows 平台):https://www.bilibili.com/video/BV1dw4m1f7zQ


http://www.mrgr.cn/news/79285.html

相关文章:

  • 使用MATLAB从Excel文件读取数据并绘制堆叠柱状图
  • 数据结构之四:堆和二叉树
  • 数据库分库分表策略
  • flex布局容易忽略的角色作用
  • Android 第三方框架:RxJava:源码分析:观察者模式
  • 【原生js案例】webApp实现一个分享到的功能
  • SpringCloud 与 SpringBoot版本对应关系,以及maven,jdk
  • javascript-svg-在圆环上拖动并选中区域
  • lanqiaoOJ 3744:小蓝的智慧拼图购物 ← pair+优先队列
  • 行列式计算方法
  • c++笔记2
  • Elasticsearch数据迁移(快照)
  • Flume基础概念
  • Qt入门8——Qt文件
  • 初识树(二叉树,堆,并查集)
  • redis击穿,穿透,雪崩以及解决方案
  • Multimodal Few-Shot Learning with Frozen Language Models译文
  • 前端速通Blob、File、FileReader、ArrayBuffer、Base64...
  • Delphi-HTTP通讯及JSON解析
  • Yocto bitbake and codeSonar