Xinference 注册本地模型

Xinference作为一个模型集成平台，当然也可以对接本地的模型。

1 下载模型

 

首先，去到对应的模型仓库，下载好自己想要对接的模型。此处下载的时候需要注意，一定要参考官方能够支持的模型种类，否则是注册不了的。
模型仓库：
https://huggingface.co/
https://www.modelscope.cn/
目前Xinference 支持的模型家族有，大部分都是支持的。

2 注册模型

 

下载好对应模型之后，放到容器挂载的目录下面。此处目录注意，如果是第一次注册本地模型，直接放到你启动Xinference的挂载目录即可。比如 e:/xinference/models ，注册之后会自动创建对应的模型仓库，然后移动模型，以后就可以直接放到对应仓库下面即可。要下model文件!!不然会一直报错

页面注册：
模型参考信息参考：模型家族 

 

 

 

确认信息无误之后，点击注册模型，如果没有报错，即注册成功。

3 启动模型

点击注册好的模型，填写相关信息，开始启动，相关信息填写参考上面部署简单模型那里。

 

 

4 开始对话

启动好之后，还是在“Running Models” 当中，点击后面的对话，即可开始对话。