部署API式机器学习模型并接入AI agent
部署API式机器学习模型并接入AI agent
AI agent的流行也带动了API式机器学习模型的再度流行，如果想机器学习模型接入AI agent的话，API是目前唯一的方式，而streamlit这一类可视化的机器学习模型的部署形式暂时还不能和AI agent无缝结合。AI agent与机器学习模型结合的必要性在哪里？总体来说两者是互补的关系，比如临床上进行疾病诊断，机器学习模型依靠背后专业的大数据做出诊断，是相对更准确的一种预测方式，而AI 做出诊断是依靠文字记载的诊断经验，是一种经验式的，所以两者可以互补；另一方面， AI agent擅长的是与用户的交流，这一方面也能弥补机器学习模型专业呆板的印象。
构建API不算是专业，总结自己最近有一些探索，主要是python语言。
1. fastapi 是最简便的方式
能产生API的方式光Python也有好几个，Flask，gradio等都可以，说是最简便的方式，从几方面说：
- github上的例子多，如果不愿意自己构建机器学习模型可以下载一个进行尝试；
- 部署的途径方便，我知道Render上可以免费进行部署，微软的Azure也可以进行部署，还因为不需要可视化界面，也是方便部署的原因之一。
- 自动产生API文档，可以导入到API测试平台上进行测试；
- 其他还有一些专业的原因，速度快等等。
2. 测试API
构建好了之后是测试，fastapi自带swaggerUI，需要连接外网才可以显示，显示的时候大家需要注意，但是还是建议能连接一下，可以下载json形式的文档，然后传入到apifox一类的api调试平台来进行解析保存，这一类的平台有丰富的关于API的功能，大家可以自行探索。如果要导入到AI agent平台的话，可以以curl形式输出。
3. 接入AI agent
这里拿百度千帆平台为例，将API平台产生的curl 粘贴并让平台进行识别，可能是API最简便的输入形式，测试通过之后就可以与其它模块进行连接，主要是输入和输出的连接（引用），以上是“组件”的构建，组件内可以放大模型，也可以不放，百度平台有个选项可以让组件直接输出结果。
之后在接入到LLM应用中，搭配好其它设定，一个调用机器学习API的LLM模型就制作好了。
4. 其它设定
- 因为预测模型要求的是固定的输入，经验是在LLM的promot里面清楚的指明需要的变量，还要与参数的名称相一致，否则模型不能将promot里面的变量和参数对应起来。我遇到过的报错，说是变量名称“收缩血压”和参数名称“BloodPressure”不一致。
- 在promot里面指明参数名称的时候，可以同时指明参数的类型，在让LLM生成模拟参数的时候正确率会高一些。
- 一些预测模型相关的信息还可以放到知识库中，供用户查询，我是放了包含“问题”和“答案”的excel表格来向用户说明“预测模型使用的最佳实践”
总结
以上的机器学习模型的部署形式，利用了LLm模型对自然语言的理解能力和最结果的整理能力， 搭配预测模型给出核心的结果，实现了一种比较可信的诊断疾病的方式。