当前位置: 首页 > news >正文

qwen2.5 模型JSON格式化输出案例

这篇不是通过prompt提示去实现,是用vllm、ollama推理框架支持;这里也给出个prompt实现的案例参考
在这里插入图片描述

1、 vllm推理

参考:https://docs.vllm.ai/en/latest/usage/structured_outputs.html

模型vllm运行:
用的Qwen/Qwen2.5-3B-Instruct模型

 vllm serve  ./qwen2_5 --host 0.0.0.0 --port 7860 --

http://www.mrgr.cn/news/79769.html

相关文章:

  • VMware Workstation Pro 17 下载 以及 安装 Ubuntu 20.04.6 Ubuntu 启用 root 登录
  • UnityShaderLab-实现沿y轴溶解效果
  • 【数据结构】基数排序的原理及实现
  • Flask使用长连接(Connection会失效)、http的keep-alive、webSocket。---GPU的CUDA会内存不足报错
  • 开启第二阶段---蓝桥杯
  • 红日靶场vulnstack 4靶机的测试报告[细节](一)
  • uniapp-内部项目使用文档
  • C语言单元总结
  • String【Redis对象篇】
  • day10性能测试(2)——Jmeter
  • 【LeetCode每日一题】LeetCode 209.长度最小的子数组
  • java全栈day13-后端Web实战2
  • Pytest测试用例使用小结
  • 动态量化和静态量化
  • 【VUE2】纯前端播放海康视频录像回放,视频格式为rtsp格式,插件使用海康视频插件[1.5.4版本]
  • 作业Day1:思维导图、堆区申请空间并释放
  • Pointpillars模型转onnx
  • 彻底理解布隆过滤器怎么解决缓存穿透问题
  • vue-router查漏补缺
  • Linux高并发服务器开发 第一天(Linux的目录结构 cd用法 终端提示符格式)