当前位置: 首页 > news >正文

Ubuntu 20.04配置ollama并下载安装调用本地大语言模型

Ubuntu 20.04配置ollama并下载安装调用本地大语言模型

  • ollama 介绍(来自ChatGPT)
    • 主要特点
  • ollama开发环境预配置
  • ollama在ubuntu下的安装
    • 直接安装
    • 压缩包安装
      • 创建开机ollama的脚本
      • 启动ollama
  • ollama在ubuntu下的运行

ollama 介绍(来自ChatGPT)

Ollama 是一种新的本地语言模型管理与运行平台,旨在帮助用户在本地环境中运行和管理大型语言模型(LLMs),例如 LLaMA、GPT 等。与传统基于云的解决方案不同,Ollama 专注于在用户本地系统上运行这些模型,以提高数据隐私性和响应速度。

主要特点

  1. 本地运行:Ollama 允许用户在本地设备上运行大语言模型,无需依赖云计算。这有助于在脱机状态下使用,并确保数据不会发送到外部服务器,提升数据隐私。
  2. 多模型管理:支持同时运行和管理多个语言模型。用户可以轻松切换、更新或扩展模型集合。
  3. GPU 加速:对于需要高性能的任务,Ollama 支持 GPU 加速,以便提高计算效率和处理速度。它可以与 CUDA 和适当的 GPU 驱动一起使用,以提供最佳的性能表现。
  4. 简单接口:提供易于使用的命令行界面(CLI),方便用户通过简单的指令运行、管理模型并进行推理。
  5. 开源和可扩展:Ollama 是开源项目或基于开源技术,用户可以根据自己的需求自定义和扩展其功能。

ollama开发环境预配置

建议是双系统或者纯ubuntu系统,不要虚拟机!!!!!!,经过实际测试安装的时候不需要深度学习环境,如果已经配置的不会对环境造成影响,建议安装显卡驱动,因为ollama在运行的时候调用显卡(目前我的运行是这样的),本人在开发的时候事先配置了ubuntu环境下的深度学习环境,包括显卡驱动安装、Cuda安装等安装,可以参考** https://blog.csdn.net/m0_58678659/article/details/122932488 **博客进行学习,注意显卡驱动和Cuda还有cudnn的版本适配

ollama在ubuntu下的安装

直接安装

直接访问ollama的官网https://ollama.com/,点击download,一共有三个图标,中间是linux,将该指令放到终端中运行:

curl -fsSL https://ollama.com/install.sh | sh

这条指令大概率是不行,采用科学上网下载也不能成功,国内的网络基本上别想了

压缩包安装

访问连接https://github.com/ollama/ollama/releases/,根据自己的系统下载对应压缩包,我的是intel的处理器x86架构下载amd64版本
在这里插入图片描述
下载完成后在下载目录下打开终端,运行以下指令,就会将该压缩文件夹解压到/use/local目录下面,这里注意的是解压后的文件夹的名字并不是ollama,一个是bin 一个是lib,解压成功后在/usr/local中打开bin和lib文件夹会出现ollama相关的文件

sudo tar -zxf ollama-linux-amd64.tgz -C /usr/local

在这里插入图片描述
在这里插入图片描述
这代表解压成功了,之后在该终端中输入,就会输出安装的版本信息代表安装成功了,如果是第一次安装大概率出来的消息会比图里面多几句话,什么could not这种,这是因为没有创建开机的脚本

ollama -v

在这里插入图片描述

创建开机ollama的脚本

先赋予执行权限,我的ollama解压到了**/usr/local**目录下,所以进入到当前目录bin中,先赋予执行权限,运行以下指令

sudo chmod +x /usr/local/bin/ollama

执行完成之后为ollama创建用户

sudo useradd -r -s /bin/false -m -d /usr/local/bin/ollama ollama

创建一个在 /etc/systemd/system/中的ollama.service的service文件,首先在终端中输入

sudo gedit /etc/systemd/system/ollama.service

之后在该文件中输入以下代码部分

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3[Install]
WantedBy=default.target

创建完成之后启动服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

启动ollama

在终端中输入,开启服务,然后会输出以下部分代码,这里会有一个http://127.0.0.1:11434,如果你是第一次打开大概率跟我下面界面是不一样的,需要进行一部操作,把该连接连接到IP地址服务器上,其实就是本地服务器

ollama serve

在这里插入图片描述
打开**~/.bashrc**文件,输入以下指令,在最后一行添加以下代码

sudo gedit ~/.bashrc

添加之后进行保存

export OLLAMA_HOST=http://127.0.0.1:11434

之后打开浏览器输入http://127.0.0.1:11434,会出现,代表之前的配置安装没有问题
在这里插入图片描述

ollama在ubuntu下的运行

先在终端打开ollama serve开启服务,之后输入以下代码,这里如果本地没有安装该模型,会自动进行下载,一定要科学上网

ollama run llama3.2-vision

安装完成之后并输入问题就有以下提示,代表可以进行本地调用
在这里插入图片描述


http://www.mrgr.cn/news/70859.html

相关文章:

  • Java——异常处理
  • 【LeetCode】【算法】279. 完全平方数
  • 平安人寿山西分公司:践行绿色金融,开启绿色新篇章
  • cmu 15-445学习笔记-5 哈希表
  • ES6笔记
  • 系统启动时将自动加载环境变量,并后台启动 MinIO、Nacos 和 Redis 服务
  • 探索jQuery与原生JavaScript:事件绑定的比较
  • 网页直播/点播播放器EasyPlayer.js播放器OffscreenCanvas这个特性是否需要特殊的环境和硬件支持
  • 【Kettle实战】按日期变量批量执行任务[附全部job和tras配置图]
  • 河南测绘资质办理注意事项
  • AI 大模型如何重塑软件开发流程与模式
  • 深入理解Python字符串:常用查找方法、去除首位信息、大小写转换与排版
  • Elasticsearch(ES)简介
  • 群晖NAS上部署Photopea并实现随时随地高效图片处理
  • 2024下半年软考系统架构师案例分析题试题与答案--Cache-aside
  • debug
  • Nginx 部署负载均衡服务全解析
  • 文章管理系统微信小程序ssm+论文源码调试讲解
  • JMeter进阶篇
  • 一、HTML
  • 【代码管理之道】Git基础知识详解
  • java---认识异常(详解)
  • 轻松提升技能和知识的 6 种方法
  • 【云原生开发】namespace管理的后端开发设计与实现
  • 系统安全第九次作业题目及答案
  • 广告投放系统:聚合广告SDK与技术设计方案