在树莓派5（8G版）上运行Ollama + LLM

很好奇大语言模型在性能孱弱的树莓派上做本地部署会是什么表现。不指望正儿八经的问答，外语翻译是否可行呢？抱着这个目的实验了一把，直接上结论，Ollama在树莓派上能安装，且本身运行起来毫无压力，但具体到大语言模型，Deepseek-R1似乎不总是最佳选择。

安装很简单，理论上只需要一条命令：

curl -fsSL https://ollama.com/install.sh | sh

但是，由于你懂的原因，真这么干的话可能会很慢很慢，所以可以用包含了国内加速器的指令替代：

export OLLAMA_MIRROR="https://ghproxy.cn/https://github.com/ollama/ollama/releases/latest/download"
curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh

安装成功，用ollama --version测试也没问题。考虑到性能，保险起见先从deepseek-r1:1.5b开始。

迫不及待的开始进行对话，速度那是相当的不错，但质量怎么说呢，让我想起个段子：

面试官：“你简历上写着说你心算速度很快，那我问问你，13乘以19是多少？”

我脱口而出：“45！”

面试官：“这也差太远了吧。”

我：“你就说快不快吧！”

  嗯，就是这个感觉，你就说快不快吧！

我觉得大概是模型不够大，于是又开始下载7b模型并问了同样的问题：

Token输出的速度肉眼可见的明显下降（但也还行，能接受）。不能接受的是继续胡说八道。8b和7b情况类似，除了输出更慢、胡说八道的姿势更一本正经之外并未获得更正确信息。

但在这个级别就没有能打的了吗？别说，qwen2.5答对了：
“おひさま”这个单词确实是偶然从一本小小鬼子级别的教材的封面上看来的。

14b就别想了，RPI5的内存不够：
作为参考，在PC上的测试结果如下：

 所以树莓派5（8G版）上能跑大语言模型，但是能达到的效果还得具体问题具体分析。