Ubuntu手动部署ollama本地大模型开源框架教程

一、关于ollama介绍

Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。

官网：https://ollama.com/

GitHub 地址：https://github.com/ollama/ollama

二、部署ollama

1.下载ollama到本地

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama

2.赋予执行权限

sudo chmod +x /usr/bin/ollama

3.创建ollama用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

3.创建ollama守护进程文件

sudo vim /etc/systemd/system/ollama.service

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

Environment="OLLAMA_HOST=0.0.0.0:11434"

ExecStart=/usr/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

[Install]

WantedBy=default.target

4.启动ollama服务

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

5.验证ollama是否启动

ubuntu@k3s-wanshengjj:~$ sudo ollama -v

ollama version is 0.3.6