Ollama系列—【如何离线安装ollama?】

图片[1]-Ollama系列—【如何离线安装ollama?】-龙之小站资源屋

1.环境

本文以centos7.9安装ollama为例

2.下载ollama安装包

官网地址:https://ollama.com/download/linux
GitHub手动安装文档地址:https://github.com/ollama/ollama/blob/main/docs/linux.md
安装包下载地址:https://ollama.com/download/ollama-linux-amd64.tgz

3.上传到服务器并解压

这里我以上传到/opt/app/middles/ollama目录为例

tar -xzf ollama-linux-amd64.tgz

4.创建ollama.service文件

vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/opt/app/middles/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置,可以直接在外网下载好模型,打包解压到内网的ollama的模型目录下,就能实现离线安装了
Environment="OLLAMA_MODELS=/opt/app/middles/ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target

#修改完之后,刷新
systemctl daemon-reload

5.ollama启动相关命令

systemctl enable ollama

systemctl start ollama

systemctl status ollama

systemctl stop ollama

systemctl restart ollama

6.配置全局环境变量

vi /etc/profile.d/ollama.sh

#ollama.sh内容如下
PATH=$PATH:/opt/app/middles/ollama/bin
export PATH

#刷新
source /etc/profile

7.验证是否启动成功

下面命令能正常执行,不报错,出现下面的内容就说明安装成功了
NAME ID SIZE MODIFIED

ollama ls

如果执行ollama ls提示权限不够:

-bash: /opt/app/middles/ollama/bin/ollama: 权限不够

需要添加执行权限。可以使用 chmod 命令来修改权限。例如,为所有用户添加执行权限:

chmod +x /opt/app/middles/ollama/bin/ollama

如果你想只为特定用户或组添加执行权限,可以更具体地指定权限。例如,只给文件的所有者添加执行权限:

chmod u+x /opt/app/middles/ollama/bin/ollama

使用 sudo 执行
如果你没有足够的权限更改文件权限(比如文件由 root 用户拥有),你可能需要用 sudo 提升权限来执行上述命令:

sudo chmod +x /opt/app/middles/ollama/bin/ollama

请注意,使用 sudo 需要你有相应的权限,并且操作时应谨慎行事,以免对系统造成不利影响。

完成上述步骤后,你应该能够执行 /opt/app/middles/ollama/bin/ollama 脚本了。如果仍有问题,请确保脚本依赖的所有其他文件和目录也具有适当的权限。

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片快捷回复

    暂无评论内容