Deepseek大模型本地部署+本地知识库的构建

1.安装环境

本次安装基于Linux操作系统centos发行版。

2.安装步骤

ollama 和 Dify 的安装没有先后顺序

2.1安装ollama

打开ollama的官网，如下界面

复制图中的命令，在Linux中运行，大概率会卡住（如果正常安装则不用看后续的ollama安装），出现下图这种情况：

如果卡住则换一种方式进行安装，同样是ollama的官网，点击下图红框部分

然后根据安装提示依次运行相应代码，下载时有时很慢，慢慢等吧。

安装前最好建一个目录

mkdir /opt/ollama && cd /opt/ollama

下载ollama的安装包并进行解压

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz<br>sudo tar -C /usr -xzf ollama-linux-amd64.tgz

启动ollama的服务

ollama serve

查看ollama的版本

ollama -v

安装ollama成功后，输入ollama -v 会有相应的版本。

2.2 通过ollama安装大模型(根据自己硬件配置选择合适的)，

本次实验选择deepseek-r1:1.5b

ollama run deepseek-r1:1.5b

下载完运行成功后如下图

2.3 下载dify

本次安装采用docker compose安装，如未下载docker请先安装docker

创建dify目录并进入

mkdir /opt/dify && cd /opt/dify

克隆 Dify 源代码至本地环境,如未安装git先安装git

git clone https://github.com/langgenius/dify.git

进入 Dify 源代码的 Docker 目录

cd dify/docker

复制环境配置文件

cp .env.example .env

启动 Docker 容器

docker compose up -d

最后检查是否所有容器都正常运行：

docker compose ps

在这个输出中，你应该可以看到包括 3 个业务服务 api / worker / web，以及 6 个基础组件 weaviate / db / redis / nginx / ssrf_proxy / sandbox 。

3.访问dify

在浏览器访问自己的机器IP，默认80端口。 出现登录页面，

3.1设置自己的本地大模型

登录进去后，点击右上角个人账号，点击设置，如下图

找到ollama添加自己的本地大模型

3.2 注意：

1. 模型名称一定要和ollama中的名称对应(通过 ollama list 命令查看所有下载的本地模型)，不可自己编造。
2. 基础URL要加上http://请求头。

设置无误后报错如下,拒绝链接，访问本地IP：11434显示拒绝访问。

通过netstat查看端口占用(该命令需要安装net-tools工具)，发现11434端口只在回环地址上监听，用本地浏览器无法访问，如下图所示，

修改ollama service文件

vim /etc/systemd/system/ollama.service

在service模块下增加：Environment=”OLLAMA_HOST=0.0.0.0:11434″，加完后如下图所示

修改完后，执行如下命令：

systemctl daemon-reload
systemctl restart ollama

然后再重新在浏览器访问本机IP:11434，发现还是无法访问，发现防火墙未关闭，关闭防火墙后访问成功。

此时我们再回到dify设置界面进行设置 ，设置成功，在模型列表中可以看到我们刚刚添加的本地模型

3.3 创建聊天助手

随便起个名字然后测试，能正常使用。

4.创建本地知识库

本地知识库的构建可以使用Embedding 模型，也可以不使用Embedding 模型，只用dify自带的切片功能；这里我以使用Embedding 模型为例。

4.1. Embedding 模型的下载

Embedding 模型有多种，这里以其中一个为例，打开ollama官网的models页面：

通过ollama下载第一个模型：

ollama pull shaw/dmeta-embedding-zh

下载完成后按照3.1步骤进行添加即可，添加后可显示如下

4.2 创建知识库

上传自己要上传的文件，然后下一步，可以看到我们的 Embedding 模型

等待创建完成后回到工作室页面，添加上下文，找到我们刚刚创建的知识库添加即可

————————————————

原文链接：https://blog.csdn.net/weixin_57254695/article/details/145523700