系统环境硬件要求

使用Ollama推理框架的DeepSeek部署过程 方式一:自动部署方式
以下部署流程是在openEuler 24.03 LTS版本上使用Ollama推理框架部署DeepSeek-R1-Distill-Qwen- 7B的流程。注意:该方式可能会存在下载速度缓慢的问题,后面提供了手动下载部署安装的方式,便于 在网络环境不好的情况下进行部署安装。
Ollama下载安装采用Ollama官网下载方式:
curl -fsSL https://ollama.com/install.sh sh

Ollama部署DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b

可以问一些问题进行测试

openEuler 24.03-LTS-SP1 安装 d ocker
Docker 部署(个人推荐方式)
#获取镜像
docker pull ghcr.io/open-webui/open-webui:main #国内网络因素,如果拉取不下来可以用下面的命令拉取
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open- webui:latest
镜像拉取成功后就可以启动镜像了
拉取 github 官方镜像的启动,可以将 3000 改为你想要监听的外部端 口
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
数据卷映射 (Volume Mapping: -v
open-webui:/app/backend/data):确保数据持久化存储,防止容器重启时数据丢失。 端口映射
(Port
Mapping: -p 3000:8080):将 WebUI 暴露在本地机器的 3000 端口上。 > 要启用 Nvidia GPU 支持,在 docker run 命令中添加 --gpus all
docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui Package open-webui · GitHub
如果是其他源拉取的镜像最好先给镜像改个名,以上述拉取的源为例拉取后镜像名字为:swr.cn-north- 4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui

修改保存之后,记得重启 docker 服务。
systemctl daemon-reload systemctl restart docker

部署 OpenWebUI
容器化部署 OpenWebUI
docker run -d \
–network=host \
-v open-webui:/app/backend/data \
-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \ –name open-webui \
–restart always \

修改 Ollama 配置文件:
sudo vim /etc/systemd/system/ollama.service
在 [Service] 部分添加环境变量,使其监听所有接口: Environment=“OLLAMA_HOST=0.0.0.0:11434”

重启 Ollama
sudo systemctl daemon-reload sudo systemctl restart ollama

验证 OpenWebUI 安装
浏览器访问: http://192.168.74.112:8080打开 Open WebUI 页面。  首先需要设置用户账号信息创建管理员账号

 登录成功后,进入首页

 选择大模型

 对话交互
