RTX4090(48G显存),i9处理器,128G内存,华硕 rog strix Z790-E,现在要部署一套大语言模型。按照vllm方式,不使用ollama,仅作DeepSeek(部署deepseek,同时再加一个专业小模型)的推理服务器,另外已经部署好了一台openwebui服务器,用于连接本服务器。想尽可能发挥gpu性能,请帮忙介绍一下在欧拉系统上的部署步骤。
相关话题
| 话题 | 回复 | 浏览量 | 时间点 | |
|---|---|---|---|---|
| 《DeepSeek专栏1 :openEuler部署DeepSeek全攻略档》 | 1 | 110 | 2025 年5 月 26 日 | |
| 《openEuler部署DeepSeek全攻略》 | 0 | 128 | 2025 年5 月 10 日 | |
| 《openEuler 虚拟机部署 DeepSeek-R1 + OpenWebUI 全流程指南》 | 0 | 236 | 2025 年5 月 11 日 | |
| openEuler release 24.03系统使用ollama运行deepseek模型报错 | 4 | 231 | 2025 年2 月 26 日 | |
| Day 0上手指南:在openEuler上基于vLLM Ascend 部署 Qwen3 | 0 | 351 | 2025 年4 月 29 日 |