RTX4090(48G显存),i9处理器,128G内存,华硕 rog strix Z790-E,现在要部署一套大语言模型。按照vllm方式,不使用ollama,仅作DeepSeek(部署deepseek,同时再加一个专业小模型)的推理服务器,另外已经部署好了一台openwebui服务器,用于连接本服务器。想尽可能发挥gpu性能,请帮忙介绍一下在欧拉系统上的部署步骤。
Related topics
| Topic | Replies | Views | Activity | |
|---|---|---|---|---|
| 《DeepSeek专栏1 :openEuler部署DeepSeek全攻略档》 | 1 | 118 | May 26, 2025 | |
| 《openEuler部署DeepSeek全攻略》 | 0 | 128 | May 10, 2025 | |
| 《openEuler 虚拟机部署 DeepSeek-R1 + OpenWebUI 全流程指南》 | 0 | 237 | May 11, 2025 | |
| openEuler release 24.03系统使用ollama运行deepseek模型报错 | 4 | 233 | February 26, 2025 | |
| Day 0上手指南:在openEuler上基于vLLM Ascend 部署 Qwen3 | 0 | 353 | April 29, 2025 |