【Qwen3 on openEuler】问题收集与讨论专贴

此贴收集您在以下场景中遇到的问题与建议:

  • Qwen3 在 openEuler 上的部署与运行异常(如环境依赖、权限问题等)
  • 模型推理性能瓶颈(如速度慢、资源占用过高)
  • 功能兼容性问题(如特定 API 调用失败、工具链冲突)
  • Qwen3 在 openEuler 上的其他相关使用体验反馈

反馈格式建议(便于高效排查)

请尽量包含以下信息:

  1. 系统环境
  • openEuler 版本:openEuler 22.03 LTS / 其他版本
  • 硬件配置:CPU/GPU 型号、内存大小
  • Qwen3 版本:Qwen3-72B / Qwen3-1.8B / 其他
  1. 问题描述
  • 复现步骤:清晰的操作流程(如代码/命令示例)
  • 预期结果:期望的正常行为
  • 实际结果:观察到的错误现象(含截图或日志片段)
  • 已尝试的解决方法:如调整配置、更新驱动等
  1. 附加信息(可选)
  • 相关日志文件(如 /var/log 目录下的错误日志)
  • 系统监控数据(如 htopnvidia-smi 的输出)

注意事项

  • 请勿在此贴发布无关内容,严禁泄露敏感信息
  • 复杂问题建议附带日志文件(脱敏后)
  • 社区开发者将按优先级依次处理,紧急问题请标注【紧急】
  1. 系统环境
  • openEuler 版本:openEuler 22.03 LTS SP3
  • 硬件配置:NPU:Ascend NPU 310P3
  • NPU驱动:npu-smi 24.1.0.1
  • Qwen3 版本:Qwen3-8B
  1. 问题描述
  • 复现步骤:清晰的操作流程(如代码/命令示例)
    1)使用docker部署vllm Ascend,镜像为:quay.io/ascend/vllm-ascend:v0.8.4rc2-openeuler
docker pull quay.io/ascend/vllm-ascend:v0.8.4rc2-openeuler

然后用该镜像启动容器,进入容器后部署 Qwen3-8B,vllm serve命令部署模型时报错

vllm serve /root/Qwen3-8B-Base/ --tensor_parallel_size 2 --served-model-name "Qwen3-8B" --max-num-seqs 256 --max-model-len=4096 --host x.x.x.x --port xxxx &

报错如下:

RuntimeError: call aclnnSwiGlu failed, detail:EZ1001: [PID: 695] 2025-04-29-08:23:53.238.991 Get path and read binary_info_config.json failed, please check if the opp_kernel package is installed!

  • 已尝试的解决方法:如调整配置、更新驱动等
    尝试再容器内安装 Kernels算子包(opp_kernel) 但是安装后npu-smi不能正常使用,模型部署失败。