在GPU上开启mps服务

多进程服务 (MPS) 是 CUDA 应用程序编程接口 (API) 的替代二进制兼容实现。MPS 运行时架构旨在透明地支持协作的多进程 CUDA 应用程序(通常是 MPI 作业),以利用最新 NVIDIA(Kepler 及更高版本)GPU 上的 Hyper-Q 功能。Hyper-Q 允许在同一 GPU 上同时处理 CUDA 内核;当单个应用程序进程未充分利用 GPU 计算容量时,这可以提高性能。

使用之前需要查询GPU手册,查看是否支持MPS功能

开启MPS

sudo nvidia-smi -i 0 -c EXCLUSIVE_PROCESS
export CUDA_VISIBLE_DEVICES=0
nvidia-cuda-mps-control –d

关闭MPS

echo quit | nvidia-cuda-mps-control
sudo nvidia-smi -i 0 -c DEFAULT
1 Like