这个问题我应该可以回答，前几天刚刚操练过，还是离线安装的——物理断网的，下载文件很麻烦。
x86_64平台，nvidia A40。 安装 cuda 12.8，下载 fedola 或 redhat 下的，但不要 rpm 包，可能各种依赖不一样，不行。就下载 .run 文件，可也。
我下载了好多，有cuda，还有 驱动，其实只需要cuda一个就可以了，内含驱动程度。即： cuda_12.4.0_550.54.14_linux.run , cuda 12.4, 驱动为 550.54。
我没有安装 12.8 ，担心 pytorch 有问题，没有试。后面安装了 ollama ，至少 12.4 是可以用的。