一、 InfiniBand 简介
InfiniBand —— 是一种技术,直译为 “无限带宽” 技术(简称 IB );是一个用于高性能计算的计算机网络通信标准,它具有极高的吞吐量和极低的延迟,用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连,以及存储系统之间的互连。
其次,inifiniband 也是一种 新的 网络通信协议(所谓网络通信协议就是 —— 一种网络通用语言:是不同操作系统、不同硬件之间提供通信支持的协议);提供了一种基于 交换 的架构,infiniband 通过交换机在节点之间直接的创建了一个 私有的、受保护的 通道,来进行数据和消息的传输,特点:无需CPU参与、直接通过 RDMA(直接内存访问)
二、 查看IB卡设备
三、切换 IB卡的IB模式为ethernet模式
systemctl start mst
mst status
mlxconfig -d /dev/mst/mt4123_pciconf0 query
mlxconfig -d /dev/mst/mt4123_pciconf0 set LINK_TYPE_P1=2
四、 驱动下载安装
MLNX_OFED的驱动在软件所下载地址为:
安装步骤为:
tar xf MLNX_OFED_LINUX-5.1-2.5.2.0-openeuler20.03-aarch64-ext.tgz
cd MLNX_OFED_LINUX-5.1-2.5.2.0-openeuler20.03-aarch64-ext
./mlnxofedinstall --add-kernel-support
/etc/init.d/openibd restart # 注意:如果有需要卸载的模块,必须卸载掉
/etc/init.d/opensmd restart
备注:
systemctl stop firewalld # 关闭防火墙
Ibdev2netdev # 该命令可查看网口映射关系
五、 配置网络
cd /etc/sysconfig/network-script
例如新建ifcfg-ibp3s0文件
TYPE=InfiniBand
DEVICE=ibp3s0
BOOTPROTO=static
IPADDR=3.3.3.3 # 任意写一个未被占用的IP地址
NETMASK=255.255.255.0
GATEWAY=172.168.131.1 # 网关地址
DEFROUTE=yes
NAME=ibp3s0
ONBOOT=yes
注意:配置之后重启网络服务或者reboot,查看网口时否up,如果不是up的状态无法测试
六、 手动读写延时带宽测试
读写延时测试:
【预置条件】无
【测试步骤】
客户端:
ib_read_lat -a -n 100000 -F -d mlx*
ib_write_lat -a -n 100000 -F -d mlx*
测试端:
ib_read_lat -a -n 100000 -F -d mlx*
ib_write_lat -a -n 100000 -F -d mlx*
【预期结果】
t_max不能太大,t_typical/t_avg/99% percentile/99.9% percentile大致相等,记录测试数据
读写带宽测试:
【预置条件】无
【测试步骤】
客户端:
ib_read_bw -a -F -d mlx*
ib_write_bw -a -F -d mlx*
服务端:
ib_read_bw -a -F -d mlx*
ib_write_bw -a -F -d mlx*
【预期结果】
性能能达到标称规格90%,记录性能数据