ConnectX-4 100Gb/s Ethernet Dual Port Adapter Card User Manual for Dell PowerEdge Rev 1.2
Mellanox Technologies
4
4.1.2 Downloading Mellanox OFED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.1.3 Installing Mellanox OFED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
4.1.3.1 Installation Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.1.3.2 Installation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.3.3 Installation Logging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.3.4 openibd Script . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.3.5 Driver Load Upon System Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.1.3.6 mlnxofedinstall Return Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.1.4 Uninstalling Mellanox OFED . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.1.5 Installing MLNX_OFED using YUM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.1.5.1 Setting up MLNX_OFED YUM Repository. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.1.5.2 Installing MLNX_OFED using the YUM Tool . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.1.5.3 Uninstalling Mellanox OFED using the YUM Tool . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.6 Installing MLNX_OFED using apt-get. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.6.1 Setting up MLNX_OFED apt-get Repository. . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.6.2 Installing MLNX_OFED using the apt-get Tool. . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.6.3 Uninstalling Mellanox OFED using the apt-get Tool . . . . . . . . . . . . . . . . . . . . . . 32
4.1.7 Updating Firmware After Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.7.1 Updating the Device Online . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.7.2 Updating the Device Manually . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.7.3 Updating the Device Firmware Automatically upon System Boot . . . . . . . . . . . . 33
4.1.8 UEFI Secure Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.1.8.1 Enrolling Mellanox's x.509 Public Key On your Systems . . . . . . . . . . . . . . . . . . 34
4.1.8.2 Removing Signature from Kernel Modules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.1.9 Performance Tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2 Windows Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36
4.2.1 Hardware and Software Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2.2 Downloading Mellanox WinOF-2 Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2.3 Installing Mellanox WinOF-2 Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2.3.1 Attended Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2.3.2 Unattended Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.2.4 Installation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2.5 Extracting Files Without Running Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2.6 Uninstalling Mellanox WinOF-2 Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2.6.1 Attended Uninstallation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2.6.2 Unattended Uninstallation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.2.7 Firmware Upgrade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.3 VMware Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .47
4.3.1 Hardware and Software Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3.2 Installing VMware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3.3 Removing Previous Mellanox Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.3.4 Loading/Unloading Driver Kernel Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.3.5 Firmware Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Chapter 5 Updating Adapter Card Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.1 Firmware Update Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .50
Chapter 6 Troubleshooting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6.1 General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51