2. Computers & electronics
  3. Software
  4. Qlogic
  5. 3400 Series
3400 Series

Qlogic 3400 Series, 8400 Series User manual

  • Hello! I am an AI chatbot trained to assist you with the Qlogic 3400 Series User manual. I’ve already reviewed the document and can help you find the information you need or explain it in simple terms. Just ask your questions, and providing more details will help me assist you more effectively!
83840-546-00 D
User’s Guide
Converged Network Adapters and Intelligent
Ethernet Adapters
8400, 3400 Series
ii 83840-546-00 D
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
Information furnished in this manual is believed to be accurate and reliable. However, QLogic Corporation assumes no
responsibility for its use, nor for any infringements of patents or other rights of third parties which may result from its
use. QLogic Corporation reserves the right to change product specifications at any time without notice. Applications
described in this document for any of these products are for illustrative purposes only. QLogic Corporation makes no
representation nor warranty that such applications are suitable for the specified use without further testing or
modification. QLogic Corporation assumes no responsibility for any errors that may appear in this document.
Document Revision History
Revision A, October 20, 2014
Revision B, November 14, 2014
Revision C, April 3, 2015
Revision D, September 16, 2015
Changes Sections Affected
Updated “Single-chip solution” bullet to exclude
QLE3442-RJ adapters
Removed universal management port (UMP) from
the list of manageability features
“Features” on page 2
Added the section Adapter Specifications “Adapter Specifications” on page 5
Moved “Network Link and Activity Indication” to
Appendix A
“Adapter LEDS” on page 359
In Table 5-1, removed references to 1Gb adapters. “Introduction” on page 23
In step 1, added modprobe -r bnx2 command
as an option.
“Load and Run Necessary iSCSI Software Compo-
nents” on page 30
Updated instances of QCS4 to QCS. Throughout
Added RSS support for VMware ESXi 6.0. “RSS” on page 52
Added VxLAN offload support for VMware ESXi
6.0.
Updated the default for enable_vxlan_offld to
enable_vxlan_offld =1.
“enable_vxlan_offld” on page 52
Added missing chapter, “Using QLogic Control
Suite”.
Chapter 8
In step 5, removed IP addresses from the first bul-
let.
“iSCSI Boot Configuration” on page 169
In step 4b, updated “driver” to “drive”.
In step 7b, updated “with iscsi=1” to “withiscsi=1”.
“Linux iSCSI Boot Setup” on page 182
In step 2, updated the bad cross reference to
“Viewing Resource Reservations”.
“Configuring QLogic iSCSI Using QCS” on
page 194
Added iSCSI offload support for VMware ESXi 6.0 “iSCSI Offload on VMware Server” on page 212
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
iii 83840-546-00 D
Added FCoE boot support for VMware ESXI 5.5
and 6.0
“VMware ESXi FCoE Boot Installation” on
page 242
Added NPAR support for VMware ESXi 6.0 “Supported Operating Systems for NIC Partition-
ing” on page 251
In Table 20-1, removed command option uediag
-fump <ump_image>
“Performing Diagnostics” on page 341
Removed Chapter 22 Specifications and
Chapter 23 Regulatory Information
iv 83840-546-00 D
User’s Guide Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
v 83840-546-00 D
Table of Contents
Preface
Intended Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii
What Is in This Guide. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii
Related Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiv
Documentation Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxv
License Agreements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvi
Technical Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii
Downloading Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii
Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviii
Contact Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviii
Knowledge Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviii
Legal Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxix
Warranty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxix
Laser Safety . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxix
FDA Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxix
Agency Certification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxix
EMI and EMC Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . xxix
Product Safety Compliance . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxx
1 Product Overview
Functional Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Features. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
iSCSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Power Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Adaptive Interrupt Frequency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
ASIC with Embedded RISC Processor . . . . . . . . . . . . . . . . . . . . . . . . 5
QLogic Control Suite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Supported Operating Environments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Adapter Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Physical Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Standards Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
vi 83840-546-00 D
2 Installing the Hardware
System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Operating System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Safety Precautions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Preinstallation Checklist. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Installation of the Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Connecting the Network Cables. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3 Multi-boot Agent (MBA) Driver Software
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Setting Up MBA in a Client Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Enabling the MBA Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Configuring the MBA Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Setting Up the BIOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Setting Up MBA in a Server Environment . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Red Hat Linux PXE Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
MS-DOS UNDI/Intel APITEST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4 Windows Driver Software
Installing the Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Using the Installer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Using Silent Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Removing the Device Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Installing QLogic Management Applications . . . . . . . . . . . . . . . . . . . . . . . . 18
Viewing or Changing the Adapter Properties. . . . . . . . . . . . . . . . . . . . . . . . 19
Setting Power Management Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
5 Linux Driver Software
Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
bnx2x Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
bnx2i Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
bnx2fc Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Packaging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Installing Linux Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Installing the Source RPM Package . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Installing the KMP Package. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Building the Driver from the Source TAR File . . . . . . . . . . . . . . . . . . . 29
Load and Run Necessary iSCSI Software Components . . . . . . . . . . . . . . . 30
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
vii 83840-546-00 D
Unloading/Removing the Linux Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Unloading/Removing the Driver from an RPM Installation . . . . . . . . . 31
Removing the Driver from a TAR Installation . . . . . . . . . . . . . . . . . . . 31
Uninstalling QCS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
RPM Package. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Patching PCI Files (Optional). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Network Installations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Setting Values for Optional Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
bnx2x Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
disable_tpa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
int_mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
dropless_fc. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
disable_iscsi_ooo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
multi_mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
num_queues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
pri_map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
qs_per_cos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
cos_min_rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
bnx2i Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
error_mask1 and error_mask2. . . . . . . . . . . . . . . . . . . . . . . . . . 36
en_tcp_dack. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
time_stamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
sq_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
rq_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
event_coal_div . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
last_active_tcp_port . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
ooo_enable. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
bnx2fc Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
debug_logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
bnx2 Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
bnx2x Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
viii 83840-546-00 D
bnx2x Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Driver Sign On . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
CNIC Driver Sign On (bnx2 only) . . . . . . . . . . . . . . . . . . . . . . . . 40
NIC Detected . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Link Up and Speed Indication. . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Link Down Indication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
MSI-X Enabled Successfully . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
bnx2i Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
BNX2I Driver Signon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Network Port to iSCSI Transport Name Binding. . . . . . . . . . . . . 41
Driver Completes handshake with iSCSI Offload-enabled
CNIC Device. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Driver Detects iSCSI Offload Is Not Enabled on the CNIC Device 41
Exceeds Maximum Allowed iSCSI Connection Offload Limit. . . 41
Network Route to Target Node and Transport Name Binding
Are Two Different Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Target Cannot Be Reached on Any of the CNIC Devices. . . . . . 41
Network Route Is Assigned to Network Interface, Which Is Down 41
SCSI-ML Initiated Host Reset (Session Recovery) . . . . . . . . . . 41
CNIC Detects iSCSI Protocol Violation - Fatal Errors. . . . . . . . . 42
CNIC Detects iSCSI Protocol Violation - Non-FATAL, Warning . 43
Driver Puts a Session Through Recovery. . . . . . . . . . . . . . . . . . 43
Reject iSCSI PDU Received from the Target . . . . . . . . . . . . . . . 43
Open-iSCSI Daemon Handing Over Session to Driver . . . . . . . 43
bnx2fc Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
BNX2FC Driver Signon: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Driver Compiles Handshake with FCoE Offload Enabled
CNIC Device. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Driver Fails Handshake with FCoE Offload Enabled CNIC Device 43
No Valid License to Start FCoE . . . . . . . . . . . . . . . . . . . . . . . . . 44
Session Failures Due to Exceeding Maximum Allowed FCoE
Offload Connection Limit or Memory Limits . . . . . . . . . . . . . . . 44
Session Offload Failures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Session Upload Failures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Unable to Issue ABTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Unable to Recover the IO Using ABTS (Due to ABTS Timeout) 44
Unable to Issue IO Request Due to Session Not Ready . . . . . . 44
Drop Incorrect L2 Receive Frames. . . . . . . . . . . . . . . . . . . . . . . 44
HBA/lport Allocation Failures . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
NPIV Port Creation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
ix 83840-546-00 D
Teaming with Channel Bonding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6 VMware Driver Software
Packaging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Download, Install, and Update Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Networking Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
int_mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
disable_tpa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
num_rx_queues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
num_tx_queues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
pri_map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
qs_per_cos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
cos_min_rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
dropless_fc. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
RSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
max_vfs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
enable_vxlan_offld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Driver Defaults. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Unloading and Removing Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Driver Sign On . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
NIC Detected . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
MSI-X Enabled Successfully . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Link Up and Speed Indication. . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Link Down Indication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Memory Limitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
MultiQueue/NetQueue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
FCoE Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Enabling FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Installation Check . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Supported Distributions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
7 Installing Management Applications
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
QCS Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Communication Protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
x 83840-546-00 D
Installation Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
WS-MAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Windows Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Windows Client. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Linux Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Linux Client. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
CIM-XML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Linux Client. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
WMI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Windows Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Windows Client. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Detailed Procedures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
WS-MAN on Windows Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Install the WinRM Software Component on Server . . . . . . . . . . 61
Perform Basic Configuration on the Server . . . . . . . . . . . . . . . . 62
Perform User Configuration on the Server . . . . . . . . . . . . . . . . . 62
Perform HTTP Configuration on the Server . . . . . . . . . . . . . . . . 62
Perform HTTPS Configuration on the Server
(to use HTTPS Instead of HTTP). . . . . . . . . . . . . . . . . . . . . . . 64
Configure WinRM HTTPS/SSL on the Server . . . . . . . . . . . . . . 68
Additional Server Configuration . . . . . . . . . . . . . . . . . . . . . . . . . 70
WS-MAN—Windows Client. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Perform HTTP Configuration (if you plan to use HTTP). . . . . . . 71
Perform HTTPS Configuration (if you plan to use HTTPS) . . . . 72
Configure WinRM HTTPS/SSL. . . . . . . . . . . . . . . . . . . . . . . . . . 73
WS-MAN and CIM-XML—Linux Server. . . . . . . . . . . . . . . . . . . . . . . . 73
Install OpenPegasus From the Inbox RPM (Red Hat Only) . . . . 74
Install OpenPegasus From Source (Red Hat and SuSE). . . . . . 75
Start CIM Server on the Server. . . . . . . . . . . . . . . . . . . . . . . . . . 77
Configure OpenPegasus on the Server . . . . . . . . . . . . . . . . . . . 77
Install QLogic CMPI Provider . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
Perform Linux Firewall Configuration, If Required . . . . . . . . . . . 79
WS-MAN and CIM-XML—Linux Client . . . . . . . . . . . . . . . . . . . . . . . . 80
Configure HTTPS on Linux Client . . . . . . . . . . . . . . . . . . . . . . . 80
Install QCS Management Application. . . . . . . . . . . . . . . . . . . . . 81
WMI—Windows. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Set up Namespace Security Using WMI Control . . . . . . . . . . . . 82
Grant DCOM Remote Launch and Activate Permission. . . . . . . 83
Special Configuration for WMI on Different Systems . . . . . . . . . 84
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xi 83840-546-00 D
Installing QCS and Related Management Applications . . . . . . . . . . . . . . . . 85
Installing on a Windows System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Installing on a Linux System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Management Applications (Windows) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Modifying the Management Application. . . . . . . . . . . . . . . . . . . . . . . . 86
Repairing Management Applications. . . . . . . . . . . . . . . . . . . . . . . . . . 86
Removing Management Applications . . . . . . . . . . . . . . . . . . . . . . . . . 87
8 Using QLogic Control Suite
QLogic Control Suite Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Starting QLogic Control Suite. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
QCS Interface. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
Explorer View Pane. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
Context View Selector. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Filter View. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Context View Pane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Menu Bar. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Discovery Wizard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Manage Targets Wizard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Manage iSNS Servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Manage Discovery Portals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Boot Configuration Wizard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Hardware and Resource Configuration Wizard . . . . . . . . . . . . . 93
Description Pane. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Configuring Preferences in Windows. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Connecting to a Host . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
Managing the Host. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Information Tab: Host Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
Information Tab: iSCSI Initiator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
Configuration Tab: System Management . . . . . . . . . . . . . . . . . . . . . . 97
Managing the Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Viewing Adapter Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Viewing Resource Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
Information Tab: Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
Viewing Hardware Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Information Tab: Hardware. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Configuring Adapter Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Hardware and Resource Configuration Wizard: Port Configuration . . 99
Managing Ethernet Controller (Port) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
Viewing Port Level Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xii 83840-546-00 D
Viewing Vital Signs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Viewing NIC Partitioning Information. . . . . . . . . . . . . . . . . . . . . . . . . . 103
Testing the Network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Running Diagnostic Tests in Windows. . . . . . . . . . . . . . . . . . . . . . . . . 106
Analyzing Cables in Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Managing the LAN Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
Viewing NDIS Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Viewing Driver Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Information Tab: Vital Signs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
Information Tab: SR-IOV Switch Information . . . . . . . . . . . . . . . 113
Configuring the NDIS Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
Viewing Resource Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Configuring System Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Viewing Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
General Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
IEEE 802.3 Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
Custom Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
Viewing Resource Reservations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Configuring the IP Address for iSCSI Offload . . . . . . . . . . . . . . . . . . . 128
Viewing Licenses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Configuring Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Team Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
Smart Load Balance and Failover. . . . . . . . . . . . . . . . . . . . . . 130
Link Aggregation (802.3ad) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
Generic Trunking (FEC/GEC)/802.3ad-Draft Static . . . . . . . . . . 130
SLB (Auto-Fallback Disable) . . . . . . . . . . . . . . . . . . . . . . . . . . 131
Standby Team Member and Auto-Fallback Disable Mode . . . . . . . . . 131
LiveLink . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
Using the QLogic Teaming Wizard . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
Using Expert Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
Creating a Team . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
Modifying a Team . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Adding a VLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
Viewing VLAN Properties and Statistics and Running VLAN Tests 149
Deleting a VLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Configuring LiveLink for a Smart Load Balancing and Failover
and SLB (Auto-Fallback Disable) Team . . . . . . . . . . . . . . . . . . 149
Saving and Restoring a Team Configuration . . . . . . . . . . . . . . . 151
Viewing ASP Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xiii 83840-546-00 D
Configuring With the Command Line Interface Utility. . . . . . . . . . . . . . . . . . 152
Troubleshooting QCS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
9 Firmware Upgrade
Upgrading Firmware for Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
Upgrading Firmware for Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
10 iSCSI Protocol
iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Supported Operating Systems for iSCSI Boot. . . . . . . . . . . . . . . . . . . 164
iSCSI Boot Setup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
Configuring the iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
Configuring iSCSI Boot Parameters. . . . . . . . . . . . . . . . . . . . . . 165
MBA Boot Protocol Configuration. . . . . . . . . . . . . . . . . . . . . . . . 167
iSCSI Boot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Enabling CHAP Authentication. . . . . . . . . . . . . . . . . . . . . . . . . . 174
Configuring the DHCP Server to Support iSCSI Boot . . . . . . . . 175
DHCP iSCSI Boot Configurations for IPv4. . . . . . . . . . . . . . . . . 175
DHCP iSCSI Boot Configuration for IPv6. . . . . . . . . . . . . . . . . . 177
Configuring the DHCP Server . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Preparing the iSCSI Boot Image. . . . . . . . . . . . . . . . . . . . . . . . . 178
Booting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Configuring VLANs for iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
Other iSCSI Boot Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
Changing the Speed and Duplex Settings in
Windows Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
Virtual LANs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
The 'dd' Method of Creating an iSCSI Boot Image. . . . . . . . . . . 190
Troubleshooting iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
iSCSI Crash Dump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
iSCSI Offload in Windows Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
iSCSI Offload Limitations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Configuring iSCSI Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Installing QLogic Drivers and Management Applications . . . . . . 194
Installing the Microsoft iSCSI Initiator. . . . . . . . . . . . . . . . . . . . . 194
Configuring QLogic iSCSI Using QCS . . . . . . . . . . . . . . . . . . . . 194
Configuring a VLAN for the iSCSI Interface . . . . . . . . . . . . . . . . 194
Configure Microsoft Initiator to Use QLogic’s iSCSI Offload. . . . 198
iSCSI Offload FAQs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Event Log Messages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xiv 83840-546-00 D
iSCSI Offload in Linux Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
Open iSCSI User Applications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
User Application - qlgc_iscsiuio. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Bind iSCSI Target to QLogic NX2 iSCSI Transport Name. . . . . . . . . . 209
VLAN Configuration for iSCSI Offload (Linux). . . . . . . . . . . . . . . . . . . 210
Modifying the iSCSI iface File. . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Setting the VLAN ID on the Ethernet Interface. . . . . . . . . . . . . . 210
Making Connections to iSCSI Targets. . . . . . . . . . . . . . . . . . . . . . . . . 211
Add Static Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
iSCSI Target Discovery Using 'SendTargets' . . . . . . . . . . . . . . . 211
Login to Target Using 'iscsiadm' Command . . . . . . . . . . . . . . . . 211
List All Sessions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
List All Drives Active in the System . . . . . . . . . . . . . . . . . . . . . . 212
Maximum Offload iSCSI Connections. . . . . . . . . . . . . . . . . . . . . . . . . 212
Linux iSCSI Offload FAQ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
iSCSI Offload on VMware Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
11 Fibre Channel Over Ethernet
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
FCoE Boot from SAN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
Preparing System BIOS for FCoE Build and Boot. . . . . . . . . . . . . . . . 216
Modify System Boot Order . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
Specify BIOS Boot Protocol (if required) . . . . . . . . . . . . . . . . . . 216
Prepare QLogic Multiple Boot Agent for FCoE Boot . . . . . . . . . . . . . . 217
UEFI Boot LUN Scanning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
Provisioning Storage Access in the SAN. . . . . . . . . . . . . . . . . . . . . . . 223
Pre-Provisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
CTRL+R Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
One-Time Disabled . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
Windows Server 2008 R2 and Windows Server 2008 SP2
FCoE Boot Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
Windows Server 2012/2102 R2 FCoE Boot Installation . . . . . . . . . . . 228
Linux FCoE Boot Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
SLES11 SP2 Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
RHEL6 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Linux: Adding Additional Boot Paths . . . . . . . . . . . . . . . . . . . . . 240
VMware ESXi FCoE Boot Installation . . . . . . . . . . . . . . . . . . . . . . . . . 242
Configuring FCoE Boot from SAN on VMware. . . . . . . . . . . . . . 246
Booting from SAN After Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Driver Upgrade on Linux Boot from SAN Systems . . . . . . . . . . . . . . . 247
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xv 83840-546-00 D
Errors During Windows FCoE Boot from SAN Installation . . . . . . . . . 248
Configuring FCoE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
12 NIC Partitioning and Bandwidth Management
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
Supported Operating Systems for NIC Partitioning. . . . . . . . . . . . . . . 251
Configuring for NIC Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
Configuration Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
Number of Partitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
Network MAC Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
iSCSI MAC Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
Flow Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
Physical Link Speed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
Relative Bandwidth Weight (%). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
Maximum Bandwidth (%). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
13 Virtual LANs in Windows
VLAN Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
Adding VLANs to Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
14 SR-IOV
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
Enabling SR-IOV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
SR-IOV and Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
SR-IOV and Jumbo Packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
15 Microsoft Virtualization with Hyper-V
Supported Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Single Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Windows Server 2008 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Windows Server 2008 R2 and 2012 . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Teamed Network Adapters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
Windows Server 2008 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
Windows Server 2008 R2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
Configuring VMQ with SLB Teaming. . . . . . . . . . . . . . . . . . . . . . . . . . 265
Upgrading Windows Operating Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
16 Data Center Bridging (DCB)
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
DCB Capabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
Enhanced Transmission Selection (ETS) . . . . . . . . . . . . . . . . . . . . . . 268
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xvi 83840-546-00 D
Priority Flow Control (PFC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
Data Center Bridging eXchange (DCBX) . . . . . . . . . . . . . . . . . . . . . . 268
Configuring DCB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
DCB Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
Data Center Bridging in Windows Server 2012 . . . . . . . . . . . . . . . . . . . . . . 270
17 QLogic Teaming Services
Executive Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
Teaming Concepts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Network Addressing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
Teaming and Network Addresses. . . . . . . . . . . . . . . . . . . . . . . . 274
Description of Teaming Types . . . . . . . . . . . . . . . . . . . . . . . . . . 275
Software Components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Repeater Hub. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Switching Hub. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Router. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
Teaming Support by Processor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
Configuring Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
Supported Features by Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
Selecting a Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
Teaming Mechanisms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
Outbound Traffic Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
Inbound Traffic Flow (SLB Only). . . . . . . . . . . . . . . . . . . . . . . . . 288
Protocol Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
Performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
Types of Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
Switch-Independent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
Switch-Dependent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
LiveLink . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Attributes of the Features Associated with Each Type of Team . . . . . 294
Speeds Supported for Each Type of Team . . . . . . . . . . . . . . . . . . . . . 298
Teaming and Other Advanced Networking Properties . . . . . . . . . . . . . . . . 298
Checksum Offload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
IEEE 802.1p QoS Tagging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
Large Send Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
Jumbo Frames. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
IEEE 802.1Q VLANs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xvii 83840-546-00 D
Preboot Execution Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
General Network Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
Teaming with Microsoft Virtual Server 2005 . . . . . . . . . . . . . . . . . . . . 301
Teaming Across Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Switch-Link Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Spanning Tree Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
Topology Change Notice (TCN) . . . . . . . . . . . . . . . . . . . . . . . . . 307
Port Fast/Edge Port . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
Layer 3 Routing/Switching. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
Teaming with Hubs (for troubleshooting purposes only) . . . . . . . . . . . 308
Hub Usage in Teaming Network Configurations. . . . . . . . . . . . . 308
SLB Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
SLB Team Connected to a Single Hub. . . . . . . . . . . . . . . . . . . . 309
Generic and Dynamic Trunking (FEC/GEC/IEEE 802.3ad) . . . . 309
Teaming with Microsoft NLB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
Application Considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
Teaming and Clustering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
Microsoft Cluster Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
High-Performance Computing Cluster . . . . . . . . . . . . . . . . . . . . 312
Oracle. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
Teaming and Network Backup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
Load Balancing and Failover . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
Fault Tolerance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Troubleshooting Teaming Problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
Teaming Configuration Tips. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
Troubleshooting Guidelines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
Frequently Asked Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
Windows System Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . 323
Base Driver (Physical Adapter/Miniport) . . . . . . . . . . . . . . . . . . . . . . . 323
Intermediate Driver (Virtual Adapter/Team). . . . . . . . . . . . . . . . . . . . . 327
Virtual Bus Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
18 Configuring Teaming in Windows Server
ASP Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
Load Balancing and Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
Types of Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
Smart Load Balancing and Failover . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Link Aggregation (802.3ad). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Generic Trunking (FEC/GEC)/802.3ad-Draft Static. . . . . . . . . . . . . . . 335
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xviii 83840-546-00 D
SLB (Auto-Fallback Disable) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
Limitations of Smart Load Balancing and Failover/SLB
(Auto-Fallback Disable) Types of Teams. . . . . . . . . . . . . . . . . . . . . . 336
Teaming and Large Send Offload/Checksum Offload Support . . . . . . 337
19 Manageability
CIM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
HBA API. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
20 User Diagnostics in DOS
Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Performing Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Diagnostic Test Descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
21 Troubleshooting
Hardware Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
QCS Diagnostic Tests Failures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
QCS Network Test Failures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Checking Port LEDs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Troubleshooting Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
Checking if Current Drivers are Loaded. . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
Running a Cable Length Test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Testing Network Connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Possible Problems and Solutions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Multi-boot Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
ASP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
NPAR. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
Miscellaneous . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
A Adapter LEDS
User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
xix 83840-546-00 D
List of Figures
Figure Page
3-1 MBA Configuration Menu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4-1 Power Management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
6-1 Selecting an Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6-2 QLE3442 Driver Versions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6-3 PCI Identifiers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6-4 List of Driver Packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6-5 Download Driver Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
7-1 MGMTAPP-LAB3 Dialog Box. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
7-2 Launch and Activation Permission. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
8-1 QCS Main Window. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
8-2 QCS Host Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
8-3 QCS Host Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
8-4 QCS Adapter Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
8-5 QCS Vital Signs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8-6 QCS—Network Test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
8-7 QCS—Cable Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
8-8 QCS—NDIS-level Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
8-9 QCS—Configure NDIS-level Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
8-10 QCS—General Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
8-11 Teaming Wizard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
8-12 Entering a Team Name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
8-13 Configuring the Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
8-14 Adding an Adapter to a Team. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
8-15 Configure Auto-Fallback Disable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
8-16 Configure LiveLink . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
8-17 Adding a VLAN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
8-18 Naming the VLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
8-19 Tagging the VLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
8-20 Entering a VLAN Tag Value . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8-21 Commit Changes and Exit the Teaming Wizard. . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
8-22 Previewing the Team . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
8-23 Team Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
8-24 Expert Mode—Create a Team . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
8-25 Expert Mode—Edit a Team . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
8-26 Expert Mode—Create a Team with a VLAN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
10-1 QLogic 577xx/578xx Ethernet Boot Agent. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
10-2 CCM Device List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
10-3 Selecting MBA Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
10-4 Selecting the iSCSI Boot Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
10-5 Selecting iSCSI Boot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
10-6 Selecting General Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
10-7 Saving the iSCSI Boot Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
10-8 Comprehensive Configuration Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
xx 83840-546-00 D
User’s Guide Converged Network Adapters and Intelligent Ethernet Adapters
8400, 3400 Series
10-9 Configuring VLANs—CCM Device List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
10-10 Configuring VLANs—Multiboot Agent Configuration . . . . . . . . . . . . . . . . . . . . . . . . 188
10-11 Configuring iSCSI Boot VLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
10-12 Saving the iSCSI Boot VLAN Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
10-13 iSCSI View. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
10-14 Selecting the iSCSI Adapter. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
10-15 Specifying a VLAN ID. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
10-16 iSCSI Initiator Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
10-17 iSCSI Initiator Node Name Change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
10-18 iSCSI Initiator—Add a Target Portal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
10-19 Target Portal IP Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
10-20 Selecting the Local Adapter. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
10-21 Selecting the Initiator IP Address. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
10-22 Adding the Target Portal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
10-23 Logging on to the iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
10-24 Log On to Target Dialog Box . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
10-25 Assigning a VLAN Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
10-26 Configuring the VLAN on VMKernel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
11-1 FCoE Boot<Variable>—CCM Device List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
11-2 FCoE Boot<Variable>—Enable DCB/DCBX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
11-3 FCoE Boot<Variable>—Select FCoE Boot Protocol . . . . . . . . . . . . . . . . . . . . . . . . 218
11-4 FCoE Boot<Variable>—Target Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
11-5 FCoE Boot<Variable>—Specify Target WWPN and Boot LUN . . . . . . . . . . . . . . . . 220
11-6 FCoE Boot Target Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
11-7 FCoE Boot Configuration Menu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
11-8 FCoE Target Parameters Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
11-9 Selecting an FCoE WWPN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
11-10 One-time Disabled . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
11-11 Load EVBD Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
11-12 Load bxfcoe Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
11-13 Selecting the FCoE Boot LUN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
11-14 SLES Boot Options Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
11-15 Choosing Driver Update Medium. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
11-16 FCoE Reboot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
13-1 Example of Servers Supporting Multiple VLANs with Tagging. . . . . . . . . . . . . . . . . 254
17-1 Process for Selecting a Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
17-2 Intermediate Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
17-3 Teaming Across Switches Without an Interswitch Link . . . . . . . . . . . . . . . . . . . . . . 303
17-4 Teaming Across Switches With Interconnect. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
17-5 Failover Event . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
17-6 Team Connected to a Single Hub . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
17-7 Clustering With Teaming Across One Switch. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
17-8 Clustering With Teaming Across Two Switches. . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
17-9 Network Backup without Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
17-10 Network Backup With SLB Teaming Across Two Switches . . . . . . . . . . . . . . . . . . . 317
/