Dell QLogic Family of Adapters User guide

BC0054508-00 J

Third party information brought to

you courtesy of Dell.

User’s Guide

Ethernet iSCSI Adapters and Ethernet FCoE

Adapters

QLogic BCM57xx and BCM57xxx

ii BC0054508-00 J

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

Document Revision History

Revision A, February 18, 2015

Revision B, July 29, 2015

Revision C, March 24, 2016

Revision D, April 8, 2016

Revision E, February 2, 2017

Revision F, August 25, 2017

Revision G, December 19, 2017

Revision H, March 15, 2018

Revision J, April 13, 2018

Changes Sections Affected

Changed Step 1. “Downloading Documents” on page xxiii

Added support for NPIV (via Fibre Channel - Link

Services specification) on Linux and Windows.

“FCoE” on page 4

In the first paragraph, clarified the last sentence to

indicate that “Windows Server 2016 and later do

not support QLogic’s QLASP teaming driver.”

“Configuring Teaming in Windows Server” on

page 7

In the NOTE, clarified the last sentence to indicate

that “Windows Server 2016 does not support

QLogic’s QLASP teaming driver…”

“QLASP Overview” on page 7

In the NOTE, clarified the first and second sen-

tences: “The static and dynamic Link Aggregation

(switch dependent) team type is not supported on

ports with NIC partitioning (NPAR) mode enabled

or iSCSI-offload enabled. Some switches support

FCoE-offload in dynamic LACP teaming mode.”

“Link Aggregation (802.3ad)” on page 9

Added RHEL 6.9, 7.4, 7.5, SLES12 SP3 to the list

of supported OSs.

“Linux” on page 18

Added ESXi 6.0 U3, ESXi 6.5 U1, ESXi 6.5 U2,

ESXi 6.7 to the list of supported OSs.

“VMware ESXi” on page 19

In the NOTE, added ESXi 6.7, and indicated that it

uses native drivers for all protocols.

“VMware Driver Software” on page 60

In Table 8-1, added a compressed ZIP driver file

for ESXi 6.7.

“Packaging” on page 60

Added enable_live_grcdump parameter. “enable_live_grcdump” on page 63

iii BC0054508-00 J

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

Added support for Windows 2016. “Installing the Driver Software” on page 71 (in the

second NOTE), “Using the Installer” on page 72

(Table 9-1 ), “Windows Server 2012, 2012 R2, and

2016 iSCSI Boot Setup” on page 97, “Overview”

on page 202, “Windows Server 2012, 2012 R2,

and 2016 FCoE Boot Installation” on page 215,

“Data Center Bridging in Windows Server 2012

and Later” on page 243, “Microsoft Virtualization

with Hyper-V” on page 284 (Table 19-1), “Teamed

Network Adapters” on page 286 (Table 19-2).

Added instructions for selecting iSCSI as the leg-

acy boot protocol (Step 1 and Figure 10-1).

“Configuring iSCSI Boot Parameters” on page 83

iv BC0054508-00 J

Table of Contents

Preface

Intended Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiv

What Is in This Guide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiv

Related Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxv

Documentation Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxv

Downloading Documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvi

Laser Safety Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii

1 Functionality and Features

Functional Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

iSCSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Power Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Adaptive Interrupt Frequency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

ASIC with Embedded RISC Processor . . . . . . . . . . . . . . . . . . . . . . . . 5

QLogic Control Suite CLI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Supported Operating Environments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Network Link and Activity Indication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 Configuring Teaming in Windows Server

QLASP Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Load Balancing and Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Types of Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Smart Load Balancing and Failover . . . . . . . . . . . . . . . . . . . . . . 9

Link Aggregation (802.3ad) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Generic Trunking (FEC/GEC)/802.3ad-Draft Static . . . . . . . . . . 10

SLB (Auto-Fallback Disable) . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Limitations of Smart Load Balancing and Failover and SLB

(Auto-Fallback Disable) Types of Teams. . . . . . . . . . . . . . . . . . . . . . 11

Teaming and Large Send Offload and Checksum Offload Support. . . 12

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

v BC0054508-00 J

3 Virtual LANs in Windows

VLAN Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Adding VLANs to Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

4 Installing the Hardware

System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Operating System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

General. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Microsoft Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

VMware ESXi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Citrix XenServer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Safety Precautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Preinstallation Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Installation of the Add-In NIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Installing the Add-In NIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Connecting the Network Cables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Copper Wire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Fiber Optic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

5 Manageability

CIM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Host Bus Adapter API. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

6 Boot Agent Driver Software

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Setting Up MBA in a Client Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Configuring the MBA Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Using Comprehensive Configuration Management . . . . . . . . . . 27

Using UEFI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Setting Up the BIOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Setting Up MBA in a Linux Server Environment. . . . . . . . . . . . . . . . . . . . . . 32

7 Linux Driver Software

Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

bnx2x Driver Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

bnx2i Driver Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

bnx2fc Driver Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Packaging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

vi BC0054508-00 J

Installing Linux Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Installing the Source RPM Package . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Installing the KMP Package. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Building the Driver from the Source TAR File . . . . . . . . . . . . . . . . . . . 39

Installing the Binary DKMS RPM Driver Package . . . . . . . . . . . . . . . . 40

Installing the Binary KMOD and KMP Driver Package . . . . . . . . . . . . 40

Load and Run Necessary iSCSI Software Components . . . . . . . . . . . . . . . 41

Unloading or Removing the Linux Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Unloading or Removing the Driver from an RPM Installation . . . . . . . 42

Removing the Driver from a TAR Installation . . . . . . . . . . . . . . . . . . . 42

Uninstalling QCS with the RPM Package . . . . . . . . . . . . . . . . . . . . . . 42

Patching PCI Files (Optional). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Network Installations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Setting Values for Optional Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

bnx2x Driver Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

disable_tpa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

int_mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

dropless_fc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

disable_iscsi_ooo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

num_queues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

pri_map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

bnx2i Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

error_mask1 and error_mask2 . . . . . . . . . . . . . . . . . . . . . . . . . . 46

en_tcp_dack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

time_stamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

sq_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

rq_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

event_coal_div . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

last_active_tcp_port . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

ooo_enable. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

bnx2fc Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

debug_logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

bnx2 Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

bnx2x Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

vii BC0054508-00 J

Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

bnx2x Driver Messages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Driver Sign On . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

C-NIC Driver Sign On (bnx2 only) . . . . . . . . . . . . . . . . . . . . . . . 50

NIC Detected . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Link Up and Speed Indication. . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Link Down Indication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

bnx2i Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

BNX2I Driver Sign-on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Network Port to iSCSI Transport Name Binding. . . . . . . . . . . . . 51

Driver Completes Handshake with iSCSI Offload-enabled

C-NIC Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Driver Detects iSCSI Offload Is Not Enabled on the C-NIC

Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Exceeds Maximum Allowed iSCSI Connection Offload Limit . . . 51

Network Route to Target Node and Transport Name Binding

Are Two Different Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Target Cannot Be Reached on Any of the C-NIC Devices . . . . . 51

Network Route Is Assigned to Network Interface,

Which Is Down . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

SCSI-ML Initiated Host Reset (Session Recovery) . . . . . . . . . . 52

C-NIC Detects iSCSI Protocol Violation - Fatal Errors . . . . . . . . 52

C-NIC Detects iSCSI Protocol Violation—Non-FATAL,

Warning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

Driver Puts a Session Through Recovery. . . . . . . . . . . . . . . . . . 53

Reject iSCSI PDU Received from the Target . . . . . . . . . . . . . . . 53

Open-iSCSI Daemon Handing Over Session to Driver . . . . . . . 53

bnx2fc Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

BNX2FC Driver Signon. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

Driver Completes Handshake with FCoE Offload Enabled

C-NIC Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

Driver Fails Handshake with FCoE Offload Enabled C-NIC

Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

No Valid License to Start FCoE . . . . . . . . . . . . . . . . . . . . . . . . . 54

Session Failures Due to Exceeding Maximum Allowed

FCoE Offload Connection Limit or Memory Limits . . . . . . . . . . 54

Session Offload Failures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

Session Upload Failures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

Unable to Issue ABTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54

Unable to Recover the IO Using ABTS (Due to

ABTS Timeout) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

viii BC0054508-00 J

Unable to Issue I/O Request Due to Session Not Ready . . . . . . 55

Drop Incorrect L2 Receive Frames. . . . . . . . . . . . . . . . . . . . . . . 55

Host Bus Adapter and lport Allocation Failures . . . . . . . . . . . . . 55

NPIV Port Creation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Teaming with Channel Bonding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Linux iSCSI Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Open iSCSI User Applications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

User Application iscsiuio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

Bind iSCSI Target to QLogic iSCSI Transport Name. . . . . . . . . . . . . . 56

VLAN Configuration for iSCSI Offload (Linux). . . . . . . . . . . . . . . . . . . 57

Making Connections to iSCSI Targets . . . . . . . . . . . . . . . . . . . . . . . . . 58

Add Static Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

iSCSI Target Discovery Using sendtargets. . . . . . . . . . . . . . 58

Login to Target Using iscsiadm Command . . . . . . . . . . . . . . 58

List All Drives Active in the System. . . . . . . . . . . . . . . . . . . . . . . 58

Maximum Offload iSCSI Connections . . . . . . . . . . . . . . . . . . . . . . . . . 58

Linux iSCSI Offload FAQ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

8 VMware Driver Software

Packaging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

Networking Support, Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

Download, Install, and Update Drivers . . . . . . . . . . . . . . . . . . . . . . . . 61

Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

int_mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

disable_tpa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

num_queues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

pri_map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

dropless_fc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

RSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

max_vfs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

enable_vxlan_ofld. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

enable_default_queue_filters . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

enable_live_grcdump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Driver Defaults. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Unloading and Removing Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Driver Sign-on. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

NIC Detected . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

MSI-X Enabled Successfully . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

ix BC0054508-00 J

Link Up and Speed Indication. . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Link Down Indication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Memory Limitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Multiqueue and NetQueue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

FCoE Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Supported Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Enabling FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Installation Check . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

iSCSI Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

VLAN Configuration for iSCSI Offload (VMware) . . . . . . . . . . . . . . . . 68

9 Windows Driver Software

Installing the Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

Using the Installer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

Using Silent Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

Modifying the Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Repairing or Reinstalling the Driver Software . . . . . . . . . . . . . . . . . . . . . . . 77

Removing the Device Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

Viewing or Changing the Properties of the Adapter . . . . . . . . . . . . . . . . . . . 78

Setting Power Management Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

Configuring the Communication Protocol to Use with QCC GUI,

QCC PowerKit, and QCS CLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

10 iSCSI Protocol

iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

Supported Operating Systems for iSCSI Boot. . . . . . . . . . . . . . . . . . . 81

iSCSI Boot Setup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Configuring the iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Configuring iSCSI Boot Parameters . . . . . . . . . . . . . . . . . . . . . . 83

MBA Boot Protocol Configuration . . . . . . . . . . . . . . . . . . . . . . . . 87

iSCSI Boot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

Enabling CHAP Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . 92

Configuring the DHCP Server to Support iSCSI Boot . . . . . . . . 92

DHCP iSCSI Boot Configuration for IPv4 . . . . . . . . . . . . . . . . . . 92

DHCP iSCSI Boot Configuration for IPv6 . . . . . . . . . . . . . . . . . . 94

Configuring the DHCP Server. . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Preparing the iSCSI Boot Image . . . . . . . . . . . . . . . . . . . . . . . . 95

Booting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

x BC0054508-00 J

Other iSCSI Boot Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

Changing the Speed and Duplex Settings in Windows

Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

Locally Administered Address. . . . . . . . . . . . . . . . . . . . . . . . . . . 107

Virtual LANs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

“DD” Method of Creating an iSCSI Boot Image . . . . . . . . . . . . . 107

Troubleshooting iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

iSCSI Crash Dump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

iSCSI Offload in Windows Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

Configuring iSCSI Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

Installing QLogic Drivers and Management Applications . . . . . . 111

Installing the Microsoft iSCSI Initiator. . . . . . . . . . . . . . . . . . . . . 111

Configuring QLogic iSCSI Using QCC . . . . . . . . . . . . . . . . . . . . 111

Configuring Microsoft Initiator to Use the QLogic

iSCSI Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

iSCSI Offload FAQs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

Event Log Messages for Offload iSCSI (OIS) Driver. . . . . . . . . . . . . . 119

11 QLogic Teaming Services

Executive Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

Teaming Concepts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Network Addressing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Teaming and Network Addresses . . . . . . . . . . . . . . . . . . . . . . . . 127

Description of Teaming Types. . . . . . . . . . . . . . . . . . . . . . . . . . . 128

Software Components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

Repeater Hub . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

Switching Hub. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

Router. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

Teaming Support by Processor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

Configuring Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

Supported Features by Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

Selecting a Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

Teaming Mechanisms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

Outbound Traffic Flow. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

Inbound Traffic Flow (SLB Only). . . . . . . . . . . . . . . . . . . . . . . . . 141

Protocol Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xi BC0054508-00 J

Types of Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

Switch-Independent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

Switch-Dependent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

LiveLink . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

Attributes of the Features Associated with Each Type of Team. . . . . . 147

Speeds Supported for Each Type of Team . . . . . . . . . . . . . . . . . . . . . 149

Teaming and Other Advanced Networking Properties . . . . . . . . . . . . . . . . . 150

Checksum Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

IEEE 802.1p QoS Tagging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

Large Send Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

Jumbo Frames. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

IEEE 802.1Q VLANs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

Wake on LAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

Preboot Execution Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

General Network Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

Teaming with Microsoft Virtual Server 2005 . . . . . . . . . . . . . . . . . . . . 154

Teaming Across Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

Switch-Link Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

Spanning Tree Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Topology Change Notice (TCN) . . . . . . . . . . . . . . . . . . . . . . . . . 160

Port Fast and Edge Port . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

Layer 3 Routing and Switching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

Teaming with Hubs (for Troubleshooting Purposes Only) . . . . . . . . . . 161

Hub Usage in Teaming Network Configurations . . . . . . . . . . . . . 161

SLB Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

SLB Team Connected to a Single Hub . . . . . . . . . . . . . . . . . . . . 162

Generic and Dynamic Trunking (FEC/GEC/IEEE 802.3ad) . . . . 162

Teaming with Microsoft Network Load Balancing . . . . . . . . . . . . . . . . 162

Application Considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

Teaming and Clustering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

Microsoft Cluster Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

High-Performance Computing Cluster . . . . . . . . . . . . . . . . . . . . 165

Oracle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

Teaming and Network Backup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

167

Load Balancing and Failover . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

Troubleshooting Teaming Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

Teaming Configuration Tips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

Troubleshooting Guidelines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xii BC0054508-00 J

Frequently Asked Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

Windows System Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . 177

Base Driver (Physical Adapter or Miniport) . . . . . . . . . . . . . . . . . . . . . 178

Intermediate Driver (Virtual Adapter or Team) . . . . . . . . . . . . . . . . . . . 181

Virtual Bus Driver (VBD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

12 NIC Partitioning and Bandwidth Management

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

Supported Operating Systems for NIC Partitioning. . . . . . . . . . . . . . . 186

Configuring for NIC Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

13 Linux QCS Installation

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

Communication Protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192

Installing WS-MAN or CIM-XML on Linux Server. . . . . . . . . . . . . . . . . . . . . 193

Step 1: Install OpenPegasus. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

From the Inbox RPM (Red Hat Only) . . . . . . . . . . . . . . . . . . . . . 193

From Source (Red Hat and SUSE) . . . . . . . . . . . . . . . . . . . . . . 194

Step 2: Start CIM Server on the Server. . . . . . . . . . . . . . . . . . . . . . . . 196

Step 3: Configure OpenPegasus on the Server . . . . . . . . . . . . . . . . . 197

Enable Authentication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

Enable HTTP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

Enable HTTPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

Step 4: Install QLogic CMPI Provider . . . . . . . . . . . . . . . . . . . . . . . . . 198

Install . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

Uninstall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

Step 5: Perform Linux Firewall Configuration, if Required. . . . . . . . . . 199

Red Hat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

SUSE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

Step 6: Install QCS and Related Management Applications . . . . . . . . 200

Installing WS-MAN or CIM-XML on Linux Client . . . . . . . . . . . . . . . . . . . . . 200

Configuring HTTPS on Linux Client. . . . . . . . . . . . . . . . . . . . . . . . . . . 200

Import Self-Signed Certificate on Linux Client . . . . . . . . . . . . . . 200

Test HTTPS and SSL Connection from Linux Client . . . . . . . . . 201

Installing QLogic Control Suite. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xiii BC0054508-00 J

14 Fibre Channel Over Ethernet

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

FCoE Boot from SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

Preparing System BIOS for FCoE Build and Boot. . . . . . . . . . . . . . . . 203

Modifying System Boot Order. . . . . . . . . . . . . . . . . . . . . . . . . . . 203

Specifying BIOS Boot Protocol (If Required) . . . . . . . . . . . . . . . 203

Preparing QLogic Multiple Boot Agent for FCoE Boot (CCM) . . . . . . . 204

Preparing QLogic Multiple Boot Agent for FCoE Boot (UEFI) . . . . . . . 208

Provisioning Storage Access in the SAN. . . . . . . . . . . . . . . . . . . . . . . 210

Pre-provisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210

CTRL+R Method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210

One-Time Disabled . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

Windows Server 2008 R2 and Windows Server 2008 SP2 FCoE

Boot Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

Windows Server 2012, 2012 R2, and 2016 FCoE Boot

Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

Linux FCoE Boot Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

SLES 11 SP3 and SLES 12 Installation . . . . . . . . . . . . . . . . . . . 216

RHEL 6 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224

RHEL 7 Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

Linux: Adding Boot Paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230

VMware ESXi FCoE Boot Installation . . . . . . . . . . . . . . . . . . . . . . . . . 231

Configuring FCoE Boot from SAN on VMware. . . . . . . . . . . . . . 234

Booting from SAN After Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

Driver Upgrade on Linux Boot from SAN Systems . . . . . . . . . . . . . . . 235

Errors During Windows FCoE Boot from SAN Installation . . . . . . . . . 236

Configuring FCoE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

N_Port ID Virtualization (NPIV) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239

15 Data Center Bridging

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

DCB Capabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

Enhanced Transmission Selection (ETS) . . . . . . . . . . . . . . . . . . . . . . 241

Priority Flow Control (PFC) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

Data Center Bridging Exchange (DCBX). . . . . . . . . . . . . . . . . . . . . . . 242

Configuring DCB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

DCB Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

Data Center Bridging in Windows Server 2012 and Later . . . . . . . . . . . . . . 243

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xiv BC0054508-00 J

16 SR-IOV

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

Enabling SR-IOV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

Verifying that SR-IOV is Operational . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248

SR-IOV and Storage Functionality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249

SR-IOV and Jumbo Packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249

17 Specifications

10/100/1000BASE-T and 10GBASE-T Cable Specifications . . . . . . . . . . . . 250

Supported SFP+ Modules Per NIC . . . . . . . . . . . . . . . . . . . . . . . . . . . 251

Interface Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

NIC Physical Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

NIC Power Requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

Wake on LAN Power Requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255

Environmental Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

18 Regulatory Information

Product Safety . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

AS/NZS (C-Tick). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

FCC Notice. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

FCC, Class B. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

FCC, Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260

VCCI Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

VCCI, Class B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

VCCI Class B Statement (Japan) . . . . . . . . . . . . . . . . . . . . . . . . 265

VCCI, Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

VCCI Class A Statement (Japan) . . . . . . . . . . . . . . . . . . . . . . . . 266

CE Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

Canadian Regulatory Information (Canada Only) . . . . . . . . . . . . . . . . . . . . 267

Industry Canada, Class B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

Industry Canada, Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

Industry Canada, classe B. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

Industry Canada, classe A. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

Korea Communications Commission (KCC) Notice (Republic

of Korea Only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

B Class Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

A Class Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xv BC0054508-00 J

BSMI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

Certifications for BCM95709SA0908G, BCM957710A1023G

(E02D001), and BCM957711A1123G (E03D001) . . . . . . . . . . . . . . . . . . . 272

FCC Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

FCC, Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

VCCI Notice. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274

Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274

VCCI Class A Statement (Japan) . . . . . . . . . . . . . . . . . . . . . . . . 275

CE Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275

Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275

Canadian Regulatory Information (Canada Only) . . . . . . . . . . . . . . . . 275

Industry Canada, Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275

Industry Canada, classe A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276

Korea Communications Commission (KCC) Notice

(Republic of Korea Only). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277

A Class Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277

19 Troubleshooting

Hardware Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

QCS Diagnostic Tests Failures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280

QCS Network Test Failures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280

Checking Port LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

Troubleshooting Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

Checking if Current Drivers Are Loaded. . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

Running a Cable Length Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

Testing Network Connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

Microsoft Virtualization with Hyper-V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

Single Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

Windows Server 2008 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

Windows Server 2008 R2 and 2012. . . . . . . . . . . . . . . . . . . . . . 286

Teamed Network Adapters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286

Windows Server 2008 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287

Windows Server 2008 R2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288

Configuring VMQ with SLB Teaming . . . . . . . . . . . . . . . . . . . . . 288

Removing the QLogic BCM57xx and BCM57xxx Device Drivers . . . . . . . . 289

Upgrading Windows Operating Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xvi BC0054508-00 J

QLogic Boot Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290

QLASP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290

Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292

NPAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292

Kernel Debugging Over Ethernet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293

Miscellaneous. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xvii BC0054508-00 J

List of Figures

Figure Page

3-1 Example of Servers Supporting Multiple VLANs with Tagging. . . . . . . . . . . . . . . . . 14

6-1 CCM MBA Configuration Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

6-2 System Setup, Device Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

6-3 Device Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

6-4 Main Configuration Page . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

6-5 NIC Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

8-1 VM Network Properties: Example 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

8-2 VM Network Properties: Example 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

9-1 InstallShield Wizard Prompt for Management Utility . . . . . . . . . . . . . . . . . . . . . . . . 73

9-2 Device Power Management Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

10-1 Legacy Boot Protocol Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

10-2 UEFI, iSCSI Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

10-3 UEFI, iSCSI Configuration, iSCSI General Parameters. . . . . . . . . . . . . . . . . . . . . . 85

10-4 iSCSI Configuration, iSCSI Initiator Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

10-5 iSCSI Configuration, iSCSI First Target Parameters . . . . . . . . . . . . . . . . . . . . . . . . 89

10-6 iSCSI Initiator Properties: General Page . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

10-7 Changing the Initiator Node Name. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

10-8 iSCSI Initiator Properties: Discovery Page. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

10-9 Add Target Portal Dialog Box . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

10-10 Advanced Settings: General Page. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

10-11 iSCSI Initiator Properties: Discovery Page. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

10-12 iSCSI Initiator Properties: Targets Page. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

10-13 Log On to Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

10-14 Advanced Settings: General Page, Local Adapter. . . . . . . . . . . . . . . . . . . . . . . . . . 118

11-1 Process for Selecting a Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

11-2 Intermediate Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

11-3 Teaming Across Switches Without an Inter-Switch Link. . . . . . . . . . . . . . . . . . . . . . 156

11-4 Teaming Across Switches with Interconnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

11-5 Failover Event . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

11-6 Team Connected to a Single Hub . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

11-7 Clustering with Teaming Across One Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

11-8 Clustering with Teaming Across Two Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

11-9 Network Backup Without Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

167

11-10 Network Backup with SLB Teaming Across Two Switches. . . . . . . . . . . . . . . . . . . . 171

14-1 Invoking the CCM Utility. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

14-2 CCM Device List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

14-3 CCM Device Hardware Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

14-4 CCM MBA Configuration Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

14-5 CCM Target Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

14-6 CCM Target Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

14-7 CCM Target Information (After Configuration) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

14-8 FCoE Boot Configuration Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

14-9 FCoE Boot Configuration Menu, FCoE General Parameters. . . . . . . . . . . . . . . . . . 209

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xviii BC0054508-00 J

14-10 FCoE Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

14-11 Installing EVBD Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

14-12 Installing the bxfcoe Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

14-13 Selecting Installation Disk Partition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

14-14 Starting SLES Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

14-15 Selecting Driver Update Medium . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217

14-16 Loading the Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217

14-17 Activating the Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

14-18 Enabling FCoE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

14-19 Changing FCoE Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

14-20 FCoE Interface Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

14-21 Disk Activation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222

14-22 Installation Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

14-23 Boot Loader Device Map . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224

14-24 Adding the dd Option . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

14-25 Selecting a Driver Disk. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

14-26 Adding FCoE SAN Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

14-27 Configuring FCoE Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

14-28 Confirming FCoE Disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

14-29 Adding the “dd” Installation Option. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

14-30 Selecting Partitioning Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230

14-31 ESXi Disk Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

14-32 ESXi and VMFS Found . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

14-33 ESXi Confirm Install . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

14-34 ESXi Installation Complete. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

14-35 ESXi Management Network Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

14-36 VMware vSphere Client Network Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . 234

14-37 Booting from SAN After Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

14-38 Windows Partition Error Message . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236

14-39 Resource Config Page. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xix BC0054508-00 J

List of Tables

Table Page

1-1 Network Link and Activity Indicated by the RJ45 Port LEDs . . . . . . . . . . . . . . . . . . 6

1-2 Network Link and Activity Indicated by the Port LED . . . . . . . . . . . . . . . . . . . . . . . . 6

2-1 Smart Load Balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3-1 Example VLAN Network Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4-1 100/1000BASE-T and 10GBASE-T Cable Specifications . . . . . . . . . . . . . . . . . . . . 21

4-2 1000/2500BASE-X Fiber Optic Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

7-1 QLogic BCM57xx and BCM57xxx Linux Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

8-1 VMware Driver Packaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

9-1 Windows Operating Systems and iSCSI Crash Dump. . . . . . . . . . . . . . . . . . . . . . . 74

10-1 Configuration Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

10-2 DHCP Option 17 Parameter Definition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

10-3 DHCP Option 43 Suboption Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

10-4 DHCP Option 17 Suboption Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

10-5 Offload iSCSI (OIS) Driver Event Log Messages. . . . . . . . . . . . . . . . . . . . . . . . . . . 119

11-1 Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

11-2 Available Teaming Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

11-3 QLogic Teaming Software Component . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

11-4 Comparison of Team Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

11-5 Teaming Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

11-6 Link Speeds in Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

11-7 Advanced Adapter Properties and Teaming Support . . . . . . . . . . . . . . . . . . . . . . . . 150

11-8 Base Driver Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

11-9 Intermediate Driver Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

11-10 Virtual Bus Driver (VBD) Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

12-1 Configuration Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

12-2 Function Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

13-1 Communication Protocol Options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192

13-2 Environmental Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

13-3 cimconfig Command Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

14-1 Supported Legacy BFS and uEFI BFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231

17-1 10/100/1000BASE-T Cable Specifications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

17-2 10GBASE-T Cable Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251

17-3 BCM57710 Supported Modules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251

17-4 BCM57810 Supported Modules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252

17-5 BCM57840 Supported Modules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

17-6 10, 100, and 1000BASE-T Performance Specifications . . . . . . . . . . . . . . . . . . . . . 253

17-7 10GBASE-T Performance Specifications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

17-8 NIC Physical Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

17-9 BCM957810A1006G NIC Power Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

17-10 BCM957810A1008G NIC Power Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

17-11 BCM957840A4006G Mezzanine Card Power Requirements . . . . . . . . . . . . . . . . . 255

17-12 BCM957840A4007G Mezzanine Card Power Requirements . . . . . . . . . . . . . . . . . 255

17-13 BCM5709 and BCM5716 Environmental Specifications . . . . . . . . . . . . . . . . . . . . . 256

User’s Guide—Ethernet iSCSI Adapters and Ethernet FCoE Adapters

QLogic BCM57xx and BCM57xxx

xx BC0054508-00 J

17-14 BCM957810A1006G Environmental Specifications . . . . . . . . . . . . . . . . . . . . . . . . 256

17-15 BCM957810A1008G Environmental Specifications. . . . . . . . . . . . . . . . . . . . . . . . . 256

17-16 BCM957840A4007G Environmental Specifications . . . . . . . . . . . . . . . . . . . . . . . . 257

18-1 QLogic 57800S 1GB and 10GBASE-T Rack Network Daughter Card Physical

Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

18-2 QLogic 57800S Quad RJ-45, SFP+, or Direct Attach Rack Network

Daughter Card Physical Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

18-3 QLogic 57810S Dual 10GBASE-T PCI-e Card Physical Characteristics . . . . . . . . . 262

18-4 QLogic 57810S Dual SFP+ or Direct Attach PCIe Physical Characteristics . . . . . . 262

18-5 QLogic 57810S-K Dual KR Blade Mezzanine Adapter Physical Characteristics . . . 263

18-6 QLogic 57810S-K Dual KR Blade Network Daughter Card Physical

Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263

18-7 QLogic 57840S Quad 10GbE SFP+ or Direct Attach Rack Network

Daughter Card Physical Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

18-8 QLogic 57840S-K Quad KR Blade Network Daughter Card

Physical Characteristics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

19-1 Configurable Network Adapter Hyper-V Features . . . . . . . . . . . . . . . . . . . . . . . . . . 284

19-2 Configurable Teamed Network Adapter Hyper-V Features . . . . . . . . . . . . . . . . . . . 286

Dell QLogic Family of Adapters User guide

Related papers

Other documents