IBM DS3500 Introduction And Implementation Manual

Category
Software
Type
Introduction And Implementation Manual
Draft Document for Review March 28, 2011 12:24 pm SG24-7914-00
ibm.com/redbooks
Front cover
IBM System Storage
DS3500: Introduction and
Implementation Guide
Sangam Racherla
Reza Fanaei Aghdam
Hartmut Lonzer
L G (Len) O’Neill
Mario Rodriguez
Vaclav Sindelar
Alexander Watson
Sample configurations with step by
step instructions
Configuration and administration
with Storage Manager
Toubleshooting and
Maintenance
International Technical Support Organization
IBM System Storage DS3500: Introduction and
Implementation Guide
September 2010
Draft Document for Review March 28, 2011 12:24 pm 7914edno.fm
SG24-7914-00
© Copyright International Business Machines Corporation 2010. All rights reserved.
Note to U.S. Government Users Restricted Rights -- Use, duplication or disclosure restricted by GSA ADP Schedule
Contract with IBM Corp.
7914edno.fm Draft Document for Review March 28, 2011 12:24 pm
First Edition (September 2010)
This edition applies to IBM System Storage DS3500 running:
򐂰 Firmware version 7.70
򐂰 IBM System Storage DS Storage Manager version 10.70
This document created or updated on March 28, 2011.
Note: Before using this information and the product it supports, read the information in “Notices” on
page xv.
iii
Draft Document for Review March 28, 2011 12:24 pm 7914edno.fm
iv IBM System Storage DS3500: Introduction and Implementation Guide
7914edno.fm Draft Document for Review March 28, 2011 12:24 pm
© Copyright IBM Corp. 2010. All rights reserved. v
Draft Document for Review March 28, 2011 12:24 pm 7914TOC.fm
Contents
Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xv
Trademarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvi
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
The team who wrote this book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
Now you can become a published author, too! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xx
Comments welcome. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xx
Stay connected to IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xx
Chapter 1. Disk attachment technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Fibre Channel disk attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Serial Attached SCSI (SAS) disk attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 iSCSI disk attachment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.1 iSCSI initiators and targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.2 iSCSI discovery. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.3 iSCSI security considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Chapter 2. Introduction to IBM System Storage DS3500 . . . . . . . . . . . . . . . . . . . . . . . 13
2.1 IBM System Storage Portfolio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 DS3500 product models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 DS3512 and DS3524 Components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 EXP3512 and EXP3524 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4 Premium Features. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5 DS3500 and DS3950 Comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.6 IBM System Storage DS Storage Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Chapter 3. IBM System Storage DS3500 Storage System planning tasks. . . . . . . . . . 29
3.1 Planning your SAN and storage server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.1.1 SAN zoning for the DS3500 Storage System . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.1.2 Zoning considerations for Enhanced Remote Mirroring . . . . . . . . . . . . . . . . . . . . 33
3.2 Planning for physical components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.1 Rack considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.2 SAS cables and connectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2.3 Ethernet cable and connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.4 Fiber Channel cables and connectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.5 Fibre Channel adapters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2.6 Disk expansion enclosures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.3 Planning your storage structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3.1 Selecting drives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3.2 Understanding RAID types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.3 Array configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.3.4 Hot Spare drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.3.5 Enclosure loss protection planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.3.6 Logical drives and controller ownership . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3.7 Storage partitioning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3.8 Segment size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.3.9 Media scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.3.10 Cache parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.4 Planning for premium features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
7914TOC.fm Draft Document for Review March 28, 2011 12:24 pm
vi IBM System Storage DS3500: Introduction and Implementation Guide
3.4.1 FlashCopy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.4.2 VolumeCopy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.4.3 Enhanced Remote Mirroring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.4.4 Drive Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.4.5 Obtaining premium features key . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.5 Additional planning considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.5.1 Planning for systems with LVM: AIX example. . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.5.2 Planning for systems without LVM: Windows example. . . . . . . . . . . . . . . . . . . . . 77
3.5.3 Virtualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.5.4 IBM System Storage SAN Volume Controller overview . . . . . . . . . . . . . . . . . . . . 79
3.6 Host support and multipathing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.6.1 Supported server platforms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.6.2 Supported operating systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.6.3 Clustering support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.6.4 Multipathing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.6.5 Microsoft Windows MPIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.6.6 AIX MPIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.6.7 AIX Subsystem Device Driver Path Control Module . . . . . . . . . . . . . . . . . . . . . . . 82
3.6.8 HP-UX IBM Subsystem Device Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.6.9 Linux: RHEL/SLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.6.10 Function of Auto-Logical Drive Transfer feature . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.7 Operating system restrictions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.7.1 Maximum capacity for a logical drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
3.7.2 Maximum number of LUNs per host . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Chapter 4. IBM System Storage DS3500 and EXP3500 Cabling . . . . . . . . . . . . . . . . . . 89
4.1 DS3500 controller connectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.1.1 DS3500 controller with standard port configuration . . . . . . . . . . . . . . . . . . . . . . . 90
4.1.2 DS3500 controller with optional SAS host port adapter . . . . . . . . . . . . . . . . . . . . 90
4.1.3 DS3500 controller with optional Fibre Channel host port adapter. . . . . . . . . . . . . 91
4.1.4 DS3500 controller with optional iSCSI host port adapter . . . . . . . . . . . . . . . . . . . 91
4.1.5 EXP3500 ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2 Enclosure ID settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.3 SAS cables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.4 Fibre Channel cabling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.4.1 SFP transceiver modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.4.2 Fibre Channel cables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.4.3 Interoperability of 2 Gbps, 4 Gbps and 8 Gbps devices . . . . . . . . . . . . . . . . . . . . 99
4.5 iSCSI Ethernet cables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.6 EXP3500 attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.6.1 Redundant drive channels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.6.2 Drive channel cabling rules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.6.3 Single controller DS3500 with one or more EXP3500 enclosures . . . . . . . . . . . 102
4.6.4 Dual controller DS3500 with one EXP3500 enclosure . . . . . . . . . . . . . . . . . . . . 102
4.6.5 Dual Controller DS3500 with two or more EXP3500 enclosures . . . . . . . . . . . . 103
4.6.6 Adding an EXP3500 enclosure to a running dual-controller configuration . . . . . 105
4.6.7 SAS Drive Channel Miswires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.7 Management connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.7.1 Out-of-band management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.7.2 In-band management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
4.8 Host attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.8.1 SAS attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.8.2 iSCSI attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
Contents vii
Draft Document for Review March 28, 2011 12:24 pm 7914TOC.fm
4.8.3 Direct attached Fibre Channel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
4.8.4 SAN fabric-attached DS3500 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
4.9 Power Cabling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.9.1 The DS3500 power supply . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.9.2 Powering on and off . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
Chapter 5. Installing IBM System Storage DS Storage Manager . . . . . . . . . . . . . . . . 133
5.1 Installing DS Storage Manager on Microsoft Windows 2008 . . . . . . . . . . . . . . . . . . . 134
5.1.1 Installation preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.1.2 Installing or upgrading the Storage Manager Client on Microsoft Windows 2008 134
5.2 Installing DS Storage Manager on Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.2.1 Preparing for the installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.2.2 Installing Storage Manager using the GUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
5.2.3 Installing DS Storage Manager using a text console . . . . . . . . . . . . . . . . . . . . . 148
5.2.4 Uninstalling DS Storage Manager on Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.3 Installing DS Storage Manager on AIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
5.3.1 Preparing for the installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
5.4 Completing the DS Storage Manager installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
5.4.1 Performing an automatic discovery of storage subsystems . . . . . . . . . . . . . . . . 154
5.4.2 Performing a manual discovery of storage subsystems . . . . . . . . . . . . . . . . . . . 155
5.4.3 Add Storage Subsystem verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
Chapter 6. Administration - Enterprise Management . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.1 Enterprise Management window overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
6.1.1 Initial Setup Tasks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
6.1.2 Enterprise Management window. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
6.2 Functions in the Enterprise Management window . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
6.2.1 Subsystem context menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
6.2.2 The Enterprise Management window menu bar . . . . . . . . . . . . . . . . . . . . . . . . . 175
6.2.3 The Quick Access buttons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Chapter 7. Administration - Summary Tab. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
7.1 Status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.1.1 Storage Subsystem Profile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.1.2 Storage subsystem status. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
7.1.3 Operations in Progress . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
7.1.4 Connection lost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.2 Hardware Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.3 Capacity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
7.4 Hosts & Mappings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.4.1 Configured Hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
7.4.2 Host-to-Logical Drive Mappings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.4.3 Storage partitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.5 Arrays & Logical Drives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
7.6 Information Center . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Chapter 8. Administration - Subsystem Management. . . . . . . . . . . . . . . . . . . . . . . . . 193
8.1 DS Storage Manager - Subsystem Manger window . . . . . . . . . . . . . . . . . . . . . . . . . . 194
8.2 Pull-Down Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
8.2.1 Storage Subsystem Menu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
8.2.2 View Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
8.2.3 Mappings Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
8.2.4 Array Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
8.2.5 Logical Drive Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
7914TOC.fm Draft Document for Review March 28, 2011 12:24 pm
viii IBM System Storage DS3500: Introduction and Implementation Guide
8.2.6 Controller Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
8.2.7 Drive Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
8.2.8 Advanced Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
8.2.9 Help Menu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
8.3 Toolbar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
8.3.1 Create new logical drives and arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
8.3.2 View diagnostic event log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
8.3.3 Monitor Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
8.3.4 Recover from failures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
8.3.5 Manage enclosure alarm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
8.3.6 Find in tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
8.3.7 Launch copy manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
8.4 Status bar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
8.5 Tabs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Chapter 9. Administration - Logical Tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
9.1 Logical Tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
9.2 Working with Unconfigured Capacity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
9.2.1 View Associated Physical Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
9.2.2 Create Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
9.3 Working with Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
9.3.1 Locate and View Associated Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
9.3.2 Change Ownership and RAID level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
9.3.3 Add Free Capacity (Drive). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
9.3.4 Secure Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
9.3.5 Delete and Rename . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
9.3.6 Replace Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
9.4 Working with Free Capacity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
9.4.1 Create Logical Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
9.5 Working with Logical Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
9.5.1 Change Modification Priority . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
9.5.2 Change Cache Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
9.5.3 Change Media Scan Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
9.5.4 Change Pre-Read Redundancy Check. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
9.5.5 Change Ownership/Preferred Path. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
9.5.6 Change Segment Size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
9.5.7 Increase Capacity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
9.5.8 Copy Services operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
9.5.9 Delete and Rename . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
Chapter 10. Administration - Physical Tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
10.1 Physical tab. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
10.2 Discover component properties and location . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
10.2.1 Show disks type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
10.2.2 View Enclosure Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
10.2.3 Disk Drive menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
10.2.4 Controller menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
10.3 Set hot spare drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
10.4 Failed disk drive replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
10.5 Set preferred loop ID. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
10.6 Set remote access . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
10.7 Set Ethernet management ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
10.7.1 Initial settings for default IP addresses in DS Storage Manager. . . . . . . . . . . . 277
Contents ix
Draft Document for Review March 28, 2011 12:24 pm 7914TOC.fm
10.7.2 Configure Ethernet Management Ports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
10.8 Configure iSCSI Ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
Chapter 11. Administration - Mappings Tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
11.1 Mappings tab. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
11.2 Defining Host. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
11.2.1 Adding a new Host to existing Host Group . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
11.3 Defining Storage Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
11.4 Defining Host Group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
11.5 Manage Host Port Identifiers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
11.6 Define Additional Mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
11.7 View Unassociated Ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
11.8 Move, Remove and Rename Host . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
11.9 Change Host Operating System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
11.10 Change and Remove Mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Chapter 12. Administration - Setup tab. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
12.1 Setup tab. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
12.2 Locate Storage Subsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
12.3 Rename Storage Subsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.4 Set a Storage Subsystem Password. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
12.5 Configure iSCSI Host Ports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
12.6 Configure Storage Subsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
12.6.1 Automatic configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
12.6.2 Configure hot spare drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
12.6.3 Create arrays and logical drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
12.7 Map Logical Drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
12.8 Save Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
12.9 Manually Define Hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
12.10 Configure Ethernet Management Ports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
12.11 View/Enable Premium Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
12.12 Manage iSCSI Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Chapter 13. Administration - iSCSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
13.1 Planning for iSCSI attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
13.2 iSCSI Configuration summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
13.3 Manage iSCSI protocol settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
13.3.1 Target Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
13.3.2 Mutual Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
13.3.3 Target Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
13.3.4 Target Discovery. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
13.4 Configure iSCSI Host Ports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
13.5 View/End iSCSI Sessions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
13.6 View iSCSI Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
13.7 Defining iSCSI hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
13.7.1 View Unassociated iSCSI initiators. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
13.7.2 Defining new iSCSI host . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
13.7.3 Manage iSCSI host ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
Chapter 14. Administration - Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
14.1 The Subsystem Management support tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
14.2 Gather Support Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
14.2.1 Saving the Support Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
14.2.2 Support Data Automatic Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
7914TOC.fm Draft Document for Review March 28, 2011 12:24 pm
x IBM System Storage DS3500: Introduction and Implementation Guide
14.2.3 Collect drive data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
14.3 View Storage Subsystem Profile. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
14.4 Storage Manager Support Monitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
14.4.1 Support Monitor installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
14.4.2 Support Monitor overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
14.4.3 The Support Monitor Profiler console . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
14.4.4 Support Monitor functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
14.4.5 Support Monitor - View Module Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
14.5 Download firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
14.5.1 Before you upgrade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
14.5.2 Updating the host . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
14.5.3 Upgrading the DS3500 controller firmware. . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
14.5.4 Using the Enterprise Management upgrade tool. . . . . . . . . . . . . . . . . . . . . . . . 363
14.5.5 Using the DS3500 Storage Manager (Subsystem Management). . . . . . . . . . . 376
14.6 View Event Log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
14.7 Performance Monitor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
14.8 Import/Export Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
14.8.1 Export Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
14.8.2 Import Array procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
14.9 Maintenance - Persistent reservations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
14.10 Troubleshooting - Drive channels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
14.11 Troubleshooting - Run Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
14.12 Troubleshooting - Prepare for removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
14.13 Recovery Guru - Recover from Failure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
14.14 Common Recovery Commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
14.14.1 Initialize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
14.14.2 Revive drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
14.14.3 Recovery - Clear Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
14.14.4 Recovery - Place controller. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
14.14.5 Recovery - Reset controller. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
14.14.6 Recovery - Enable controller data transfer . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
14.14.7 Recovery - Place Logical drives online . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
14.14.8 Recovery - Redistribute Logical Drives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
14.14.9 Recovery - Fail drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
14.14.10 Recovery - reconstruct drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
14.14.11 Recovery - Defragment Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
14.14.12 Recovery - check array redundancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
14.14.13 Recovery - Unreadable sectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
14.15 View Online Help. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
14.16 About IBM System Storage DS Storage Manager . . . . . . . . . . . . . . . . . . . . . . . . . 446
Chapter 15. Disk Security with Full Disk Encryption drives . . . . . . . . . . . . . . . . . . . . 449
15.1 The need for encryption . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
15.1.1 Encryption method used . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
15.2 Disk Security components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
15.2.1 DS3500 Disk Encryption Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
15.2.2 Full Data Encryption (FDE) disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
15.2.3 Premium feature license . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
15.2.4 Keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
15.2.5 Security key identifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
15.2.6 Passwords . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
15.3 Setting up and enabling a secure disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
15.3.1 FDE and premium feature check . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
Contents xi
Draft Document for Review March 28, 2011 12:24 pm 7914TOC.fm
15.3.2 Secure key creation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458
15.3.3 Enable Disk Security on array. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
15.4 Additional secure disk functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
15.4.1 Changing the security key. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
15.4.2 Save security key file . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
15.4.3 Secure erase. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
15.4.4 FDE drive status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
15.4.5 Hot spare drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
15.5 Migrating secure disk arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
15.5.1 Planning checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
15.5.2 Export the array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
15.6 Import secure drive array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
15.6.1 Unlock drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
15.6.2 Import array. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
Chapter 16. IBM Remote Support Manager for Storage . . . . . . . . . . . . . . . . . . . . . . . 485
16.1 IBM Remote Support Manager for Storage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486
16.1.1 Hardware and software requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
16.1.2 DS-RSM Model RS3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489
16.1.3 Installation choices for RSM for Storage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
16.1.4 How RSM for Storage works. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491
16.1.5 Notification e-mail and events filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492
16.1.6 Remote access methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498
16.1.7 RSM management interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
16.1.8 RSM security considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 500
16.2 Installing and setting up RSM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
16.2.1 Installing the host OS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
16.2.2 Installing RSM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
16.2.3 Setting up RSM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
16.2.4 Configuring SNMP traps in Storage Manager. . . . . . . . . . . . . . . . . . . . . . . . . . 520
16.2.5 Activating RSM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522
16.2.6 Remote access security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 524
16.2.7 Managing alerts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 529
Chapter 17. Command-Line Interface(CLI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533
17.1 How to Use the Command Line Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535
17.1.1 Usage Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535
17.2 Running the CLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536
17.2.1 Script Editor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536
17.3 General SMcli syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 538
17.4 Adding a storage subsystem to the Storage Manager configuration . . . . . . . . . . . . 542
17.5 Showing defined subsystems in the Storage Manager configuration . . . . . . . . . . . . 543
17.6 Configuring alerts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
17.6.1 Defining the mail server and e-mail address to send out the e-mail alerts . . . . 544
17.6.2 Defining email alert recipients. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
17.6.3 Deleting e-mail alert recipients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545
17.6.4 SNMP alert recipients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546
17.7 Issuing commands to the storage subsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
17.7.1 Sample command: Save configuration script file . . . . . . . . . . . . . . . . . . . . . . . 549
17.8 More Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551
Chapter 18. Windows SAS configuration guide for IBM BladeCenter . . . . . . . . . . . . 553
18.1 Equipment required. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554
18.2 IBM BladeCenter setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554
7914TOC.fm Draft Document for Review March 28, 2011 12:24 pm
xii IBM System Storage DS3500: Introduction and Implementation Guide
18.2.1 Installing Windows Server 2008 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555
18.2.2 HS21 SAS Expansion Cards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555
18.2.3 Recording the SAS Expansion Card WWPN . . . . . . . . . . . . . . . . . . . . . . . . . . 555
18.2.4 HS21 SAS Expansion Card device driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558
18.2.5 SAS Connectivity Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558
18.2.6 SAS Connectivity Module firmware update. . . . . . . . . . . . . . . . . . . . . . . . . . . . 559
18.2.7 Configuring the SAS connectivity module. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 562
18.2.8 SAS Connectivity Module zoning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563
18.3 Installing DS Storage Manager host software. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 565
18.4 Configure the disk space in Windows Server 2008. . . . . . . . . . . . . . . . . . . . . . . . . . 566
Chapter 19. Microsoft Cluster configuration with DS3500 . . . . . . . . . . . . . . . . . . . . . 571
19.1 Overview of a failover cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 572
19.1.1 Hardware requirements for a two-node failover cluster . . . . . . . . . . . . . . . . . . 572
19.2 Preparing the environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573
19.2.1 SAN Zoning configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573
19.2.2 DS3500 Storage configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573
19.3 Installing DS Storage Manager host software. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578
19.3.1 Installing the multipath driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578
19.4 Windows Server 2008 Failover Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580
19.4.1 Installing the Failover Clustering Feature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580
19.4.2 Validate a Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583
19.4.3 Create a Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 587
19.4.4 Quorum configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589
19.4.5 Steps for configuring a two-node file server cluster . . . . . . . . . . . . . . . . . . . . . 595
Chapter 20. SuSE Linux configuration guide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603
20.1 DS3500 SAS storage configuration on SLES 11 using RDAC . . . . . . . . . . . . . . . . . 604
20.1.1 Preparing for the installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604
20.1.2 Installing the RDAC Multipath Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610
20.1.3 Setting up the DS3500 logical drives and host mapping. . . . . . . . . . . . . . . . . . 611
20.1.4 Scan and verify the storage logical drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612
20.1.5 Configuring RDAC (MPP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615
20.2 DS3500 iSCSI storage configuration on SLES 11 using RDAC . . . . . . . . . . . . . . . . 616
20.2.1 Preparing for the installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
20.2.2 Configuring iSCSI software initiator with YaST. . . . . . . . . . . . . . . . . . . . . . . . . 618
20.2.3 Configuring iSCSI software initiator manually. . . . . . . . . . . . . . . . . . . . . . . . . . 624
20.3 DS3500 FC SAN boot configuration for SLES 11 server using RDAC . . . . . . . . . . . 627
20.3.1 Preparing for the installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627
20.3.2 SuSE Linux Enterprise 11 installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633
20.3.3 SuSE Linux final zoning topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
20.4 DS3500 FC storage configuration on SLES 11 using DMM . . . . . . . . . . . . . . . . . . . 635
20.4.1 DMM Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635
20.4.2 Comparing RDAC(MPP) to DMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
20.4.3 Planning for the installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
20.4.4 Installing the DMM multipath driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637
20.5 Scan and manage the storage logical drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639
Chapter 21. AIX 6.1 configuration guide. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643
21.1 Planning for the installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 644
21.1.1 Zoning considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645
21.1.2 SAN Boot implementation possibilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645
21.1.3 Planning MPIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646
21.2 Configuring MPIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650
Contents xiii
Draft Document for Review March 28, 2011 12:24 pm 7914TOC.fm
21.3 Setting up the DS3500 logical drives and host mapping. . . . . . . . . . . . . . . . . . . . . . 652
21.4 Scan and manage the storage logical drive from AIX . . . . . . . . . . . . . . . . . . . . . . . . 652
21.4.1 Ways to manage the paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 654
21.5 AIX SAN Boot with the IBM System Storage DS3500 . . . . . . . . . . . . . . . . . . . . . . . 655
21.5.1 Creating a boot disk with alt_disk_install . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
21.5.2 AIX SAN installation with NIM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656
21.5.3 AIX SAN installation with CD-ROM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
21.5.4 AIX Operating System Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
Chapter 22. VMware ESX Server and DS3500 Storage Configuration . . . . . . . . . . . . 665
22.1 Introduction to IBM VMware Storage Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
22.1.1 VMware installation prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
22.2 SAN Zoning configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 667
22.3 DS3500 Storage configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 668
22.3.1 Mapping LUNs to a storage partition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669
22.3.2 Steps for verifying the storage configuration for VMware . . . . . . . . . . . . . . . . . 669
22.4 Installing the VMware ESX Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
22.4.1 Configuring the hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
22.4.2 Configuring the software on the VMware ESX Server host . . . . . . . . . . . . . . . 675
22.4.3 Connecting to the VMware vSphere Server . . . . . . . . . . . . . . . . . . . . . . . . . . . 698
22.4.4 Post-Install Server configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706
22.4.5 Configuring VMware ESX Server Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708
22.4.6 Creating additional virtual switches for guests’ connectivity . . . . . . . . . . . . . . . 718
22.4.7 Creating virtual machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 722
22.4.8 Additional VMware ESX Server Storage configuration . . . . . . . . . . . . . . . . . . . 736
Appendix A. IBM Support Portal web site. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 737
Sample navigation procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 738
Download code updates. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741
My notifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 746
Related publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 751
IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 751
Other publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 751
Online resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 751
How to get Redbooks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
Help from IBM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755
7914TOC.fm Draft Document for Review March 28, 2011 12:24 pm
xiv IBM System Storage DS3500: Introduction and Implementation Guide
© Copyright IBM Corp. 2010. All rights reserved. xv
Draft Document for Review March 28, 2011 12:24 pm 7914spec.fm
Notices
This information was developed for products and services offered in the U.S.A.
IBM may not offer the products, services, or features discussed in this document in other countries. Consult
your local IBM representative for information on the products and services currently available in your area. Any
reference to an IBM product, program, or service is not intended to state or imply that only that IBM product,
program, or service may be used. Any functionally equivalent product, program, or service that does not
infringe any IBM intellectual property right may be used instead. However, it is the user's responsibility to
evaluate and verify the operation of any non-IBM product, program, or service.
IBM may have patents or pending patent applications covering subject matter described in this document. The
furnishing of this document does not give you any license to these patents. You can send license inquiries, in
writing, to:
IBM Director of Licensing, IBM Corporation, North Castle Drive, Armonk, NY 10504-1785 U.S.A.
The following paragraph does not apply to the United Kingdom or any other country where such
provisions are inconsistent with local law: INTERNATIONAL BUSINESS MACHINES CORPORATION
PROVIDES THIS PUBLICATION "AS IS" WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESS OR
IMPLIED, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF NON-INFRINGEMENT,
MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE. Some states do not allow disclaimer of
express or implied warranties in certain transactions, therefore, this statement may not apply to you.
This information could include technical inaccuracies or typographical errors. Changes are periodically made
to the information herein; these changes will be incorporated in new editions of the publication. IBM may make
improvements and/or changes in the product(s) and/or the program(s) described in this publication at any time
without notice.
Any references in this information to non-IBM Web sites are provided for convenience only and do not in any
manner serve as an endorsement of those Web sites. The materials at those Web sites are not part of the
materials for this IBM product and use of those Web sites is at your own risk.
IBM may use or distribute any of the information you supply in any way it believes appropriate without incurring
any obligation to you.
Information concerning non-IBM products was obtained from the suppliers of those products, their published
announcements or other publicly available sources. IBM has not tested those products and cannot confirm the
accuracy of performance, compatibility or any other claims related to non-IBM products. Questions on the
capabilities of non-IBM products should be addressed to the suppliers of those products.
This information contains examples of data and reports used in daily business operations. To illustrate them
as completely as possible, the examples include the names of individuals, companies, brands, and products.
All of these names are fictitious and any similarity to the names and addresses used by an actual business
enterprise is entirely coincidental.
COPYRIGHT LICENSE:
This information contains sample application programs in source language, which illustrate programming
techniques on various operating platforms. You may copy, modify, and distribute these sample programs in
any form without payment to IBM, for the purposes of developing, using, marketing or distributing application
programs conforming to the application programming interface for the operating platform for which the sample
programs are written. These examples have not been thoroughly tested under all conditions. IBM, therefore,
cannot guarantee or imply reliability, serviceability, or function of these programs.
7914spec.fm Draft Document for Review March 28, 2011 12:24 pm
xvi IBM System Storage DS3500: Introduction and Implementation Guide
Trademarks
IBM, the IBM logo, and ibm.com are trademarks or registered trademarks of International Business Machines
Corporation in the United States, other countries, or both. These and other IBM trademarked terms are
marked on their first occurrence in this information with the appropriate symbol (® or ™), indicating US
registered or common law trademarks owned by IBM at the time this information was published. Such
trademarks may also be registered or common law trademarks in other countries. A current list of IBM
trademarks is available on the Web at http://www.ibm.com/legal/copytrade.shtml
The following terms are trademarks of the International Business Machines Corporation in the United States,
other countries, or both:
AIX 5L™
AIX®
Application Advantage™
BladeCenter®
DB2®
DS4000®
DS6000™
DS8000®
Express Storage™
FlashCopy®
GPFS™
IBM®
Netfinity®
Power Systems™
POWER6®
POWER®
Redbooks®
Redbooks (logo) ®
System i®
System p®
System Storage DS®
System Storage®
System x®
Tivoli®
TotalStorage®
The following terms are trademarks of other companies:
Java, and all Java-based trademarks are trademarks of Sun Microsystems, Inc. in the United States, other
countries, or both.
Microsoft, Windows, and the Windows logo are trademarks of Microsoft Corporation in the United States,
other countries, or both.
Intel, Intel logo, Intel Inside logo, and Intel Centrino logo are trademarks or registered trademarks of Intel
Corporation or its subsidiaries in the United States and other countries.
UNIX is a registered trademark of The Open Group in the United States and other countries.
Linux is a trademark of Linus Torvalds in the United States, other countries, or both.
Other company, product, or service names may be trademarks or service marks of others.
© Copyright IBM Corp. 2010. All rights reserved. xvii
Draft Document for Review March 28, 2011 12:24 pm 7914pref.fm
Preface
This IBM® Redbooks® publication introduces the IBM System Storage® DS3500, providing
an overview of its design and specifications, and describing in detail how to set up, configure,
and administer it. This edition covers updates and functions available with the DS3500
Storage Manager Version 10.70 (firmware level 7.70).
IBM has combined best-of-breed development with leading 6 Gbps host interface and drive
technology in the IBM System Storage DS3500 Express. With its simple, efficient and flexible
approach to storage, the DS3500 is a cost-effective, fully integrated complement to System
x® servers, BladeCenter® and Power Systems™. Offering substantial improvements at a
price that will fit most budgets, the DS3500 delivers superior price to performance ratios,
functionality, scalability and ease of use for the entry-level storage user.
The DS3500 supports intermixing four 1Gbps iSCSI or four 8Gbps FC host ports with its
native 6Gbps SAS interfaces. This flexible and multi-purpose dual protocol approach allows
organizations to implement a single storage system to support all of their shared storage
requirements, there by maximizing productivity, reliability, and cost.
Delivering solid input/output per second (IOPS) and throughput, the DS3500 controllers offer
balanced and sustainable performance. The DS3500 can effectively double the performance
of the previous DS3000 series of storage systems in both throughput and IOPS.
The DS3500 DS Storage Manager is the same management software offered with the
DS5000 and DS4000® series. Now, any of these storage systems can be viewed and
managed from a single interface. This allows for consolidated management of these various
storage systems as well as a reduced learning curve. The DS3500 also supports enhanced
remote mirroring over FC host ports, which is also compatible with the DS5000 and DS4000
series. This allows for low-cost backup and recovery with a DS5000 and DS4000 at a
production site and a DS3500 at the secondary site.
This book is intended for customers, IBM Business Partners, and IBM technical professionals
who want to learn more about the capabilities and advanced functions of the IBM System
Storage DS3500 with Storage Manager Software. It also targets those who have a DS3500
storage system and need detailed advice on how to configure and manage it.
The team who wrote this book
This book was produced by a team of specialists from around the world working at the
International Technical Support Organization, Raleigh Center.
was produced by a team of specialists from around the world working at the International
Technical Support Organization, Raleigh Center.
7914pref.fm Draft Document for Review March 28, 2011 12:24 pm
xviii IBM System Storage DS3500: Introduction and Implementation Guide
Sangam Racherla is an IT Specialist and Project Leader
working at the International Technical Support
Organization (ITSO), San Jose Center. He holds a degree
in electronics and communication engineering and has ten
years of experience in the IT field. He has been with the
ITSO for the past seven years and has extensive
experience installing and supporting the ITSO lab
equipment for various Redbooks publication projects. His
areas of expertise include Microsoft® Windows®, Linux®,
AIX®, System x, and System p® servers, and various SAN
and storage products.
Reza Fanaei Aghdam is a Senior IT Specialist working in
Zurich, Switzerland. He has 17 years of professional
experience with x86-based hardware, storage technologies
and systems management more than 12 of them at IBM.
He instructs Business Partners and customers on how to
configure and install the System x, BladeCenter, Systems
Director, Storage, VMware® and Hyper-V. He is an IBM
Certified Systems Expert - System x BladeCenter, IBM
Certified Specialist - Midrange Storage Technical Support
and VMware Certified Professional.
Hartmut Lonzer is a Technical Consultant in the
Partnership Solution Center Southwest / Germany. As
former Storage FTSS member his main Focus is on
Storage and System x. Today, he is responsible to educate
and support the Business Partner and Customers in his
Area in technical matters. His experience regarding the DS
Storage goes back to the beginning of this Product. He has
been with IBM 33 years and all the time in various technical
roles.
L G (Len) O’Neill is a Product Field Engineer (PFE) for
IBM System x hardware support based at IBM Greenock in
the UK. The PFE team in IBM Greenock provides
post-sales technical support for all IBM System x and IBM
BladeCenter products for the EMEA (Europe, Middle-East
and Africa) region. He has been with IBM for 12 years and
in his current role for 11 years. He specializes in providing
post-sales technical support for the IBM DS3000 storage
products and has previously specialised in supporting IBM
SCSI, ServeRAID and Microsoft Windows clustering
products within the System x product range. He holds a
degree in Physics from Trinity College Dublin.
  • Page 1 1
  • Page 2 2
  • Page 3 3
  • Page 4 4
  • Page 5 5
  • Page 6 6
  • Page 7 7
  • Page 8 8
  • Page 9 9
  • Page 10 10
  • Page 11 11
  • Page 12 12
  • Page 13 13
  • Page 14 14
  • Page 15 15
  • Page 16 16
  • Page 17 17
  • Page 18 18
  • Page 19 19
  • Page 20 20
  • Page 21 21
  • Page 22 22
  • Page 23 23
  • Page 24 24
  • Page 25 25
  • Page 26 26
  • Page 27 27
  • Page 28 28
  • Page 29 29
  • Page 30 30
  • Page 31 31
  • Page 32 32
  • Page 33 33
  • Page 34 34
  • Page 35 35
  • Page 36 36
  • Page 37 37
  • Page 38 38
  • Page 39 39
  • Page 40 40
  • Page 41 41
  • Page 42 42
  • Page 43 43
  • Page 44 44
  • Page 45 45
  • Page 46 46
  • Page 47 47
  • Page 48 48
  • Page 49 49
  • Page 50 50
  • Page 51 51
  • Page 52 52
  • Page 53 53
  • Page 54 54
  • Page 55 55
  • Page 56 56
  • Page 57 57
  • Page 58 58
  • Page 59 59
  • Page 60 60
  • Page 61 61
  • Page 62 62
  • Page 63 63
  • Page 64 64
  • Page 65 65
  • Page 66 66
  • Page 67 67
  • Page 68 68
  • Page 69 69
  • Page 70 70
  • Page 71 71
  • Page 72 72
  • Page 73 73
  • Page 74 74
  • Page 75 75
  • Page 76 76
  • Page 77 77
  • Page 78 78
  • Page 79 79
  • Page 80 80
  • Page 81 81
  • Page 82 82
  • Page 83 83
  • Page 84 84
  • Page 85 85
  • Page 86 86
  • Page 87 87
  • Page 88 88
  • Page 89 89
  • Page 90 90
  • Page 91 91
  • Page 92 92
  • Page 93 93
  • Page 94 94
  • Page 95 95
  • Page 96 96
  • Page 97 97
  • Page 98 98
  • Page 99 99
  • Page 100 100
  • Page 101 101
  • Page 102 102
  • Page 103 103
  • Page 104 104
  • Page 105 105
  • Page 106 106
  • Page 107 107
  • Page 108 108
  • Page 109 109
  • Page 110 110
  • Page 111 111
  • Page 112 112
  • Page 113 113
  • Page 114 114
  • Page 115 115
  • Page 116 116
  • Page 117 117
  • Page 118 118
  • Page 119 119
  • Page 120 120
  • Page 121 121
  • Page 122 122
  • Page 123 123
  • Page 124 124
  • Page 125 125
  • Page 126 126
  • Page 127 127
  • Page 128 128
  • Page 129 129
  • Page 130 130
  • Page 131 131
  • Page 132 132
  • Page 133 133
  • Page 134 134
  • Page 135 135
  • Page 136 136
  • Page 137 137
  • Page 138 138
  • Page 139 139
  • Page 140 140
  • Page 141 141
  • Page 142 142
  • Page 143 143
  • Page 144 144
  • Page 145 145
  • Page 146 146
  • Page 147 147
  • Page 148 148
  • Page 149 149
  • Page 150 150
  • Page 151 151
  • Page 152 152
  • Page 153 153
  • Page 154 154
  • Page 155 155
  • Page 156 156
  • Page 157 157
  • Page 158 158
  • Page 159 159
  • Page 160 160
  • Page 161 161
  • Page 162 162
  • Page 163 163
  • Page 164 164
  • Page 165 165
  • Page 166 166
  • Page 167 167
  • Page 168 168
  • Page 169 169
  • Page 170 170
  • Page 171 171
  • Page 172 172
  • Page 173 173
  • Page 174 174
  • Page 175 175
  • Page 176 176
  • Page 177 177
  • Page 178 178
  • Page 179 179
  • Page 180 180
  • Page 181 181
  • Page 182 182
  • Page 183 183
  • Page 184 184
  • Page 185 185
  • Page 186 186
  • Page 187 187
  • Page 188 188
  • Page 189 189
  • Page 190 190
  • Page 191 191
  • Page 192 192
  • Page 193 193
  • Page 194 194
  • Page 195 195
  • Page 196 196
  • Page 197 197
  • Page 198 198
  • Page 199 199
  • Page 200 200
  • Page 201 201
  • Page 202 202
  • Page 203 203
  • Page 204 204
  • Page 205 205
  • Page 206 206
  • Page 207 207
  • Page 208 208
  • Page 209 209
  • Page 210 210
  • Page 211 211
  • Page 212 212
  • Page 213 213
  • Page 214 214
  • Page 215 215
  • Page 216 216
  • Page 217 217
  • Page 218 218
  • Page 219 219
  • Page 220 220
  • Page 221 221
  • Page 222 222
  • Page 223 223
  • Page 224 224
  • Page 225 225
  • Page 226 226
  • Page 227 227
  • Page 228 228
  • Page 229 229
  • Page 230 230
  • Page 231 231
  • Page 232 232
  • Page 233 233
  • Page 234 234
  • Page 235 235
  • Page 236 236
  • Page 237 237
  • Page 238 238
  • Page 239 239
  • Page 240 240
  • Page 241 241
  • Page 242 242
  • Page 243 243
  • Page 244 244
  • Page 245 245
  • Page 246 246
  • Page 247 247
  • Page 248 248
  • Page 249 249
  • Page 250 250
  • Page 251 251
  • Page 252 252
  • Page 253 253
  • Page 254 254
  • Page 255 255
  • Page 256 256
  • Page 257 257
  • Page 258 258
  • Page 259 259
  • Page 260 260
  • Page 261 261
  • Page 262 262
  • Page 263 263
  • Page 264 264
  • Page 265 265
  • Page 266 266
  • Page 267 267
  • Page 268 268
  • Page 269 269
  • Page 270 270
  • Page 271 271
  • Page 272 272
  • Page 273 273
  • Page 274 274
  • Page 275 275
  • Page 276 276
  • Page 277 277
  • Page 278 278
  • Page 279 279
  • Page 280 280
  • Page 281 281
  • Page 282 282
  • Page 283 283
  • Page 284 284
  • Page 285 285
  • Page 286 286
  • Page 287 287
  • Page 288 288
  • Page 289 289
  • Page 290 290
  • Page 291 291
  • Page 292 292
  • Page 293 293
  • Page 294 294
  • Page 295 295
  • Page 296 296
  • Page 297 297
  • Page 298 298
  • Page 299 299
  • Page 300 300
  • Page 301 301
  • Page 302 302
  • Page 303 303
  • Page 304 304
  • Page 305 305
  • Page 306 306
  • Page 307 307
  • Page 308 308
  • Page 309 309
  • Page 310 310
  • Page 311 311
  • Page 312 312
  • Page 313 313
  • Page 314 314
  • Page 315 315
  • Page 316 316
  • Page 317 317
  • Page 318 318
  • Page 319 319
  • Page 320 320
  • Page 321 321
  • Page 322 322
  • Page 323 323
  • Page 324 324
  • Page 325 325
  • Page 326 326
  • Page 327 327
  • Page 328 328
  • Page 329 329
  • Page 330 330
  • Page 331 331
  • Page 332 332
  • Page 333 333
  • Page 334 334
  • Page 335 335
  • Page 336 336
  • Page 337 337
  • Page 338 338
  • Page 339 339
  • Page 340 340
  • Page 341 341
  • Page 342 342
  • Page 343 343
  • Page 344 344
  • Page 345 345
  • Page 346 346
  • Page 347 347
  • Page 348 348
  • Page 349 349
  • Page 350 350
  • Page 351 351
  • Page 352 352
  • Page 353 353
  • Page 354 354
  • Page 355 355
  • Page 356 356
  • Page 357 357
  • Page 358 358
  • Page 359 359
  • Page 360 360
  • Page 361 361
  • Page 362 362
  • Page 363 363
  • Page 364 364
  • Page 365 365
  • Page 366 366
  • Page 367 367
  • Page 368 368
  • Page 369 369
  • Page 370 370
  • Page 371 371
  • Page 372 372
  • Page 373 373
  • Page 374 374
  • Page 375 375
  • Page 376 376
  • Page 377 377
  • Page 378 378
  • Page 379 379
  • Page 380 380
  • Page 381 381
  • Page 382 382
  • Page 383 383
  • Page 384 384
  • Page 385 385
  • Page 386 386
  • Page 387 387
  • Page 388 388
  • Page 389 389
  • Page 390 390
  • Page 391 391
  • Page 392 392
  • Page 393 393
  • Page 394 394
  • Page 395 395
  • Page 396 396
  • Page 397 397
  • Page 398 398
  • Page 399 399
  • Page 400 400
  • Page 401 401
  • Page 402 402
  • Page 403 403
  • Page 404 404
  • Page 405 405
  • Page 406 406
  • Page 407 407
  • Page 408 408
  • Page 409 409
  • Page 410 410
  • Page 411 411
  • Page 412 412
  • Page 413 413
  • Page 414 414
  • Page 415 415
  • Page 416 416
  • Page 417 417
  • Page 418 418
  • Page 419 419
  • Page 420 420
  • Page 421 421
  • Page 422 422
  • Page 423 423
  • Page 424 424
  • Page 425 425
  • Page 426 426
  • Page 427 427
  • Page 428 428
  • Page 429 429
  • Page 430 430
  • Page 431 431
  • Page 432 432
  • Page 433 433
  • Page 434 434
  • Page 435 435
  • Page 436 436
  • Page 437 437
  • Page 438 438
  • Page 439 439
  • Page 440 440
  • Page 441 441
  • Page 442 442
  • Page 443 443
  • Page 444 444
  • Page 445 445
  • Page 446 446
  • Page 447 447
  • Page 448 448
  • Page 449 449
  • Page 450 450
  • Page 451 451
  • Page 452 452
  • Page 453 453
  • Page 454 454
  • Page 455 455
  • Page 456 456
  • Page 457 457
  • Page 458 458
  • Page 459 459
  • Page 460 460
  • Page 461 461
  • Page 462 462
  • Page 463 463
  • Page 464 464
  • Page 465 465
  • Page 466 466
  • Page 467 467
  • Page 468 468
  • Page 469 469
  • Page 470 470
  • Page 471 471
  • Page 472 472
  • Page 473 473
  • Page 474 474
  • Page 475 475
  • Page 476 476
  • Page 477 477
  • Page 478 478
  • Page 479 479
  • Page 480 480
  • Page 481 481
  • Page 482 482
  • Page 483 483
  • Page 484 484
  • Page 485 485
  • Page 486 486
  • Page 487 487
  • Page 488 488
  • Page 489 489
  • Page 490 490
  • Page 491 491
  • Page 492 492
  • Page 493 493
  • Page 494 494
  • Page 495 495
  • Page 496 496
  • Page 497 497
  • Page 498 498
  • Page 499 499
  • Page 500 500
  • Page 501 501
  • Page 502 502
  • Page 503 503
  • Page 504 504
  • Page 505 505
  • Page 506 506
  • Page 507 507
  • Page 508 508
  • Page 509 509
  • Page 510 510
  • Page 511 511
  • Page 512 512
  • Page 513 513
  • Page 514 514
  • Page 515 515
  • Page 516 516
  • Page 517 517
  • Page 518 518
  • Page 519 519
  • Page 520 520
  • Page 521 521
  • Page 522 522
  • Page 523 523
  • Page 524 524
  • Page 525 525
  • Page 526 526
  • Page 527 527
  • Page 528 528
  • Page 529 529
  • Page 530 530
  • Page 531 531
  • Page 532 532
  • Page 533 533
  • Page 534 534
  • Page 535 535
  • Page 536 536
  • Page 537 537
  • Page 538 538
  • Page 539 539
  • Page 540 540
  • Page 541 541
  • Page 542 542
  • Page 543 543
  • Page 544 544
  • Page 545 545
  • Page 546 546
  • Page 547 547
  • Page 548 548
  • Page 549 549
  • Page 550 550
  • Page 551 551
  • Page 552 552
  • Page 553 553
  • Page 554 554
  • Page 555 555
  • Page 556 556
  • Page 557 557
  • Page 558 558
  • Page 559 559
  • Page 560 560
  • Page 561 561
  • Page 562 562
  • Page 563 563
  • Page 564 564
  • Page 565 565
  • Page 566 566
  • Page 567 567
  • Page 568 568
  • Page 569 569
  • Page 570 570
  • Page 571 571
  • Page 572 572
  • Page 573 573
  • Page 574 574
  • Page 575 575
  • Page 576 576
  • Page 577 577
  • Page 578 578
  • Page 579 579
  • Page 580 580
  • Page 581 581
  • Page 582 582
  • Page 583 583
  • Page 584 584
  • Page 585 585
  • Page 586 586
  • Page 587 587
  • Page 588 588
  • Page 589 589
  • Page 590 590
  • Page 591 591
  • Page 592 592
  • Page 593 593
  • Page 594 594
  • Page 595 595
  • Page 596 596
  • Page 597 597
  • Page 598 598
  • Page 599 599
  • Page 600 600
  • Page 601 601
  • Page 602 602
  • Page 603 603
  • Page 604 604
  • Page 605 605
  • Page 606 606
  • Page 607 607
  • Page 608 608
  • Page 609 609
  • Page 610 610
  • Page 611 611
  • Page 612 612
  • Page 613 613
  • Page 614 614
  • Page 615 615
  • Page 616 616
  • Page 617 617
  • Page 618 618
  • Page 619 619
  • Page 620 620
  • Page 621 621
  • Page 622 622
  • Page 623 623
  • Page 624 624
  • Page 625 625
  • Page 626 626
  • Page 627 627
  • Page 628 628
  • Page 629 629
  • Page 630 630
  • Page 631 631
  • Page 632 632
  • Page 633 633
  • Page 634 634
  • Page 635 635
  • Page 636 636
  • Page 637 637
  • Page 638 638
  • Page 639 639
  • Page 640 640
  • Page 641 641
  • Page 642 642
  • Page 643 643
  • Page 644 644
  • Page 645 645
  • Page 646 646
  • Page 647 647
  • Page 648 648
  • Page 649 649
  • Page 650 650
  • Page 651 651
  • Page 652 652
  • Page 653 653
  • Page 654 654
  • Page 655 655
  • Page 656 656
  • Page 657 657
  • Page 658 658
  • Page 659 659
  • Page 660 660
  • Page 661 661
  • Page 662 662
  • Page 663 663
  • Page 664 664
  • Page 665 665
  • Page 666 666
  • Page 667 667
  • Page 668 668
  • Page 669 669
  • Page 670 670
  • Page 671 671
  • Page 672 672
  • Page 673 673
  • Page 674 674
  • Page 675 675
  • Page 676 676
  • Page 677 677
  • Page 678 678
  • Page 679 679
  • Page 680 680
  • Page 681 681
  • Page 682 682
  • Page 683 683
  • Page 684 684
  • Page 685 685
  • Page 686 686
  • Page 687 687
  • Page 688 688
  • Page 689 689
  • Page 690 690
  • Page 691 691
  • Page 692 692
  • Page 693 693
  • Page 694 694
  • Page 695 695
  • Page 696 696
  • Page 697 697
  • Page 698 698
  • Page 699 699
  • Page 700 700
  • Page 701 701
  • Page 702 702
  • Page 703 703
  • Page 704 704
  • Page 705 705
  • Page 706 706
  • Page 707 707
  • Page 708 708
  • Page 709 709
  • Page 710 710
  • Page 711 711
  • Page 712 712
  • Page 713 713
  • Page 714 714
  • Page 715 715
  • Page 716 716
  • Page 717 717
  • Page 718 718
  • Page 719 719
  • Page 720 720
  • Page 721 721
  • Page 722 722
  • Page 723 723
  • Page 724 724
  • Page 725 725
  • Page 726 726
  • Page 727 727
  • Page 728 728
  • Page 729 729
  • Page 730 730
  • Page 731 731
  • Page 732 732
  • Page 733 733
  • Page 734 734
  • Page 735 735
  • Page 736 736
  • Page 737 737
  • Page 738 738
  • Page 739 739
  • Page 740 740
  • Page 741 741
  • Page 742 742
  • Page 743 743
  • Page 744 744
  • Page 745 745
  • Page 746 746
  • Page 747 747
  • Page 748 748
  • Page 749 749
  • Page 750 750
  • Page 751 751
  • Page 752 752
  • Page 753 753
  • Page 754 754
  • Page 755 755
  • Page 756 756
  • Page 757 757
  • Page 758 758
  • Page 759 759
  • Page 760 760
  • Page 761 761
  • Page 762 762
  • Page 763 763
  • Page 764 764
  • Page 765 765
  • Page 766 766
  • Page 767 767
  • Page 768 768
  • Page 769 769
  • Page 770 770
  • Page 771 771
  • Page 772 772
  • Page 773 773
  • Page 774 774
  • Page 775 775
  • Page 776 776
  • Page 777 777
  • Page 778 778
  • Page 779 779
  • Page 780 780
  • Page 781 781
  • Page 782 782
  • Page 783 783
  • Page 784 784
  • Page 785 785
  • Page 786 786
  • Page 787 787
  • Page 788 788
  • Page 789 789
  • Page 790 790

IBM DS3500 Introduction And Implementation Manual

Category
Software
Type
Introduction And Implementation Manual

Ask a question and I''ll find the answer in the document

Finding information in a document is now easier with AI