wusel

ssacli und die Slots

Primary note to self: was tun, wenn mehrere Smart-Array-Controller als »in Slot 1« gelistet werden.

Beim Upgrade des Heimservers bin ich von einem Proliant DL360 Gen8 LFF auf einen DL380 Gen9 LFF gegangen — 12x 3,5″ ermöglichen schon etwas mehr Storage als 4x 3,5″ im 360er …

Leider kam der Server mit Problemen beim Smart-Array-Controller hier an: iLO4- und BIOS-Änderungen funktionierten, beim Bootversuch ploppten NMI-Felher-Fenster auf – kannte ich bislang noch nicht – und das IML zeigte auf Slot 2. In Slot 2 war der Smart-Arrray P840 verbaut, der die 12+2 Slots versorgen sollte (diese Chassis-Variante hat noch 2x 2,5″ Hotplug über den Netzteilen). Weird, eigentlich sagt der Händler, die HW sei geprüft und gibt auch eine Garantie, teils 3 Jahre ab Kauf.

Foto des primären PCIe-Risers eines HPE Proliant DL380 Gen9 mit einer mechanisch deformierten x16-Aufnahme im Slot 2.
Wo rohe Kräfte sinnlos walten …
Long Story short: die LED des P840 blinkten munter, auch die HDD wurden schein’s angesteuert. Hingegen verzeichnete, nach testweisem Umstecken in Slot 3, das iLO kein Gerät in Slot 3 und auch das »Intelligent Provisioning« fand keinen Festplattenkontroller und somit auch keine Festplatten. Eine weitere Fehlersuchiteration zeigte dann das Problem: der PCIe-Port 2 auf dem primären Riser-Board war mechanisch defekt — sieht in bißchen so aus, als habe eine Alien-PCIe-Karte dort sich Bahn gebrochen. Der Riser ist also im Eimer, wenngleich Slot 3 mit einer Netzwerkkarte zumindest noch jene identifiziert. Nach Fehlerbeschreibung und Fotos schickt der Händler neuen Riser & P840 zu, 5-Sterne-Kundenservice.

Zwischenzeitlich habe ich allerdings 3-Port-Riser für primären und sekundären Erweiterungsport aus der Bucht gefischt — der DL380 Gen9 war nur mit dem primären Riser und dort auch nur mit der 2-Port-Variante ausgestattet. Da ich aber u. a. 2x Dual-DVB-S2-Karten einbauen will (um damit per minsatip die lokalen VDR zu versorgen), brauche ich ja mindestens 3 Erweiterungsslots. Zudem werden auch DVB-S2-Karten gerne warm, also stört Luft zwischen den Karten sicher nicht. Kurzum, mein DL380 Gen9 hat nun 2x 3 PCIe-Slots.

Und nachdem der P840 vermutlich frittiert war – auch im neuem Riser wirft die Karte Fehler –, habe ich kurzfristig 1x P440 und 1x P822 geordert: der P440 (12G-SAS, 6G-SATA) ist schein’s ein halber P840, hat einen von den »double wide«-Ports für 8 Laufwerke, von denen der P840 zwei hat und für die die Verkabelung in meinem DL380 ausgelegt ist. Der P822 wiederum ist ein 6/6G-SAS-und-SATA-Controller mit 2x SFF-8087 intern und 4x SFF-8088 extern aus der G7-Ära. Da ich aber per 4-Port-3,5″-Einschüben ggf. meinen Storage erweitern will – 2,5″ ist einfach keine Lösung für große Volumina, >1 TB gibt’s nur als Flash-/SSD-Speicher – paßt der P882 eigentlich ganz gut. (Durch einen Mausrutscher habe ich auch noch ein D2700-Diskarray geklickt, welches nun 25 2,5″-SAS-1-GB-HDDs über 4 SAS-Links des ersten externen P822-Ports bereitstellt.)

Ok, etwas längliche Einleitung … deren Relevanz sich gleich erschließt: bislang hatte ich es nur mit einem Smart-Array-Controller zu tun:

root@hydra ~ # ssacli controller slot=0 pd all show

Smart Array P440ar in Slot 0 (Embedded)

   Array A

      physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SAS HDD, 300 GB, OK)
      physicaldrive 1I:1:2 (port 1I:box 1:bay 2, SAS HDD, 300 GB, OK)

   Array B

      physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SAS HDD, 900 GB, OK, shared spare)
      physicaldrive 1I:1:3 (port 1I:box 1:bay 3, SAS HDD, 900 GB, OK)
      physicaldrive 2I:1:5 (port 2I:box 1:bay 5, SAS HDD, 900 GB, OK)

   Unassigned

      physicaldrive 2I:1:6 (port 2I:box 1:bay 6, SAS HDD, 900 GB, OK)
      physicaldrive 2I:1:7 (port 2I:box 1:bay 7, SAS HDD, 900 GB, OK)
      physicaldrive 2I:1:8 (port 2I:box 1:bay 8, SAS HDD, 900 GB, OK)

Oder, G7-style:

root@basilisk ~ # hpacucli controller slot=0 pd all show 

Smart Array P410i in Slot 0 (Embedded)

   array A

      physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SAS, 146 GB, Failed)
      physicaldrive 1I:1:2 (port 1I:box 1:bay 2, SAS, 146 GB, OK)
      physicaldrive 1I:1:3 (port 1I:box 1:bay 3, SAS, 146 GB, OK)
      physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SAS, 146 GB, OK)

   array B

      physicaldrive 2I:1:5 (port 2I:box 1:bay 5, SAS, 73.4 GB, OK)
      physicaldrive 2I:1:6 (port 2I:box 1:bay 6, SAS, 73.4 GB, OK)
      physicaldrive 2I:1:7 (port 2I:box 1:bay 7, SAS, 73.4 GB, OK)
      physicaldrive 2I:1:8 (port 2I:box 1:bay 8, SAS, 73.4 GB, OK)

Nun aber greift »slot=1« nimmer:

root@stanley:~# ssacli controller all show 

Smart Array P440 in Slot 1                (sn: PDNMF0ARXXXXXX)
Smart Array P822 in Slot 1                (sn: PDVTF0BRXXXXXX)

WTF‽ Aber es gibt ja auch andere Identifikationsoptionen:

root@stanley:~# ssacli controller index=1 ld all show

Smart Array P440 in Slot 1

   Array A

      logicaldrive 1 (279.37 GB, RAID 1, OK)

   Array B

      logicaldrive 2 (2.73 TB, RAID 1, OK)

root@stanley:~# ssacli controller index=2 ld all show

Smart Array P822 in Slot 1

   Array A

      logicaldrive 1 (931.48 GB, RAID 1, OK)

   Array B

      logicaldrive 2 (18.19 TB, RAID 5, OK)

Schöner wäre ja eine eindeutige Zuweisung per »slot«, wo ich dann den physischen PCI[e]-Slot erwarten würde — aber naja, mit »index« kann man auch arbeiten.

Wirklich nice ist ja die durchgehende Kompatibilität bei Compaqs Smart-Array-Technik; die Arrays am P822 stammen ursprünglich aus einer DL370 G6, dort hingen sie über eine Port-Replicator-Karte am embedded Smart-Array-Controller. Nun stecken die 24 HDD in einem D2700-Enclosure, welches mit 4 Ports an einem externen Port eines P822 in einem DL380 Gen9 hängt. Klar, neueste Performance nur mit neuester Technik — aber manchmal ist auch weniger mehr: über die D2000er Enclosures können prä-Gen8-Arrays einfach an Gen8+ betrieben werden, mehr will man ja gar nicht.

Unschön am aktuellen Setup, mit P822 zuständig für die Ports 9-12 sowie die beiden 2,5″-Slots hinten: es können keine Smart-Array-übergreifenden Arrays erzeugt werden:

root@stanley:~# ssacli controller index=1 pd all show

Smart Array P440 in Slot 1
[…]
   Unassigned

      physicaldrive 1I:1:5 (port 1I:box 1:bay 5, SATA HDD, 4 TB, OK)
      physicaldrive 1I:1:6 (port 1I:box 1:bay 6, SATA HDD, 4 TB, OK)
      physicaldrive 1I:1:7 (port 1I:box 1:bay 7, SATA HDD, 4 TB, OK)
      physicaldrive 1I:1:8 (port 1I:box 1:bay 8, SATA HDD, 3 TB, OK)

root@stanley:~# ssacli controller index=2 pd all show

Smart Array P822 in Slot 1
[…]
   Unassigned

      physicaldrive 5I:2:3 (port 5I:box 2:bay 3, SATA HDD, 4 TB, OK)
      physicaldrive 5I:2:4 (port 5I:box 2:bay 4, SATA HDD, 4 TB, OK)
      physicaldrive 6I:4:1 (port 6I:box 4:bay 1, SATA SSD, 1.9 TB, OK)
      physicaldrive 6I:4:2 (port 6I:box 4:bay 2, SATA SSD, 1.9 TB, OK)

Screenshot DHL-Sendungsverfolgung: »Sa, 21.12.2024, 02:51, Bielefeld Die Sendung ist in der Region des Empfängers angekommen und wird im nächsten Schritt zur Zustellbasis transportiert.«
Nor­ma­ler­wei­se soll­te das noch am Sams­tag in die Aus­lie­fer­ung kom­men, nicht erst am Mon­tag, wie z. Zt. prog­nos­ti­ziert …
Insofern warte ich dann doch dringend auf den Ersatz-P840, der dann alle 14 internen Ports, 12x 3,5″ und 2x 2,5″, verwalten kann.

Der P440 wird also dem P840 Platz machen, aber der P822 wird bleiben, denn darüber kann ich z. B. das D2700-Enclosure (25x 2,5″-G7-Einschübe) betreiben, oder auch 4-Port-[SATA]-Rah­men. Im Endeffekt ersetze ich 2 HP Proliant MicroServer G7 (je 4x 3,5″) durch einen weitaus performanteren HP[E] Proliant DL 380 Gen9 und habe Spaß dabei 😉

Das D2700-Enclosure hingegen war eher ein Fehlinvest: SSDs werden ihre Performance über 4x 6G (SAS/SATA) nicht zeigen können, das ist eher ein Massenspeicher, und da wäre ein D2600 (12x 3,5″, bis mind. 10 TB/Drive) sinniger als 25x 2,5″ mit max. 1 TB/Drive …

Abwarten und Tee trinken, bzw. stay tuned for updates 😉