Vorstellung: Die Cloud der Großfamilie

[hawihoney]

In den anhängenden Bildern seht Ihr einen Unraid Server der aus drei Gehäusen besteht.

Der eigentliche Server (oben) besteht aus:
------------------------------------------

1x Supermicro SC846E16 Gehäuse

1x Supermicro BPN-SAS2-EL1 Backplane

1x Supermicro X12SCA-F Mainboard

1x Intel Xeon W-1290P CPU

1x Noctua NH-U9S Kühler

4x Samsung 32 GB M391A4G43AB1-CVF RAM --> 128 GB

1x LSI 9300-8i HBA

2x LSI 9300-8e HBA

2x SFF-8643/SFF-8087 Kabel intern von 9300-8i an Backplane

4x SFF-8644/SFF-8088 Kabel extern von den beiden 9300-8e an die beiden JBOD/DAS Erweiterungen

2x Samsung 970 EVO Plus 1 TB PCIe NVMe M.2 SSD

24x Festplatten mit Dual Parity - überwiegend Toshiba

Jede der beiden JBOD/DAS Erweiterungen besteht aus:
---------------------------------------------------

1x Supermicro SC846E16 Gehäuse

1x Supermicro BPN-SAS2-EL1 Backplane

1x Supermicro CSE-PTJBOD-CB2 Powerboard

1x SFF-8087/SFF-8088 Slotblech

2x SFF-8087/SFF-8087 Kabel intern von Slotblech an Backplane 

24x Festplatten mit Dual Parity - überwiegend Toshiba
 

Jede JBOD/DAS Erweiterung wird im Server als eigenständige Unraid VM geführt. Jeder Unraid VM ist einer der beiden LSI 9300-8e HBAs durchgereicht sowie ein eigener Unraid USB Lizenz Stick. Jeder Unraid VM sind 16 GB RAM zugewiesen. Jede Unraid VM besitzt Zugriff auf alle CPUs - es gibt also keine CPU Isolation. Alle Festplatten der JBOD/DAS Erweiterungen sind via SMB im eigentlichen Server gemountet. Der Server hat somit alle Festplatten aller drei Gehäuse im Zugriff.

 

Es gibt keine User-Shares. Alles läuft über Disk-Shares. Da ich nach wie vor BTRFS für meine Zwecke als - ahem - gefährlich betrachte, betreibe ich mit den beiden 1 TB PCIe NVMe M.2 SSDs keinen RAID Cache/Pool. Die Docker- und VM-Subsysteme laufen auf einem Single XFS Pool den ich selbst regelmäßig auf die zweite SSD repliziere.

 

Das System ist "rock solid". Es hat schon mehrere Inkarnationen hinter sich. Unraid, und hier speziell das Unraid Array, genießt mein volles Vertrauen. Mir fehlt nur noch die Unterstützung für mehrere Unraid Arrays. Dann könnte ich die beiden LSI 9300-8e entfernen und statt dessen die in den Backplanes eingebauten Expander nutzen. Theoretisch geht das jetzt schon - ich hatte das auch schon getestet - die Performance Werte über VirtIO waren aber unerträglich und kläglich.
 

Das Original Manual der Supermicro Backplanes BPN-SAS2-EL1/EL2 ist im Übrigen unvollständig. Es wird an keiner Stelle erklärt warum es drei SFF-8087 Anschlüsse pro Expander gibt. Alle empfohlenen Konstellationen nutzen lediglich einen Eingang und einen optionalen Ausgang für das Anbinden der weiteren JBOD/DAS Erweiterungen. Nachweislich können aber 2 Eingänge verwendet werden - Unraid erkennt dann tatsächlich 8 

Lanes sowie den Expander. Zwei Kabel vom HBA verdoppeln den Durchsatz. Der dritte Port kann nicht nur als Ausgang verwendet werden, sondern auch mit einem Breakout Kabel vier weitere Festplatten anbinden - also 28 Platten an einer Backplane.

 

Vorderansicht:

 

 

Rückansicht (ich habe es nicht so mit Kabeln):

 

 

Das innenleben eines der beiden JBOD/DAS. Links kommen die beiden Kabel vom zuständigen HBA, in der Mitte das Powerboard:

 

 

 

Edited November 21, 2023 by hawihoney

[mgutt]

On 11/23/2021 at 8:28 PM, hawihoney said:

Supermicro X12SCA-F Mainboard

Falls das jemanden interessiert. Ich hatte das Board mal mit einem W-1290P gemessen. Bei Volllast 180W und im Leerlauf 12W (gemessen mit Ubuntu 20). Dafür, dass das Board IPMI hat, fand ich den Wert schon sehr gut für einen 10 Kerner:

 

[hawihoney]

1 hour ago, mgutt said:

Dafür, dass das Board IPMI hat, fand ich den Wert schon sehr gut für einen 10 Kerner:

 

Die Kombo ist etwas über ein halbes Jahr im Einsatz und hat alle Erwartungen erfüllt - wenn nicht mehr. Drei durchgehend laufende Unraid Server dümpeln im Leerlauf bei insgesamt 1% der CPU. 4K Transcodes? Kein Thema. Derzeit läuft durchgängig ein Plex Deep Analyze Skript, da Plex das nicht für älteren Content ab Aktivierung nachpflegt. Das erzeugt eine hohe Lese- und CPU-Last. Kein Thema für den 1290P. Nur die PGS Subtitle können bei 4K Content mit hoher Bitrate zwicken - solche Mechanismen sind leider immer noch single-threaded.

 

Edited December 23, 2021 by hawihoney

[mgutt]

57 minutes ago, hawihoney said:

Nur die PGS Subtitle können bei 4K Content mit hoher Bitrate zwicken

Und was wäre, wenn du die alle exportierst und wenn das durch ist 1x von Hand den Batch Mode von Subtitle Edit anwirfst?

 

 

 

Ist nur die Frage wie fehlerfrei die dann sind. Ich nutze das nur für erzwungene Untertitel. Da ist die Fehlerquote vielleicht 1%.

 

 

[hawihoney]

1 hour ago, mgutt said:

Und was wäre, wenn du die alle exportierst und wenn das durch ist 1x von Hand den Batch Mode von Subtitle Edit anwirfst?

 

Ich muss ja immer alles automatisieren

 

Im Moment und für ein paar Wochen läuft noch das Plex Deep Analyze. In der Zwischenzeit werde ich mir mal darüber Gedanken machen. Habe auch schon ein paar Links gesammelt. Manuelles Handling ist keine Option ...