hawihoney Posted November 23, 2021 Share Posted November 23, 2021 (edited) In den anhängenden Bildern seht Ihr einen Unraid Server der aus drei Gehäusen besteht. Der eigentliche Server (oben) besteht aus: ------------------------------------------ 1x Supermicro SC846E16 Gehäuse 1x Supermicro BPN-SAS2-EL1 Backplane 1x Supermicro X12SCA-F Mainboard 1x Intel Xeon W-1290P CPU 1x Noctua NH-U9S Kühler 4x Samsung 32 GB M391A4G43AB1-CVF RAM --> 128 GB 1x LSI 9300-8i HBA 2x LSI 9300-8e HBA 2x SFF-8643/SFF-8087 Kabel intern von 9300-8i an Backplane 4x SFF-8644/SFF-8088 Kabel extern von den beiden 9300-8e an die beiden JBOD/DAS Erweiterungen 2x Samsung 970 EVO Plus 1 TB PCIe NVMe M.2 SSD 24x Festplatten mit Dual Parity - überwiegend Toshiba Jede der beiden JBOD/DAS Erweiterungen besteht aus: --------------------------------------------------- 1x Supermicro SC846E16 Gehäuse 1x Supermicro BPN-SAS2-EL1 Backplane 1x Supermicro CSE-PTJBOD-CB2 Powerboard 1x SFF-8087/SFF-8088 Slotblech 2x SFF-8087/SFF-8087 Kabel intern von Slotblech an Backplane 24x Festplatten mit Dual Parity - überwiegend Toshiba Jede JBOD/DAS Erweiterung wird im Server als eigenständige Unraid VM geführt. Jeder Unraid VM ist einer der beiden LSI 9300-8e HBAs durchgereicht sowie ein eigener Unraid USB Lizenz Stick. Jeder Unraid VM sind 16 GB RAM zugewiesen. Jede Unraid VM besitzt Zugriff auf alle CPUs - es gibt also keine CPU Isolation. Alle Festplatten der JBOD/DAS Erweiterungen sind via SMB im eigentlichen Server gemountet. Der Server hat somit alle Festplatten aller drei Gehäuse im Zugriff. Es gibt keine User-Shares. Alles läuft über Disk-Shares. Da ich nach wie vor BTRFS für meine Zwecke als - ahem - gefährlich betrachte, betreibe ich mit den beiden 1 TB PCIe NVMe M.2 SSDs keinen RAID Cache/Pool. Die Docker- und VM-Subsysteme laufen auf einem Single XFS Pool den ich selbst regelmäßig auf die zweite SSD repliziere. Das System ist "rock solid". Es hat schon mehrere Inkarnationen hinter sich. Unraid, und hier speziell das Unraid Array, genießt mein volles Vertrauen. Mir fehlt nur noch die Unterstützung für mehrere Unraid Arrays. Dann könnte ich die beiden LSI 9300-8e entfernen und statt dessen die in den Backplanes eingebauten Expander nutzen. Theoretisch geht das jetzt schon - ich hatte das auch schon getestet - die Performance Werte über VirtIO waren aber unerträglich und kläglich. Das Original Manual der Supermicro Backplanes BPN-SAS2-EL1/EL2 ist im Übrigen unvollständig. Es wird an keiner Stelle erklärt warum es drei SFF-8087 Anschlüsse pro Expander gibt. Alle empfohlenen Konstellationen nutzen lediglich einen Eingang und einen optionalen Ausgang für das Anbinden der weiteren JBOD/DAS Erweiterungen. Nachweislich können aber 2 Eingänge verwendet werden - Unraid erkennt dann tatsächlich 8 Lanes sowie den Expander. Zwei Kabel vom HBA verdoppeln den Durchsatz. Der dritte Port kann nicht nur als Ausgang verwendet werden, sondern auch mit einem Breakout Kabel vier weitere Festplatten anbinden - also 28 Platten an einer Backplane. Vorderansicht: Rückansicht (ich habe es nicht so mit Kabeln): Das innenleben eines der beiden JBOD/DAS. Links kommen die beiden Kabel vom zuständigen HBA, in der Mitte das Powerboard: Edited November 21, 2023 by hawihoney 8 Quote Link to comment
mgutt Posted December 23, 2021 Share Posted December 23, 2021 On 11/23/2021 at 8:28 PM, hawihoney said: Supermicro X12SCA-F Mainboard Falls das jemanden interessiert. Ich hatte das Board mal mit einem W-1290P gemessen. Bei Volllast 180W und im Leerlauf 12W (gemessen mit Ubuntu 20). Dafür, dass das Board IPMI hat, fand ich den Wert schon sehr gut für einen 10 Kerner: 1 Quote Link to comment
hawihoney Posted December 23, 2021 Author Share Posted December 23, 2021 (edited) 1 hour ago, mgutt said: Dafür, dass das Board IPMI hat, fand ich den Wert schon sehr gut für einen 10 Kerner: Die Kombo ist etwas über ein halbes Jahr im Einsatz und hat alle Erwartungen erfüllt - wenn nicht mehr. Drei durchgehend laufende Unraid Server dümpeln im Leerlauf bei insgesamt 1% der CPU. 4K Transcodes? Kein Thema. Derzeit läuft durchgängig ein Plex Deep Analyze Skript, da Plex das nicht für älteren Content ab Aktivierung nachpflegt. Das erzeugt eine hohe Lese- und CPU-Last. Kein Thema für den 1290P. Nur die PGS Subtitle können bei 4K Content mit hoher Bitrate zwicken - solche Mechanismen sind leider immer noch single-threaded. Edited December 23, 2021 by hawihoney Quote Link to comment
mgutt Posted December 23, 2021 Share Posted December 23, 2021 57 minutes ago, hawihoney said: Nur die PGS Subtitle können bei 4K Content mit hoher Bitrate zwicken Und was wäre, wenn du die alle exportierst und wenn das durch ist 1x von Hand den Batch Mode von Subtitle Edit anwirfst? Ist nur die Frage wie fehlerfrei die dann sind. Ich nutze das nur für erzwungene Untertitel. Da ist die Fehlerquote vielleicht 1%. Quote Link to comment
hawihoney Posted December 23, 2021 Author Share Posted December 23, 2021 1 hour ago, mgutt said: Und was wäre, wenn du die alle exportierst und wenn das durch ist 1x von Hand den Batch Mode von Subtitle Edit anwirfst? Ich muss ja immer alles automatisieren Im Moment und für ein paar Wochen läuft noch das Plex Deep Analyze. In der Zwischenzeit werde ich mir mal darüber Gedanken machen. Habe auch schon ein paar Links gesammelt. Manuelles Handling ist keine Option ... Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.