November 14, 20232 yr Seit in den "Gerüchten" die Möglichkeit mehrfacher Unraid Pools erwähnt wurde, treibt mich die im Header genannte Frage um. Zunächst zu meinem System. Es besteht aus drei Server-Gehäusen (Supermicro SC846) wobei zwei dieser Gehäuse als Storages (ohne Motherboard, etc) fungieren. Es handelt sich also strenggenommen um nur einen Server. Bisher gibt es für jede Backplane einen eigenen HBA die mit jeweils zwei Kabel verknüpft sind (SFF-8644/SFF-8088). In Unraid gibt es für jede Storage eine eigene Unraid VM. Der Zugriff über die Gehäuse hinweg läuft leider über SMB da die HBAs an die Storages durchgereicht sind. 1.) Hier der aktuelle Zustand (jede Backplane ein HBA): 3x HBAs im Host. Zwei Kabel zur internen Backplane. Je zwei Kabel zu den beiden externen Storages. +-------------+ +--------------+ ! Host HBA -+-------+ Host intern ! ! LSI 9300-8i-+-------+ Backplane ! ! ! ! BPN-SAS2-EL1 ! +-------------+ +--------------+ +-------------+ +--------------+ ! Host HBA +-------+ Storage 1 ! ! LSI 9300-8e +-------+ Backplane ! ! ! ! BPN-SAS2-EL1 ! +-------------+ +--------------+ +-------------+ +--------------+ ! Host HBA +-------+ Storage 2 ! ! LSI 9300-8e +-------+ Backplane ! ! ! ! BPN-SAS2-EL1 ! +-------------+ +--------------+ 2.) Alternative 1 (ein HBA, Nutzung der Expander auf den Backplanes der externen Storages): Ein HBA geht mit zwei Kabeln an die interne Backplane. Von dort geht ein Kabel zum ersten Storage und von dort ein Kabel an das zweite Storage: +-------------+ +--------------+ ! Host HBA -+-------+ Host intern ! ! LSI 9300-8i-+-------+ Backplane ! ! ! ! BPN-SAS2-EL1 +--+ +-------------+ +--------------+ ! ! +--------------------+ ! ! +--------------+ +--+ Storage 1 ! ! Backplane ! ! BPN-SAS2-EL1 +--+ +--------------+ ! ! +--------------------+ ! ! +--------------+ +--+ Storage 2 ! ! Backplane ! ! BPN-SAS2-EL1 ! +--------------+ 3.) Alternative 2 (ein HBA mit internen sowie externen Ports für alle Backplanes): +---------------+ +--------------+ ! Host HBA -+-------+ Host intern ! ! LSI 9400-8i8e-+-------+ Backplane ! ! +----+ ! BPN-SAS2-EL1 ! ! +--+ ! ! ! +---------------+ ! ! +--------------+ ! ! ! ! +--------------+ ! +--+ Storage 1 ! ! ! Backplane ! ! ! BPN-SAS2-EL1 ! ! +--------------+ ! ! +--------------+ +----+ Storage 2 ! ! Backplane ! ! BPN-SAS2-EL1 ! +--------------+ Zu beachten wäre, dass in den beiden Alternativen immer nur ein Kabel (4 Verbindungen) zu den Storages geführt wird, während derzeit jede Backplane in den Genuss von zwei Kabeln (8 Verbindungen) kommt. Ich halte den Performance-Verlust für nicht so tragisch da nur bei Parity Checks oder Disk-Rebuilds alle Platten angesprochen werden. Auf der anderen Seite spart man Strom für zwei HBAs. Ich bin eher der Software-Typ, Hardware kann ich Einiges aber nicht in den Randbereichen. Was würdet Ihr empfehlen? https://forums.unraid.net/topic/116379-vorstellung-die-cloud-der-großfamilie/ Edited November 15, 20232 yr by hawihoney
November 14, 20232 yr 1 hour ago, hawihoney said: Alternative 1 (ein HBA, Nutzung der Expander auf den Backplanes der externen Storages): Ein HBA geht mit zwei Kabeln an die interne Backplane. Von dort geht ein Kabel zum ersten Storage und von dort ein Kabel an das zweite Storage: Ich würde das mal Daisychain nennen. Du deutest folgende Komponenten an: Broadcom SAS 9300-8i, PCIe 3.0 x8; mit 8 SAS 12GBit/s Lines = Summe 96GBit/s Broadcom HBA 9400-8i8e, PCIe 3.1 x8; mit 16 SAS 12GBit/s Lines = Summe 192GBit/s Supermicro SAS/SATA Backplane/Expaner BPN-SAS2-846EL1 mit 6GBit/s Ports. Dieser Expander ist für 24 Festplatten vorgesehen (leider konnte ich nicht auz die Schnelle herausfinden ob der verbaute Expander auch zum Kontrller nur 6GBit/s spricht oder zum Kontroller wenigstens 12GBit/s kann. Ich gehe mal hoffnungsvoll von 12GBit/s zum Kontroller und nur 6GBit/s zu den SAS/SATA Ports der Festplatten aus. Ansonsten mueste man die Zahl der unten berechneten Festplatten ggf. halbieren. Beide von Dir genannte Kontroller beherrschen 12GBit/s pro SAS Anschluß/Line (und quetschen das durch den PCIe 3.x x8 Slot mit maximal 64GBit/s). Du hast also bei nur 4 SAS Anschlüssen in einem SFF Kabel 12GBit/s x4 = 48GBit/s Eingang in den SAS-Expander (hoffentlich eben auch SAS 12Gb ?). Eine Festplatte mit (heute nicht erreichbaren) 300MByte/s belegt rund 3GBit/s. Du kannst also mit einem SAS 12Gb SFF Kabel mehr als heutige 16 hochperformanter Consumerfestplatten gleichzeit ansprechen (Berechnung 48Gb :3Gb = 16). Die beiden unteren Gehäuse hängen hintereinander an einer SAS 4x Lines Verbindung zum Kontroller, die durchgereicht wird. Leider hast Du nicht geschrieben, wieviele der Festplatten Du pro Gehäuse in einem Array unterbringen willst. Wenn Du die Gehäuse mit 24 Festplatten bestückst und ein Array in einem Gehäuse haben willst, kann man erkennen, daß 24 Festplatten zu je (heute maximal 280MByte/s minimal ausgebremst werden. (Ich lasse mal außen vor, daß bei unraid ein array immer nur max. 30 Festplatten haben kann.) Wenn Du aber ein Array Gehäuseübergreifend machst, kann ein Array mit bis zu 28D+2P Festplatten problemlos bedient werden. Du mußt die Festplatten nur so verteilen, daß in den unteren Gehäusen maximal rund 16-18 Festplatten aus einem Array stecken (weil sich die Daten ja bei Daisychain alle durch die 4 SAS Lines quetschen müssen) und die restlichen Festplatten im oberen Gehäuse (mit den 2 SAS 4Port Lines) stecken. Da Festplatten nur im Peak (Außenberech) so flott sind, ist bei den eher anzunehmen 250MByte/s oder gar weniger (bei kleineren/älteren Festplatten) in den unteren Gehäusen sogar etwas mehr Festplatten real akzeptabel ansprechbar. Dazu kommt, daß die SAS Kommunikation auch in den Pausen, in denen die Festplatten mit dem Lese/Schreibkopf 'seeken' sich mt den anderen Festplatten beschäftigen. Auch haben einige Expander einen kleinen Zwischenpuffer zum ausgleichen. Zusammen können es dadurch auch noch ein paar Festplatten mehr im unteren Bereich sein ohne daß man real da wirklich etwas von merkt. Eine gravierende Einschränkung ist zu beachten: Ich schrieb ja gerade von einem Array. Da Du ja auf Multiarray abzielst besteht auch die Gefahr, daß gleichzeitig mehrere Arrays bedient werden wollen (wenn die gleichzeitig Parity aufbauen, checken oder Rebuild). Dann streiten die sich natürlich um die SAS Bandbreite und bremsen sich bei gleichzeitigen Zugriffen auf die unteren Gehäuse etwas aus. Aber das kann man mit dem Scheduler ja vielleicht etwas lindern (sofern Lime in unraid die Verwaltung bei MultiArray getrennt pro Array steuern läßt). Wie weit die mehreren Arrays sich dann wirklich gegenseitig auf den SAS Lines bremsen häng von den verwendeten Festplatten, dem Pufferspeicher der Expander und eben der Menge + Verteilung der Festplatten in den jeweilgen Arrays & Gehäusen ab. 1 hour ago, hawihoney said: Alternative 2 (ein HBA mit internen sowie externen Ports für alle Backplanes): Bildliche Darstellung von: 2 SAS (x4) Anbindungen zur ersten Backplane mit 24 Festplatten. und je 1 SAS (x4) Anbindung zur zweiten und dritten Backplane mit je 24 Festplatten. Hier hast Du den Vorteil, daß die unteren beiden Gehäuse gleichzeitig mit je 48GBit/s beschickt werden und somit beide gleichzeitig die oben genannte Menge an Festplatten nutzen können ohne sich wirklich gegenseitig zu beeinflussen. Nachteil: der Kontroller ist recht teuer. Dafür hast Du mehr Chancen die Zugriffe auf die unteren Gehäuse mit doppelt so viel Bandbreite wie beim Daisychain zu bedienen. 1 hour ago, hawihoney said: Ich halte den Performance-Verlust für nicht so tragisch da nur bei Parity Checks oder Disk-Rebuilds alle Platten angesprochen werden. Hier stimme ich zu. Und wenn man (wie oben angedeutet) bei Line ausreichend nachdenkt und entsprechende Vorgänge (Paritycheck pro Array) unterschiedlich timen kann, kommt sich alles noch weniger in die Quere. Ausnahme: wenn der Server abgestürzt oder und somit unsauber heruntergefahren/Resettet oder so wurde, wird er beim nächsten Start ja sopfort Paritycheck auslösen. Wenn er das zwangsweise bei allen Array gleichzeitig machen will wird es sehr eng auf der SAS Verbindung und der PCIe Anbindung. Da müßte man dann doch manuell eingreifen und den Paritycheck aller, bis auf eines Arrays pausieren. 1 hour ago, hawihoney said: Auf der anderen Seite spart man Strom für zwei HBAs. Da Du die Expander sowieso schon hast: ja. Ich schätze, Du sparst 20W Leistung, aber dadurch, daß Dudie Operationen der Arrays ggf. verteilen muß, wirst Du mehr Zeit aufwänden. Broadcom HBA 9400-8i8e, PCIe 3.1 x8 wird mit 12,39W TDP angegeben Zum 9300-8i müßte ich erst suchen, aber der wird wohl auch so um die 10W liegen. Nebenbei: Ich steuere (unter Windows) mit einem Megaraid 9361-16i pro 4fast SAS Line je einen Expander an. Je nachdem um welches meiner Systeme/Teilgehäuse es geht sind das INTEL Expander 6Gb SAS RES2CV360 mit SFF-8087 oder INTEL Expander 12Gb SAS RES3TV360 mit SFF-8643 (aka. RES3CV360 aka RES3TV360) oder INTEL Expander 12Gb SAS RES3FV288 mit SFF-8643 (aka Adaptec_82885T) Jeder der Expander kann dadurch bis zu 32 Festplatten ansteuern. Ich nutze sie aber je nach Gehäuseteil für 24 bis zu 29 Festplatten/SSDs Das fluppt ganz gut. Ich habe Lese und Schreibraten von anfangs >1GByte/s die erst nach langem herumschreiben oder vielen defragmentierten Zugriffen absinken. Aber ich habe den Vorteil daß die Festplatten Raid machen und sich hier nicht die jeweilige Geschwindigkeit der Festplatte auch durch den PCIe Bus zur CPU quälen muß. Beachte, daß Dein Kontroller dann nur von PCIe 3.x x8 = 64GBit/s gleichzeit kann. 1 hour ago, hawihoney said: Was würdet Ihr empfehlen? https://forums.unraid.net/topic/116379-vorstellung-die-cloud-der-großfamilie/ Wenn überhaupt: Variante 2, da die unteren Gehäuse direkt angebunden werden und sich nicht ALLE Daten der unteren Gehäuse durch nur 4 SAS Lines quetschen müssen. Ich sehe bei Multiarray in der Form aber den einzigen PCIe Slot für sooo viele Festplatten gleichzeitig (siehe Paritycheck nach forciertem Systemneustart) als Problem an. Vielleicht behältst Du die 3 Kontroller und die Anbindungen und sortierst die Platten der Arrays nur um? Du sparst zwar keinen Strom, hast aber nicht jnraid als VM in unraid verschaltelt (so hattest Du das doch gemacht ... oder erinnere ich mich falsch?).
November 15, 20232 yr Author On 11/14/2023 at 6:39 PM, DataCollector said: Wenn überhaupt: Variante 2 Vielen Dank für Deine Ausführungen. Du hast Recht. Das System existiert in dieser Form seit 2019 und besteht aus 1x Unraid Host, 2x Unraid VM, 72x Festplatten zzgl. 2x NVMe Cache. Da ausschließlich Unraid-Pools (AKA Unraid-Arrays) zum Einsatz kommen, hält sich der Strom in Grenzen da wirklich immer nur die benutzte Platte hochfährt. Daher rührt auch meine Abneigung gegen User-Shares. Die haben in dieser Dimension nicht wirklich sinnvoll geklappt. Ich habe die ausschließliche Kontrolle über das System und ich biete das in der Familie an. Was Parity-Checks oder Rebuilds angeht, da bin ich wirklich entspannt. Ich schreibe in die WhatsApp Gruppe "Maintenance" und die halten die Füße still. Ansonsten wären deren Trillionen Poser Fotos mal weg Mir ist eben im Restaurant aber noch eine vierte Alternative eingefallen, Dabei gehen zwei Kabel an den ersten Storage und nur von diesem via Expander 1 Kabel an das zweite Storage. Ich müsste dann zum neuen HBA nur noch ein zusätzliches Slotblech kaufen, da dann drei Buchsen benötigt werden. Die Backplanes von Supermicro sind wirklich genial. Meine billige EL1 Variante hat kein Ausfall-Feature. Das brauche ich auch nicht. Die drei Anschlüsse können aber wahlfrei als Eingang oder Ausgang belegt werden. Das regeln HBA und Backplanes intelligent aus. Ich bin mal gespannt in welcher Form multiple Unraid-Pools implementiert werden. Im optimalen Fall hätte ich dann 3x voll bestückte Unraid-Pools im Host und könnte die VMs und die SMB Connections eliminieren. Die VMs fressen ja auch noch ein wenig Strom - obwohl es auf den Strom bei uns wirklich nicht ankommt. +---------------+ +--------------+ ! Host HBA -+-------+ Host intern ! ! LSI 9400-8i8e-+-------+ Backplane ! ! +----+ ! BPN-SAS2-EL1 ! ! +--+ ! ! ! +---------------+ ! ! +--------------+ ! ! ! ! +--------------+ ! +--+ Storage 1 ! +----+ Backplane ! ! BPN-SAS2-EL1 +--+ +--------------+ ! ! +--------------------+ ! ! +--------------+ +--+ Storage 2 ! ! Backplane ! ! BPN-SAS2-EL1 ! +--------------+ Hier ein Bild der Backplane. Die drei Anschlüsse habe ich in rot, den Single Expander (EL1) in blau markiert. Backplanes mit Ausfall-Sicherheit besitzen auf der linken Seite drei weitere Anschlüsse für einen weiteren HBA, eine zweite Verbindung zu den weiteren Storages sowie einen zweiten Expander. Dann kann auch mal ein HBA ausfallen ohne das man es merkt. Edited November 15, 20232 yr by hawihoney
December 11, 2025Dec 11 Ich würde im Server-(Haupt-)Gehäuse die interne backplane über einen LSI 9305-16i anschliessen (über drei SFF-8643 zu SFF-8087 Kabel), die anderen zwei externen JBOD Gehäusen über eine LSI 9305-16e anschliessen (jeweils dual link über zwei SFF-8644 auf SFF-8087 Kabel je Expansion JBOD Gehäuse). Beide Karten sind PCI v3 8x und hätten genug power. Nimm PCIe v3 und SAS-3 Controller damit du intern und extern mehr speed und Bandbreite hast. In den JBOD-Gehäusen könntest du jeweils einen slot blech Adapter verbauten (extern SFF-8644 auf SFF-8643) und dann intern wieder SFF-8643 auf SFF-8087 zum backplane gehen (dual link). Von Supermicro gibt es dafür direkt ein slotblech Adapter von SFF-8644 (extern) auf zwei SFF-8087 Kabel, die dann direkt auf die backplane gehen. Dann nimmst du insgesamt 4 SFF-8644 auf SFF-8644 Kabel, 0.5m lang.Wäre die sauberste und professionellste Lösung.
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.