Hardwarevorschläge für mäßig leistungsfähige Plattenstapel mit flotter Anbindung gesucht

DataCollector · June 8, 2021

Hallo Allerseits.

Da ich mit dem Ansatz
"sehr viel Speicherplatz in einem unraid zu vereinen"
aufgrund aktueller Preisexplosionen bei Festplatten & Multiportkontrollern (24i oder so) und auch der Mengengrenze der HDDs in einem unraid Array (30 sichtbare Festplatten/SSD) nicht weiter komme, will ich mal eine früher erwähnet Idee vertiefen:
"die Kapazität mehrerer unraid nutzen".

(Ich hatte auch schon überlegt & experimentiert einem Unraid einfach jeweils 2 Festplatten als echtes Hardwareraid zusammengeschaltet zu einer großen Festplatte anzubieten und das ganze dutzendfach.

(siehe STARTECH.COM S322SAT3R Platine) aber Tests mit so einem Platinchen waren leider ernüchternd:
- schwer zu beschaffen (sowas wird wohl nicht mehr als SATA produziert/entwickelt. Als USB ist es zu bekommen, aber dutzende USB HDD (beispielsweise ICYBOX IB-RD3621U3) als Array zusammen zu schalten ist vieleicht nicht die stabilste und stromsparenste Idee.)
- läuft bei meinen Tests nicht stabil
- erhöht die chaotische Verklabelung
- beraubt mich einer sinnvollen SMART Nutzung
und so weiter.

Da mein Ziel die Stromersparnis im Idle gegenüber aktueller Hardwareraidlösungen mit dauerlaufenden HDDs ist, suche ich nun Mainboardvorschläge, die ich dann später vielleicht nutzen kann.

Eine früher hier im deutschsprachigen Formumsteil genannte Idee basiert darauf mehrere Racks über SAS zu konnektieren und auf einem PC mit unraid 2 virtuelle unraid zu betreiben, die dann jeweils einen Teil der Festplatten verwalten.
Sehr interessant, aber ich stehe der Idee die Festplatten aufzuteilen noch skeptisch gegenüber, weil ich die Sache mit dem zuweisen der Komponenten irgendwie noch nicht verstehe. Gleiches gilt dafür in einem PC merere Kontroller einzusetzen und diese zu verteilen.
Das verschiebe ich mal vielleicht auf später.

Ich überlege nun die Sache etwas als Hardware zu realisieren, weil ich das eher verstehe.
Zwei getrennte leistungsschwache Systeme mit jeweils vielen Festplatten und RAM+SSD Cache, die dann über ihre Shares ihre Kapazität einem leistungsfähigeren dritten System anbieten und dieses über Netshare zusammenfasst und den Clients im Netz anbietet.

Ja, ich weiß um die Möglichkeiten gebrauchter SAS JBOD 19Zoll Racks, doch bieten die preisgünstigen/gebrauchten JBOD die Platten wieder einzeln an, wodurch ich wieder an die Grenze der 30 unraid Festplatten/SSD stoße.

Also suche ich nun Ideen für wenig stromverschwenderische PC Mainboards, die aber mindestens
- 1 PCIe 3.0 x8 Slot für einen SAS/SATA Kontroller haben und
- 1 PCIe 3.0 x4 Slot für 5 - 10GB LAN (oder 5 oder 10GBLan onBoard) haben.
Nettes Features wäre
- eingebaute Grafikfunktionalität, da ich für Installation, Debugging und evtl. spätere Weiterverwendung nicht ganz Headles unterwegs sein möchte
- entweder ein paar freie SATA Ports f+r Cache SSD oder M.2 Slots für SSDs oder so.
- weitere Ideen?

Was ich bisher fand hatte meist irgendeinen Pferdefuß (spezielle Anschlußstecker oder -psitionen bei Industriemainboards, nicht ausreichende PCIe Slots, ungewöhnliche Bauformen, zwingend extrem teure Prozessoren, sehr teure Boards und so weiter...

Da bei vielen hier ja der Einsatz stromsparender kleiner Komponenten in einem NAS im Vordergrund steht, dachte ich mir, daß ich nun nach tagelangem Suchen und lesen von Mainboardbeschreibungen hier Vorschläge bekommen könnte, da ich bestimmt so einiges noch nicht gefunden oder übersehen habe.

Ich bedanke mich für die Zeit.

Edited June 8, 2021 by DataCollector
Topic angepaßt

Ford Prefect · June 8, 2021

3 hours ago, DataCollector said:

Da mein Ziel die Stromersparnis im Idle gegenüber aktueller Hardwareraidlösungen mit dauerlaufenden HDDs ist, suche ich nun Mainboardvorschläge, die ich dann später vielleicht nutzen kann.

Eine früher hier im deutschsprachigen Formumsteil genannte Idee basiert darauf mehrere Racks über SAS zu konnektieren und auf einem PC mit unraid 2 virtuelle unraid zu betreiben, die dann jeweils einen Teil der Festplatten verwalten.
Sehr interessant, aber ich stehe der Idee die Festplatten aufzuteilen noch skeptisch gegenüber, weil ich die Sache mit dem zuweisen der Komponenten irgendwie noch nicht verstehe. Gleiches gilt dafür in einem PC merere Kontroller einzusetzen und diese zu verteilen.
Das verschiebe ich mal vielleicht auf später.

Ich überlege nun die Sache etwas als Hardware zu realisieren, weil ich das eher verstehe.
Zwei getrennte leistungsschwache Systeme mit jeweils vielen Festplatten und RAM+SSD Cache, die dann über ihre Shares ihre Kapazität einem leistungsfähigeren dritten System anbieten und dieses über Netshare zusammenfasst und den Clients im Netz anbietet.

...also das ist aber doch das Gleiche.

Auf welchen System willst Du den die Shares der beiden anderen zusammenfassen?

Unabhängig davon, wie die Platten angebunden sind....

3 hours ago, DataCollector said:

Ja, ich weiß um die Möglichkeiten gebrauchter SAS JBOD 19Zoll Racks, doch bieten die preisgünstigen/gebrauchten JBOD die Platten wieder einzeln an, wodurch ich wieder an die Grenze der 30 unraid Festplatten/SSD stoße.

Wie gesagt, es gibt gebrauchte Server Racks in die 50+ HDDs passen.

Sind halt laut wie eine Boing 747.

3 hours ago, DataCollector said:

Also suche ich nun Ideen für wenig stromverschwenderische PC Mainboards, die aber mindestens
- 1 PCIe 3.0 x8 Slot für einen SAS/SATA Kontroller haben und
- 1 PCIe 3.0 x4 Slot für 5 - 10GB LAN (oder 5 oder 10GBLan onBoard) haben.
Nettes Features wäre
- eingebaute Grafikfunktionalität, da ich für Installation, Debugging und evtl. spätere Weiterverwendung nicht ganz Headles unterwegs sein möchte
- entweder ein paar freie SATA Ports f+r Cache SSD oder M.2 Slots für SSDs oder so.
- weitere Ideen?

...die Kernfrage wäre ja, ob Du diese "Plattenstapel", verteilt auf mehrere Systeme im Anlassfall alle gleichzeitig verwenden willst/musst.

Ein SAS Controller allein schluckt soviel Strom wie ein modernes MB mit CPU im idle.

3 hours ago, DataCollector said:

Was ich bisher fand hatte meist irgendeinen Pferdefuß (spezielle Anschlußstecker oder -psitionen bei Industriemainboards, nicht ausreichende PCIe Slots, ungewöhnliche Bauformen, zwingend extrem teure Prozessoren, sehr teure Boards und so weiter...

...im Moment ist alles teuer.

Wenn Du über die Anzahl von 30 HDDs in unraid hinweg willst und dann alle Disks in einem System verwalten könntest, wäre das in Deinem speziellen Fall wohl die beste Lösung in Bezug auf Stromsparen.

Ganz ehrlich würde ich Dir da eher ein Windows empfehlen. Mein Verständnis ist, das Win auch die HDDs schlafen legen kann.

Bitte schau Dir mal Stablebit Drivepool an.

Da kannst Du Disks in beliebiger Mischung auch zu einem Pool zusammenfassen; jede HDD ist einzeln formatiert und eine Datei bleibt immer auf einer Disks.

Was das nicht hat ist Parity. Allerdings kannst Du jeden Ordner beliebig duplizieren (sozusagen mini-Raid1 Ordner-Kopien bauen, für die Dinge wo Du Redundanz brauchst).

Entweder dann alles mit einem MB, 1x 10G Anindung, HBA SAS Controller in 1-n Gehäusen.

Ein "stinknormales" mATX oder ATX MB mit 2x PCIe x8 reicht aus.

mgutt · June 8, 2021

Am sparsamsten wären mehrere Server, die man nur bei Bedarf aus dem Standby holt. Wäre das für dich in Ordnung @DataCollector oder müssen die Platten immer alle durchgehend erreichbar sein?

Die Frage ist auch ob mehrere SATA Karten eine SAS Karte schlagen. Kann ich nachher mal messen. Ich habe 3 Karten da. Die Idee wäre dann:

3x 6-fach SATA + 8x Onboard = 26 Buchsen

Damit könnte man ein 24er Storage Case bedienen und hätte noch 2x für einen SATA SSD Cache.

Auf die schnelle habe ich nur dieses ältere Board gefunden, dass 4x x4 erlaubt:

https://www.supermicro.com/en/products/motherboard/X11SSM-F

Sonst wären die SATA Karten bei x1 nämlich ein allgemeiner Array Flaschenhals mit 150 MB/s.

Damit fällt dann auch die ganze aufwendige Backplane Elektronik eines professionellen Storage Servers weg, braucht dann aber auch ein großes Netzteil für den Spinup.

Ford Prefect · June 8, 2021

37 minutes ago, mgutt said:

Die Frage ist auch ob mehrere SATA Karten eine SAS Karte schlagen. Kann ich nachher mal messen. Ich habe 3 Karten da. Die Idee wäre dann:

3x 6-fach SATA + 8x Onboard = 26 Buchsen

Das wäre mal interessant.

Allerdings vermute ich, das PCIe-2 vs PCIe3 auch bei SAS einen Unterschied macht.

Ein "klassischer" PCIe 2.0 HBA 9211-8i zieht etwa 15-17W....eine moderne 9300er Broadcom ist auch nur mit 8W angegeben, meine ich...gemessen habe ich die aber nicht.

Edit: nope, der 24i zieht auch 16,2W...ist aber deutlich besser, als ein alter 8i....pro 8i also nur noch 1/3 des Energiebedarfs.

Siehe: https://docs.broadcom.com/doc/pub-005246

Die wird aber teurer sein...gibt es aber bis 24i....damit wären locker 30 Disks 1:1 in einem System drin.

Edited June 8, 2021 by Ford Prefect

hawihoney · June 8, 2021

43 minutes ago, Ford Prefect said:

eine moderne 9300er Broadcom ist auch nur mit 8W angegeben, meine ich

Ich habe 1x 9300-8i und 2x 9300-8e verbaut. Die haben 13W laut Doku. Beim Messen kam ich auf jeden Fall auf über 10W pro Karte.

mgutt · June 8, 2021

1 hour ago, Ford Prefect said:

Das wäre mal interessant.

Ich würde sagen 3x SATA Karte (2x 6-Port ASM1166 und 1x 5-Port JMB585) schlägt alte SAS HBA Karten (in den 15,16W sind 0,07W pro SSD enthalten):

Ohne Karten:

Bei meiner Messung habe ich herausgefunden, dass pro Karte ~2W verbraucht werden und der Overhead durch Wegfall des C8 C-States ebenfalls ~2W ausmacht. Dieser Overhead gilt natürlich auch, wenn man eine SAS Karte installiert, die dann ja ebenfalls C8 verhindert.

Das einzige was wir jetzt noch nicht wissen ist, wie stark der Verbrauch der neuesten Broadcom im Leerlauf fällt.

Anmerkung: Das ist eines der sparsamsten Boards, die der Markt zu bieten hat. Das Supermicro wird deutlich darüber liegen. Alleine schon wegen IPMI.

DataCollector · June 8, 2021

Hallo @Ford Prefect

2 hours ago, Ford Prefect said:

...also das ist aber doch das Gleiche.

Wie angedeutet erscheint für mich die Sache mit der Zusammenfassung der Hardware in einem System nicht das Selbe, wie die softwaremässige Aufteilung (die ich noch nicht ganz verstehe).
So kann ich die Systeme später auch wieder splitten und Standalone benutzen oder verkaufen.

2 hours ago, Ford Prefect said:

Auf welchen System willst Du den die Shares der beiden anderen zusammenfassen?

Unabhängig davon, wie die Platten angebunden sind....

Das könnte sogar ein NUC oder so sein. Aber ich schätze, daß ich da dann eben ein eher leistungsfähigeres System wähle um dann auch per VM zu arbeiten.
Es sind aber alles bisher nur Gedankenspiele um einen Weg zu finden eine sehr grosse Kapazität an Speicherplatz im Netz zur Verfügung zu stellen.

2 hours ago, Ford Prefect said:

Wie gesagt, es gibt gebrauchte Server Racks in die 50+ HDDs passen.

Sind halt laut wie eine Boing 747.

Mein Problem ist nicht, ein Rack mit vielen Festplatten zu nehmen. Eines meiner Systeme hat HotSwap für 75 LFF und 8 SFF Datenträger. Dazu noch M.2 Nvme einbau.
Nur ist es eben ein Problem das mit unraid sinnvoll zu verwenden. Deshalb ja auch meine gescheiterten Versuche per Hardwareraid0 mehrere kleiner (beispielsweise 8TB) Festplatten als eine Große (16TB) unter zu schieben.
Die Teilung der zusammen verbauten Hardware per Software und Virtualisierung durchblicke ich eben noch nicht und wenn ich es richtig gelesen und gesehen habe hängt es auch stark von der verwendeten Hardware ab, ob und wie man überhaupt teilen kann.

2 hours ago, Ford Prefect said:

...die Kernfrage wäre ja, ob Du diese "Plattenstapel", verteilt auf mehrere Systeme im Anlassfall alle gleichzeitig verwenden willst/musst.

Da ich die vorhandenen Daten anlassbezogen alle im binaeren Vergleich mit anderen Daten im Zugriff brauche (Windows: Clonesy) ist es erforderlich gelegentlich alles automatisiert in einem Rutsch erreichen und auslesen zu können.

2 hours ago, Ford Prefect said:

Ein SAS Controller allein schluckt soviel Strom wie ein modernes MB mit CPU im idle.

Ein LSI 930x liegt irgendwo bei 10-25Watt. Das ist mir bekannt. Da aber aktuell LSI 9361 mit SAS-Expandern in jedem meiner bisherigen Filesysteme verbaut sind und das Hardwareraid der 9361 die Platten nie schlafen legen kann, ist jedes System aktuell mit idle (manchmal in Summe ca. 20h pro Tag) rund 300w 24/7 und Volllast bis ca. 500W doch schon eher unökologisch.
Wenn ich es mit unraid mache, legen sich die Festplatten idle schlafen. Selbst wenn jedes System dann idle bei 100W liegt, ist es weitaus weniger Stromverschwnedung als bisher.
Dann nehme ich auch den Kompromiß im Kauf, daß ich Geschwindigkeit verliere.

2 hours ago, Ford Prefect said:

...im Moment ist alles teuer.

Auch deswegen erst einmal die Gedankenspiele und Ideen.
Ich suche eben eine später umzusetzende Lösung für aktuell 3xx+ TB pro System.

2 hours ago, Ford Prefect said:

Ganz ehrlich würde ich Dir da eher ein Windows empfehlen. Mein Verständnis ist, das Win auch die HDDs schlafen legen kann.

Aktuell nutze ich Windows 8von früher 7 bis nun 10), da aber die Storagespaces sich als unstabil erwiesen haben und es ansonsten mit Bordmitteln in Windows10 so nicht möglich ist, soviele Datentraeger als ein (zumindest paritätsgesichertes) Laufwerk sinnvoll zusammen zu fassen musste ich eine Lösung finden, die in Hardwareraidkiontrollern besteht. Diese Loesung ist bisher sehr stabil und problemarm. Aber die haben eben den Nachteil daß die Festplatten permanent durch laufen.

2 hours ago, Ford Prefect said:

Bitte schau Dir mal Stablebit Drivepool an.

Das habe ich schon getan (Du hattest es in einem Beitrag an mich schon einmal erwähnt). ich kannte es vorher nicht, habe aber die spärlichen Informationen der Webseite intensiv studiert.

Ich sehe zwar, daß Stablebit die Daten duplizieren kann, was damit sogar doppelt soviel Speicherplatz erfordert, aber Parität oder gar raid6ähnliche Redundanz vermisse ich dort.

Wenn ich damit richtig liege würde Stablebit pro System/PC somit die doppelte Speicherkapazitaet erfordern um eben immer einen oder zwei sofortige Festplattenausfälle abzufangen.

Und um einen Systemausfall abzusichern müßte ein Backupsystem dann ebenfalls doppelt soviel Kapazität haben.

in dem Fall sind die aktuellen Stromkosten weitaus eher zu verschmerzen.

2 hours ago, Ford Prefect said:

Was das nicht hat ist Parity. Allerdings kannst Du jeden Ordner beliebig duplizieren (sozusagen mini-Raid1 Ordner-Kopien bauen, für die Dinge wo Du Redundanz brauchst).

Die Sicherheit von Redundanz/Parität will ich fuer alle Nutzdaten. Deshalb haben meine jetzigen Systeme mehrere Raid6 Arrays. Pro ca. 100TB Kaoazität sind 2 weitere Festplatten nur für Parität vorgesehen.

Ford Prefect · June 8, 2021

12 minutes ago, DataCollector said:

Wie angedeutet erscheint für mich die Sache mit der Zusammenfassung der Hardware in einem System nicht das Selbe, wie die softwaremässige Aufteilung (die ich noch nicht ganz verstehe).
So kann ich die Systeme später auch wieder splitten und Standalone benutzen oder verkaufen.

Ja, was ich meinte ist es ja egal, ob Du n+1 unRaid Systeme nimmst oder was Anderes.

Du könntest - und dafür wäre dann eben der 10Gbps Link gut - auch den Unterbau aus n Systemen (unraid) via iSCSI in das Hauptsystem zusammenführen.

@ich77 baut Dir sicher einen Kernel mit iSCSI-Provider

12 minutes ago, DataCollector said:

Die Sicherheit von Redundanz/Parität will ich fuer alle Nutzdaten. Deshalb haben meine jetzigen Systeme mehrere Raid6 Arrays. Pro ca. 100TB Kaoazität sind 2 weitere Festplatten nur für Parität vorgesehen.

dann bleibt Dir in der Kombination mit spin-down nur unraid....n+1 Systeme.

Welche MB hast Du Dir denn schon angeschaut? Finde es erstaunlich, dass da nix zu finden ist...evtl. liegt es auch einfach an der Verfügbarkeit im Markt, aktuell.

hawihoney · June 8, 2021

7 hours ago, DataCollector said:

Sehr interessant, aber ich stehe der Idee die Festplatten aufzuteilen noch skeptisch gegenüber, weil ich die Sache mit dem zuweisen der Komponenten irgendwie noch nicht verstehe. Gleiches gilt dafür in einem PC merere Kontroller einzusetzen und diese zu verteilen.

Ich kann Dir aus Erfahrung sagen, dass das wirklich kein Problem ist. Eher sind es Geld und Lärm

Zum von Dir angesprochenen Stromverbrauch:

Ein Unraid Server (zzgl. 2x Unraid VMs) bestehend aus 3x 4HE SC846 chassis mit 72 Platten und 2x M.2 NVMe zieht aktuell im Ruhezustand der Platten unter 300W. Und das bei W1290P, X12SCA-F mit IPMI, 3x 9300-8 HBAs, 11x Gehäuselüftern, 1x CPU Kühlkörper, 2x Powerboards für den Strom in den Direct Attached Storages. Sind alle Platten aktiv geht es ab bis auf 700W. Und genau das ist der Charme dieser Unraid Lösung. Bei dieser Größenordnung kommt kein anderes RAID System im Stromverbrauch auch nur ansatzweise in diese niedrigen Regionen.

Kommen wir zum Handling:

Da ich ausschließlich ohne User Shares arbeite (ausschließlich Disk Shares) bin ich nicht unbedingt eine gute Quelle - aber: Mit Hilfe von Unassigned Devices kannst Du über alle Gehäuse hinweg User Shares oder Disk Shares zusammenfassen. Ich habe einige User Scripts (Plugin) mit denen ich die Gehäuse untereinander selbst mounte und unmounte (ohne Unassigned Devices). Das läuft seit Jahren ohne ein einziges Problem. Und wenn man es bis zum Erbrechen optimieren will, dann erfasst man z.B. in Plex jeden einzelnen Disk Share in den Libraries - die verkraften problemlos hunderte. Dann entfällt die Motivation hinter Tools die Ordner und Dateien linux-seitig cachen. Plex will Content abspielen - es greift dann in irgendeinem Gehäuse gezielt auf eine Platte zu. Alle anderen Platten bleiben schlafen.

Ich hätte nicht gedacht, dass es so problemlos läuft - tut es aber.

Bei Fragen ...

Edited June 8, 2021 by hawihoney

mgutt · June 8, 2021

20 minutes ago, hawihoney said:

mit denen ich die Gehäuse untereinander selbst mounte und unmounte

SMB oder NFS?

21 minutes ago, hawihoney said:

Eher sind es Geld und Lärm

Einfach auf Noctua umrüsten und normale ATX Netzteile reinbasteln. Dann hört man deinen Storage auch nicht mehr. 😉

Du musst auch unbedingt mal einen Storage alleine messen. Ich finde 300W immer noch zu viel. 24 Platten ziehen im Stand max 30W. Die 300W in Summe sind da für mich unerklärlich. Oder das liegt wirklich an den Doppel-Netzteilen, dem Powerboard und der Backplane. Die Frage ist dann allerdings ob es sich bei einem neuen Projekt nicht für @DataCollector eher lohnt ein Gehäuse mit passiver Backplane zu holen:

https://www.fantec.de/produkte/serverprodukte/19-server-storagegehaeuse/produkt/details/artikel/1873_fantec_src_4240x07/

Das gepaart mit einem Corsair RM750x (2021), ein paar Noctua um die Lautstärke zu reduzieren und das Teil verbraucht keine 50W. Mit meiner oben genannten Idee sogar nicht mal inkl. Mainboard und CPU.

DataCollector · June 8, 2021

Hallo @mgutt

2 hours ago, mgutt said:

Am sparsamsten wären mehrere Server, die man nur bei Bedarf aus dem Standby holt. Wäre das für dich in Ordnung @DataCollector oder müssen die Platten immer alle durchgehend erreichbar sein?

Es ist für mich wünschenswert, daß ich jederzeit auf die Daten zugreifen kann. WOL oder Einschalten per ferngesteuerter Steckdose ist nicht der Weg, den ich gehen wollte.

IP-Steckdosen nutze ich zwar um Stromverbrauch abzuschätzen und im absoluten Notfall aus der Ferne neu zu starten, aber ich würde bevorzugen, wenn sich die Festplatten etc. schlafen legen und die PC idle sind.

Die Bootzeiten von 24 Festplatten sind unter unraid aktuell erheblich. Je nach Testkonstellation braucht es fast 12 Minuten um alle Platten und das Systeme zu starten.

Beim Startvorgang scheint unraid jede Festplatte einzeln am Kontroller noch einmal neu zu suchen, finden und mit blinkendem Cursor initialisieren. Erst wenn das durchgelaufen ist erscheint der Bootscreen zur Auswahl wie unraid starten soll.

Das ist zu lang um es täglich pro System mehrfach zu machen.

2 hours ago, mgutt said:

Die Frage ist auch ob mehrere SATA Karten eine SAS Karte schlagen.

Ich habe langjährige Erfahung schon von anfangs SIL über JMB und Marvel bis jetzt ASM mit Zusatzkontrollern gemacht.

Wenn diese so verbaut werden wie vom Hersteller gedacht (nur wenige native SATA Ports) sind sie gut und flott, aber schlucken jeder einen PCIe Slot (sofern nicht onBoard).

Mit Portmultiplier bricht die zeitgleiche Leistung naturgemäß zu sehr ein.

Deshalb bin ich schon vor Jahren zu Hardwarekontrollern mit 16 oder mehr Ports an breiteren PCIe Anbindungen gekommen, die dann auch Raid unterstützen. Ich bin von 3Ware SATA über 3Ware SAS, Adaptec, LSI, Avago zu Broadcom gekommen (diverse OEM Variationen der wenigen LSI Chips mal unbetrachtet).

Und bei SAS konnte ich die Zahl der verbauten Kontroller verringern, weil ich dann anstatt 3 oder mehr Kontroller nur einen mit mehreren Expandern nutzen und die Portzahl massiv steigern konnte. Das ist in Summe zu der jeweiligen Zeit sinnvoller/kostengünster gewesen. Damals konnte WIndows aber noch nicht so große Festplatten selber zusammenschalten, weshalb ich über die Raidfunktion dankbar war und bin. Leider laufen dabei aber die Platten ständig.

2 hours ago, mgutt said:

Kann ich nachher mal messen. Ich habe 3 Karten da. Die Idee wäre dann:

3x 6-fach SATA + 8x Onboard = 26 Buchsen

Wie sind die 6fach SATA angebunden? Ich kenne das nur als PCIe 2.0 x2 Lösung. Ich habe mir Ende letzten Jahres von einigen asiatischen Verkäufern diverse 4fach und auch 6fach SATA Karten gekauft und dann mist zurückgegeben, weil diese schon allein in der Konstrukton Engpäße hatten, die sich auch in der praxis zeigten. 6SATA Ports zeitgleich selbst nur mit 250MByt/s pro Festplatte ueber elektrisch PCIe 2.0 x2 (an zur Tarnung physikalischer PCIe x4 Kontaktleiste) zu transportieren ist knapp. Daran zu denken SATA SSD daran voll auszufahren braucht man erst gar nicht. Und dann hatte der verbaute Chip auch noch 2 Portmultiplier dahinter geschaltet.

Technisch war das dann 6 SATA an elektrisch PCIE 2.0 x2 realisiert mit ASM1062 mit nachgeschalteten 2Stück ASM1093. Auch haben viele Boards keine PCIe x2 Slots, wodurch man dann mindestens einen x4 Slot nutzt und damit 2 Lanes brach liegen, die man besser für etwas anderes nutzen möchte.

Auch hatte mich eine Delock 89384 10Port schon vor Jahren enttäuscht, da sie auch nur ein ASM1062 mit 2 nachgeschalteten JMB575 ist. Mehr als 2-3 Festplatten gleichzeitig haben sich dann schon ausgebremst.

Auch Marvell 88SE92xx ist für mehr als 2 Ports ein bremsender Faktor, auch weil dieser und der ASM1062 nur PCI 2.0 beherrschen. Mit PCIe 3.0 Kontrollern würde das Performanceproblem sinken, aber auch der JMB582 ist zwar PCIe 3.0 aber auch nur für 2 Ports da.

Ich habe aktuell einen 4fach Kontroller mit einem ASM1064 bestellt und hoffe, dass er noch zollfrei (also diesen Monat) ankommt, weil ich mir da mit PCIe 3.0 x1 auf 4 SATA 6GBit/s Ports mehr gleichzeitige Performance verspreche. Auch haben Mainboards (nicht nur Miningboards) üblicherweise mehr x1 Slots frei (als X2 oder x4), was die Anzahl der nutzbaren Kontroller hoffentlich erhöht.

Aber auch das ändert an dem zugrunde liegenden Problem nicht viel, daß unraid nur mit 30 Devices in einem Array umgehen will (+ Pools) und ich aufgrund der Preisexplosion bei Festplatten eben eine größere Anzahl kleinerer Festplatten einsetzen will. Da wäre schon ein Miningboard mit je einem 4Port SATA Kontrolelr in jedem PCIe x1 Slot erforderlich um alle >80 LFF+SFF Schächte anzusteuern.

2 hours ago, mgutt said:

Damit könnte man ein 24er Storage Case bedienen und hätte noch 2x für einen SATA SSD Cache.

Mit 24 Disks bekomme ich mit aktuellen Festplattenbestand nur kanpp über 250TB Kapazität hin. Zu wenig.

3xx TB (anfangs eher so 310 TB, aber mit der Zeit steigend ) sind angestrebt mit bisher bestehenden Festplatten (8 bis 14 TB/Stück) pro System.

Ein Testsystem mit 24 LFF habe ich mir ja schon aufgebaut um eben mit unraid zu experimentieren und zu sehen, was ich davon erwarten kann. Unraid ist eigendlich super für das, was ich getestet habe, auch wenn ich weiterhin blutiger Anfänger damit bin. Ich habe auch schon eine große Lizenz erworben (teste aber noch mit einer Testlizenz).

Aber die 30 Devices Grenze hindert mich noch. Ich werde es zumindest fuer eine kleinere Lösung < 100TB bei mir einsetzen. Doch für die größeren Systeme (> 3xxTB) suche ich eben jetzt weiter.

SSD Cache mache ich aktuell ueber PCIe Switch Karte mit 4 Stueck NVMe. Ist aber auch nur Testbetrieb. In dem kleinen System brauch eich diese Performance nicht. Da reichen auch diverse SATA SSD als Cache zusammengeschaltet.

2 hours ago, mgutt said:

Auf die schnelle habe ich nur dieses ältere Board gefunden, dass 4x x4 erlaubt:

https://www.supermicro.com/en/products/motherboard/X11SSM-F

Danke.

Ich vermute die 4x4 beziehen Sich auf Deine Variation mit mehreren kleinen Kontrollern.

Siehe oben. Die so gearteten Kontroller, die ich bisher ausprobiert hatte (noch vorn unraid) waren alle nicht wriklich das, was ich suchte.

Ich hoffe jetzt auf das 1064 Modell, weil man dann eben PCIe 3.0 x1 Slots nutzen kann.

https://www.ebay.de/itm/304024635356

https://www.ebay.de/itm/303786039296

oder gleich als 5er Pack aus Asien

https://www.ebay.de/itm/254837998794

aber da kommt dann noch Zoll usw hinzu.

Dann sind auch normale Mainboiards geeignet, weil PCIe x1 als geschlossener Slot da oft vorhanden ist.

2 hours ago, mgutt said:

Sonst wären die SATA Karten bei x1 nämlich ein allgemeiner Array Flaschenhals mit 150 MB/s.

150MB/s sind jetzt schon ein Flaschenhals. Mit Schreib- und Leseraten im Außenbereich um 230MB/s sind die kleinen Karten auf PCIe 2.0 eben weniger das, was ich suche.

2 hours ago, mgutt said:

Damit fällt dann auch die ganze aufwendige Backplane Elektronik eines professionellen Storage Servers weg, braucht dann aber auch ein großes Netzteil für den Spinup.

Die Backplanes sind wegen dem Hotswap ein gerne gesehener Vorteil. Und normale gehäuse fuer ext. 24 HDDs sind seit Jahrenkaum noch neu zu bekommen. Zwangsweise musste ich schon auf 19" ausweichen.

So ein preislich sehr günstiges Sharkoon Rebel 12 (ohne Fenster SchnickSchnack) mit ausgefräster Frontblende konnte per 5in3 Wechselrahmen mit 20 Festplatten von vorne zugänglich bestücht werden. Aber sowas scheint es ja nicht mehr neu und günstig zu geben.

Aber selbst die günstigen Inter-Tech 24HDD 19Zoll Gehäuse sind seit kurzem nicht mehr verfügbar.

hawihoney · June 8, 2021

1 hour ago, mgutt said:

SMB oder NFS?

SMB. Alle Transfers werden gepullt nicht gepusht (der Empfänger holt immer, der Sender sendet nicht ;-)). Das hat aber eher historische Gründe, da ich jahrelang Probleme mit SMB beim pushen großer Datenbestände hatte. SMB fror dann ein und der Server musste neu gestartet werden. Das hat sich mit einem der letzten Release geändert, aber ich bleibe erst mal bei meiner Arbeitsweise.

Quote

Du musst auch unbedingt mal einen Storage alleine messen.

Ich weiß, aber es gibt da ein Problem. Die Platten in den Storages fahren ohne den Server nicht runter. Die Platten laufen voll durch bis der Server hochfährt und die Regelung beginnt. Zusätzlich besteht das Problem, dass ich noch alte Backplanes nutze (BPN-SAS2-EL1) mit zugehörigen Powerboards (CSE-PTJBOD-CB2). Die v2 Powerboards regeln keine Lüfter. Die Lüfter laufen somit voll durch. Die v3 Powerboards (CSE-PTJBOD-CB3) können mittlerweile regeln, benötigen dazu aber SAS3 Backplanes und nicht meine alten SAS2 Backplanes.

Ich will jetzt nicht diesen Thread highjacken. Sollen wir zu dem Thema mal einen eigen Thread aufmachen?

mgutt · June 8, 2021

3 minutes ago, DataCollector said:

Die Bootzeiten von 24 Festplatten sind unter unraid aktuell erheblich. Je nach Testkonstellation braucht es fast 12 Minuten um alle Platten und das Systeme zu starten.

Daher ja meine Idee mit den SATA Karten und dem größeren Netzteil. Da gibt es das nicht. Da fahren alle zur gleichen Zeit hoch und der Server steht nach max 2 Minuten bereit. Aus dem Standby sogar in Sekunden.

4 minutes ago, DataCollector said:

Mit Portmultiplier bricht die zeitgleiche Leistung naturgemäß zu sehr ein.

Davon sprach ich auch nicht, sondern nur von ASM1166. Die Karte lastet alle HDDs bei voller Belegung komplett aus.

5 minutes ago, DataCollector said:

aber schlucken jeder einen PCIe Slot

Das ist klar. Wenn du noch andere Karten verbauen willst, kann man die Idee natürlich nicht umsetzen.

5 minutes ago, DataCollector said:

Wie sind die 6fach SATA angebunden?

PCIe 3.0 x4, also 4 GB/s, was sogar für 6 SSDs reichen würde, wobei der ASM1166 sein Limit bei 300 MB/s bei voller Belegung hat:

https://forums.unraid.net/topic/41340-satasas-controllers-tested-real-world-max-throughput-during-parity-check/

Das Problem ist nur ein Board zu finden, dass 4x x4 hat.

7 minutes ago, DataCollector said:

Delock 89384 10Port

Ja, auf der Karte selbst sind ja Port Multiplier. Das ist kein Wunder.

8 minutes ago, DataCollector said:

Mit 24 Disks bekomme ich mit aktuellen Festplattenbestand nur kanpp über 250TB Kapazität hin. Zu wenig.

Da du noch einen Slot für die 10G Karte brauchst, geht leider nicht mehr als 3x 6er plus 8 Onboard. Also eben 26 SATA Buchsen. Zwei Lösungen:

A) Größere Platten kaufen

B) 4 Server bauen

20 minutes ago, DataCollector said:

150MB/s sind jetzt schon ein Flaschenhals

So lahm? Dann hast du aber ein anderes Problem. @hawihoney konnte durch das CPU Upgrade auch seine Geschwindigkeit steigern. Eventuell liegt es bei dir ja auch an der CPU Leistung?! Oder du hast eine Platte, die alle anderen runterzieht oder dein SAS Controller hat nicht genug Bandbreite / Leistung.

23 minutes ago, DataCollector said:

ASM1062

23 minutes ago, DataCollector said:

1064

Die sind alle langsamer und haben weniger Ports als ASM1166 oder JMB585. Bestell direkt bei Aliexpress. Ist in der Regel günstiger als bei eBay. Dauert nur halt hundert Jahre bis es da ist ^^

4 minutes ago, hawihoney said:

Ich will jetzt nicht diesen Thread highjacken. Sollen wir zu dem Thema mal einen eigen Thread aufmachen?

Leg los 😁

DataCollector · June 8, 2021

Hallo @Ford Prefect

4 hours ago, Ford Prefect said:

Die wird aber teurer sein...gibt es aber bis 24i....damit wären locker 30 Disks 1:1 in einem System drin.

Ich erwähnte ja, dass nicht nur große Festplatten sondern auch Kontroller mit hohen Portzahlen mit Chia preislich explodiert sind.

Ich hatte Anfang Mai einen gebrauchten LSI 9305-24i für 361 Euro im Auge. Aktuell liegt er bei dem Händler bei über 700 Euro.

Das ist sogar teurer als Neuware ab 530Euro, dafür ist es kurzfristig verfügbar.

mgutt · June 8, 2021

Ach du scheiße sind die teuer geworden:

https://de.aliexpress.com/wholesale?trafficChannel=main&d=y&CatId=0&SearchText=asm1166&ltype=wholesale&SortType=total_tranpro_desc&groupsort=1&page=1

Die haben vor ein paar Monaten keine 30 € gekostet:

image.png.bc862883e99ccc570ea4837b3d0f3b7a.png

Da weiß ich ja, was ich gewinnbringend verkaufen kann ^^

EDIT: Bei Amazon haben die Chinesen die Preise noch nicht angepasst:

https://www.amazon.de/s?k=asm1166&rh=p_36%3A-3000&__mk_de_DE=ÅMÅŽÕÑ&qid=1623151630&rnid=428358031&ref=sr_nr_p_36_6

EDIT2: Ach ne Mist, sind nur PCIE 3.0 x1. Also 150 MB/s Flaschenhals.

EDIT3: Die hier geht:

https://amzn.to/2T3mHIR

Ab 2 sogar 10% Rabatt ^^

DataCollector · June 8, 2021

Hallo @mgutt

Danke für den Testaufbau und Deine große Mühe.

3 hours ago, mgutt said:

Ich würde sagen 3x SATA Karte (2x 6-Port ASM1166 und 1x 5-Port JMB585) schlägt alte SAS HBA Karten (in den 15,16W sind 0,07W pro SSD enthalten):

Pcie x2 Steckkarten und Multiplier sind nicht so ganz das, was ich suche.

Und wenn ich keine x2 Steckkarten einsetze muß es auch kein Mainboard mit 4x4 sein.

Wobei sich die Diskussion hier zum Teil darum dreht, welche Kontroller ich einsetzen will.

Dazu folgendes:

Ich brauche eine hohe Portzahl.

Wenn ich das mit SATA Kontrollern hin bekomme soll es mir recht sein. Aber aktuell haben mir heutige SATA Kontrollersteckkarten, der niedrigen Preisklasse, eher enttäuscht. Und wenn ich teurere Kontroller nehme, dann kann ich auch gleich SAS nehmen und die features dabei auch in Zukunft nutzen.

10-15W fuer einen Kontroller fallen bei mir nicht so sehr ins Gewicht wie 200W füer dauerdrehende Festplatten.

Deshalb suche ich erst einmal eine Lösung um mein jetziges Hardwareraidsystem mit weit mehr als 30 Ports gegen unraid oder so zu ersetzen um Spindown an einzeln genutzen Ports zu nutzen. Das spart schon viel Strom gegenüber dem aktuellen Zustand.

Wenn ich das dann durch anderen Kontroller noch weiter senken kann ist es schön, aber bei meiner aktuellen Suche sehe ich erst einmal das Mainboard selber als primären Punkt.

Nebenbei: netter Kühlkörper auf der CPU. Der ist aber wohl nur für kurzfristige Tests gedacht oder schafft er das auch langsfristig?

mgutt · June 8, 2021

@DataCollector Siehe mein letzter Beitrag. Das sind keine Port Multipliert und die liefern wie gesagt 300 MB/s pro HDD bei voller Belegung.

38 minutes ago, DataCollector said:

Wenn ich das dann durch anderen Kontroller noch weiter senken kann ist es schön, aber bei meiner aktuellen Suche sehe ich erst einmal das Mainboard selber als primären Punkt.

Ja und wo ist das Problem? Ein Board zu finden, dass 2 PCIe Slots hat, sollte ja jetzt kein Problem darstellen oder wie? Mit iGPU und 2x NVMe? Dann eben das C246M-WU4 oder W480M Vision. Mit ECC RAM und kleinen CPUs lieber das C246M und mit großen CPUs und ECC das W480. Oder wenn du IPMI brauchst, dann das Supermicro X11SCH-F:

https://geizhals.de/supermicro-x11sch-f-bulk-mbd-x11sch-f-b-a1942349.html?hloc=at&hloc=de

Letzteres kann ich evtl vom Großhandel günstiger besorgen. Müsste ich aber erst anfragen.

Noch eine Option:

https://geizhals.de/asrock-rack-w480d4u-a2301997.html?hloc=at&hloc=de

Ansonsten gibt es noch W480 Full ATX Boards von Supermicro. Sogar welche mit 2.5G Onboard.

DataCollector · June 8, 2021

Hallo @hawihoney

2 hours ago, hawihoney said:

Ich kann Dir aus Erfahrung sagen, dass das wirklich kein Problem ist. Eher sind es Geld und Lärm

Lärm darf sich in Grenzen halten.

Das ist auch eine Erfahrung mit Unraid. Da die Platten eben oft im Spindown liegen sind zwar leitungsfähige Lüfter für Maximalperformance notwendig, aber wenn nur vereinzelte Festplatten laufen oder sogar im Spindown sind, darf es langsamer drehen und somit leiser sein.

Geld hingegen ist ein Problem. Normalerweise hätte ich einfach kontinuierlich vereinzelt weiter große Platten gekauft und wäre dann auch irgendwann am Ziel.

Aber die Preisexplosion ändert das eben.

Es ist rein privat und Hobby. Wenn ich massig Geld reinstecken könnte hätte ich kein Problem.

22 Festplatten zu 18TB in Unraid und ich habe rund 340TB. Leider wären das über 12.000 Euro nur für Neuanschaffung.

Nein, ich will wegen der aktuellen Preise mit meinen vorhandenen Festplatten und kleinem Budget zum Ziel.

2 hours ago, hawihoney said:

Zum von Dir angesprochenen Stromverbrauch:

Ein Unraid Server (zzgl. 2x Unraid VMs) bestehend aus 3x 4HE SC846 chassis mit 72 Platten und 2x M.2 NVMe zieht aktuell im Ruhezustand der Platten unter 300W.

Das ist viel. Mein, nicht auf stromsparen optimiertes, Testsystem mit 24 Festplatten, 2NVMe im extra PCIe Switch, 64GBDDR4 Ram, I7-6700k auf GamerMotherboard und Asus 10G Base-T Karte schluckte bei schlafenden Platten knapp über 100 W idle. Das ist ja der Grund, warum ich nun nachdenke das Mainboard und diverse Komponenten zu ändern, so daß es sich eben bessert. Wenn die 2 Festplattensysteme idle je 60-70W schlucken (also zusammen rund 140W) und da ein zusammenführendes System mit idle 50W hinzu kommt, spart diese Konstellation täglich im Gegensatz zu meinem jetzigen Hardwarerarid Dauerlauf einiges an Strom. Dann darf im Betrieb für wenige Stunden pro Tag das Ganze auch ruhig mehr schlucken. In Summe wird es dennoch Strom sparen.

Die Netzwerkswichte lasse ich mal außen vor, da diese Infrastruktur sowieso voprhanden sein muß.

2 hours ago, hawihoney said:

Und das bei W1290P, X12SCA-F mit IPMI, 3x 9300-8 HBAs, 11x Gehäuselüftern, 1x CPU Kühlkörper, 2x Powerboards für den Strom in den Direct Attached Storages.

Strom ist das nächste Problem. Leistungsfähige ATX PSU sind fast ausgestorben und sehr teuer.

Günstige Servernetzteile versorgen wohl überwiegend mit 12V. Ich brauche aber für Festplatten eine leistungsfähige Versorgung mit 12 und 5 Volt und für das Mainboard auch noch die üblichen Spannungen.

Ich habe noch einige Super Flower Leadex II ATX PSU im Einsatz.

Wenn ich das ganze auf 2 oder 3 Systeme splitte kann ich getrennte Standard PSU nehmen bzw. beibehalten.

DataCollector · June 8, 2021

Hallo @mgutt

1 hour ago, mgutt said:

Daher ja meine Idee mit den SATA Karten und dem größeren Netzteil. Da gibt es das nicht. Da fahren alle zur gleichen Zeit hoch und der Server steht nach max 2 Minuten bereit. Aus dem Standby sogar in Sekunden.

Meine Bootzeit wird nicht durch das BIOS/UEFI des SAS Kontrollers verursacht. Der SAS Kontroller findet die Festplatten in rund 10-20 Sekunden und übergibt an das Mainboard BIOS/UEFI. Dann startet der unraid Stick und der braucht pro Festplatte mit schwarzem Bildschirm mit blinkendem Cursor knapp unter 30 Sekunden um dann den Bildschirm wieder zu löschen den Curser neu blinken zu lassen und dann wieder rund 30 Sekunden für die nächste Festplatte. usw...

Es liegt also an unraid.

1 hour ago, mgutt said:

Davon sprach ich auch nicht, sondern nur von ASM1166. Die Karte lastet alle HDDs bei voller Belegung komplett aus.

Gut, den ASM1166 kenne ich nicht, aber scheint ja ein PCIe 3.0 x2 Kontroller zu sein. Das spricht schon eher für bessere Performance. Nur stört mich da eben dass er x2 ist. Wenn man schon einen x4 Slot verschwenden muß würde ich bevorzugen, wenn man zwei dieser ASM1166 zusammen auf eien Karte packt und dann eben auch doppelt so viele Ports bietet und auslasten kann.

Mich ärgern irgendwie verschwendete PCIe Lanes, weil es die nur in begrenzter Menge bei preisgünstigen CPU & 'Chipsets' gibt.

Aber das ist mein Problem

1 hour ago, mgutt said:

Das ist klar. Wenn du noch andere Karten verbauen willst, kann man die Idee natürlich nicht umsetzen.

Ich will sie nicht unbedingt einbauen, aber wenn Lanes unbenutzt da sind, hätte ich gerne die Möglichkeit die zu nutzen.

Eine NVMe SSD mit den 2 brach liegenden Lanes angebunden würde schon genug bringen um als flotter Cache zu fungieren.

1 hour ago, mgutt said:

PCIe 3.0 x4, also 4 GB/s, was sogar für 6 SSDs reichen würde, wobei der ASM1166 sein Limit bei 300 MB/s bei voller Belegung hat:

Hm. der ASM1166 ist ein "PCIe Gen3 x2". Wie ist die 6PortKarte denn aufgebaut, daß er 6 Ports an x4 macht?

Irgendetwas habe ich da wohl nicht mitbekommen.

1 hour ago, mgutt said:

https://forums.unraid.net/topic/41340-satasas-controllers-tested-real-world-max-throughput-during-parity-check/

Oh! Den Beitrag hatte ich noch nichtgefunden. Danke! Hoch interessant, weil ich da sowas finde:

LSI 9300-8i PCIe gen3 x8

* PCIe gen3 x4 (3940MB/s)

Das ist sehr interessant, weil ich nebenher an einer anderen Idee arbeitete.

Ich hatte mal etwas ähnliches Vor Wie Du mit einem 10Zoll Schrank.

Ich wollte auf 19Zoll Bleche (etwas stabilere Modelle) 5in3 Steckrahmen aufbringen und um die ganzen Platten anzusteuern sowas wie USFF Bauform nehmen und den M.2 PCIe Steckplatz per Adapter und Riser zu einem x4 Kontroller führen.

Aber die Sache ist aus Zeitmangel erst einmal eingeschlafen und liegt in Einzelteilen hinter mir.

"put it on the backburner"

1 hour ago, mgutt said:

Da du noch einen Slot für die 10G Karte brauchst, geht leider nicht mehr als 3x 6er plus 8 Onboard. Also eben 26 SATA Buchsen. Zwei Lösungen:

A) Größere Platten kaufen

Wegen aktueller Preisexplosion nicht angedacht.

1 hour ago, mgutt said:

B) 4 Server bauen

Wenn ich den Platz und das Geld hätte soger noch viel mehr. aber es wird hier langsam eng.

1 hour ago, mgutt said:

So lahm? Dann hast du aber ein anderes Problem.

Das meinte ich ja. also 150MB/s pro Port sind zu wenig, Bei meinen 12 und 14TB sind Spitzenwerde um 230MB/s drin.

1 hour ago, mgutt said:

Die sind alle langsamer und haben weniger Ports als ASM1166 oder JMB585. Bestell direkt bei Aliexpress.

Mit anstehender Zolländerung werde ich erst einmal meine außer EU Bestellungen mindern, bis die Paketlieferanten das Verfahren eingespielt haben.

Aber DHL hat ja schon angekündigt pro Auslegung 6Euro extra zu nehmen. Da macht es wenig Sinn kleine Mengen zu kaufen.

1 hour ago, mgutt said:

Ist in der Regel günstiger als bei eBay. Dauert nur halt hundert Jahre bis es da ist ^^

Ich habe leider mit schon so einigen Händlern mit chinesischem Sitz größere Probleme gehabt

Meist waren Beschreibung und Angebot nicht das, was geliefert wurde.

Und schon bei erster Nachfrage wollten die Videos etc. haben und ich habe mich immer wieder textlich mit denen im Kreis gedreht und vorgefertige Textbausteine bekommen.

Somit habe ich da ein paar zu schlechte Erfahrungen um dort mit Freuden in Mengen zu bestellen und das Geld dann dabei zu versenken, weil etwas anderes geliefert wird.

DataCollector · June 8, 2021

1 hour ago, mgutt said:

EDIT3: Die hier geht:

https://amzn.to/2T3mHIR

Ich frage mich wirklich, wie die elektrisch x4 benutzen, wenn der ASM1166 nur x2 können soll.

DataCollector · June 8, 2021

Hallo @mgutt

1 hour ago, mgutt said:

Ja und wo ist das Problem? Ein Board zu finden, dass 2 PCIe Slots hat, sollte ja jetzt kein Problem darstellen oder wie?

Das Problem ist immer bei den Mainboards abzuschätzen wie der Stromverbrauch aussieht.

Es sollen guenstige Bords sein.

1 hour ago, mgutt said:

Mit iGPU und 2x NVMe?

Wäre schön. Aber NVMe muß bei den System für die Festplatten nicht zwingend sein.

1 hour ago, mgutt said:

Dann eben das C246M-WU4 oder W480M Vision.

Und hier kommen wir allein für das Board in Preisregionen, die ich meiden wollte (ganz abgesehen von Beschaffungsproblemen), weil ja auch noch CPU, Ram und so weiter dazu kommen und das dann gleich 2 mal.

Schnuckeliges Mainboard, daß das nötigste hat um eben ein Festplattensystem wunschgemäß zu betreiben und anzubinden.

Bei geringem Kostenaufwand.

1 hour ago, mgutt said:

Mit ECC RAM und kleinen CPUs lieber das C246M und mit großen CPUs und ECC das W480. Oder wenn du IPMI brauchst, dann das Supermicro X11SCH-F:

https://geizhals.de/supermicro-x11sch-f-bulk-mbd-x11sch-f-b-a1942349.html?hloc=at&hloc=de

IPMI brauche ich nicht Ich mach die Fernsteuerung auf BIOS/UEFI/BOOT-Ebene mit IP-KVM und KVM-Switchen und wenn die Systeme rennen nehme ich VNC.

1 hour ago, mgutt said:

Letzteres kann ich evtl vom Großhandel günstiger besorgen. Müsste ich aber erst anfragen.

Ich danke für das Angebot, aber 200 Euro nur für ein Mainboard ist eine Preislage in der ich nicht fuer einen simplen Plattenstapel suche.

Auch suche ich teurere Produkte gerne im Gebrauchtmarkt, weil es da nochmal günstiger ist.

mgutt · June 8, 2021

Ok, und wie sieht es mit ECC RAM aus, Ja oder Nein?

Das günstigste mit ECC Support wäre ein Fujitsu mATX mit C236 oder C246 Chipsatz. Da liegst du bei 120 bis 140 € für das Board.

Darf es auch gebraucht sein? Die Tage hatte ich zb bei Kleinanzeigen einen i3-8100 für 40 € gesehen.

mgutt · June 8, 2021

37 minutes ago, DataCollector said:

der ASM1166 ist ein "PCIe Gen3 x2"

Stimmt. Dann ist die nur mechanisch, also von der Breite, x4.

39 minutes ago, DataCollector said:

wenn man zwei dieser ASM1166 zusammen auf eien Karte packt

Ja, warum gibt es das nicht. Komisch.

hawihoney · June 8, 2021

43 minutes ago, DataCollector said:

Dann startet der unraid Stick und der braucht pro Festplatte mit schwarzem Bildschirm mit blinkendem Cursor knapp unter 30 Sekunden um dann den Bildschirm wieder zu löschen den Curser neu blinken zu lassen und dann wieder rund 30 Sekunden für die nächste Festplatte. usw...

Nein, nein, nein. Da stimmt was bei Dir nicht.

Bei mir blinken die 24 Statuslampen an der Backplane sobald der HBA (LSI 9300-8i) die Platten scannt - ca. 1-2 Sekunden pro Platte. Sobald Unraid übernimmt (das blaue Auswahlmenü) werden die beiden Archive ins RAM geladen - ca. 10-15 Sekunden. Danach rauscht der Unraid Start ohne Unterbrechung in kurzer Zeit durch. Bei jeder Platte ist das ein kurzes Blip - ca. 1-2 Sekunden für alle Platten zusammen.

Selbst in Unraid VMs ist die Geschwindigkeit hier identisch. Der längste Part is immer bis zum blauen Auswahl-Menü bei mir.

Schau Dir doch mal den Start in der syslog an - am besten bin zur Installation der Plugins. Hier mal von meinem Systemstart:

May 28 14:53:19 Tower kernel: Linux version 5.10.28-Unraid (root@Develop) (gcc (GCC) 9.3.0, GNU ld version 2.33.1-slack15) #1 SMP Wed Apr 7 08:23:18 PDT 2021 
...
May 28 14:53:30 Tower root: Installing plugins

11 Sekunden bis zur Installation der Plugins.

DataCollector · June 8, 2021

Hallo @mgutt

6 hours ago, mgutt said:

Ok, und wie sieht es mit ECC RAM aus, Ja oder Nein?

Wenn ohne Zusatzkosten beim Mainboard möglich: gerne, aber nicht zwingend.

Beispielsweise habe ich hier in einem anderen Towersystem (max. Platz für 15 LFF), mit dem ich mal Freenas testen wollte noch ein Fujitsu D3644-B mit ECC Ram und I3-8100.

Sollte sich die Idee, das Ganze wirklich mit 3 getrennten Systemen zu verwirklichen (2 Hardware Plattenstapel und ein zusammenfassendes System jeweils alle mit unraid), näher an die Realisierung bringen lassen schließe ich nicht aus die Hardware da heraus zu räubern um zumindest eines der Plattensysteme mit weniger Neuanschaffungen ausstatten zu müssen.

Aber aktuell habe ich den Tower erst einmal von einem LSI 9361-8i Raidkontroller auf Adaptec 78165 umgebaut, weil der sich auf HBA umstellen läßt und ich mal testen wollte ob ich darauf unraid stabil zum rennen bekomme. Dieverse Forumsbeiträge sind da widersprüchlich zu der Adaptec Serie 7.

Wenn es klappt, könnte der Tower vielleicht auch der Unterbau eines meiner kleineren Systeme werden, so dass ich das bisher im anderen unraid Testsystem verwendet 24 LFF 4HE Gehäuse mit Innereien für die Plattenstapel frei bekäme.

Adaptec Kontroller sind gebraucht im Preis etwas niedriger angesiedelt als vergleichbare LSI und diese Serie 7 wegen der Umstellung Raid auf HBA möglicherweise hier etwas flexibler einsetzbar.

Zwar sind meine Tests mit dem 78165 vor Jahren eher mies verlaufen, aber da hatte ich versucht mit Windows7 da etwas stabiles aufzuziehen und bin an der Adaptec Software gescheitert. Bei unraid brauche ich aber nicht die Adaptec Software und bin deshalb in hoffnungsvoller Erwartung, wenn ich diese neue Konstellation fernab meiner hier bisherigen Tests auch mal teste.

Wie man wohl erkennen kann, teste ich hier in sehr viele verschieden Richtungen und Ausprägungen mit mehreren Systemen um für teils unterschiedliche Anwendungen das jeweils Passende zu finden. Auch dadurch sind die Anforderungen und Ideen in allen Tests fliessend (weil sich auch durch Erkenntnissgewinn immer wieder verschiebungen oder andere Ideen ergeben).

Das hat aber auch den Nachteil, daß die Zeit und das Budget sehr beschränkt ist und es auch mal zu diversen Unterbrechungen der einen Tests kommt, weil das Geldverdienen oder ein anderes Projekt kurzfristig überhand nimmt.

6 hours ago, mgutt said:

Das günstigste mit ECC Support wäre ein Fujitsu mATX mit C236 oder C246 Chipsatz. Da liegst du bei 120 bis 140 € für das Board.

Nur ist die Beschaffung beispielsweise des oben erwähnten D3644-B eine sehr zeitaufwändige Sache gewesen.

Und so passend wie es aktuell für Plattenstapel ist, so ungünstig finde ich, die eher spartanische Ausstattung um es eventuell auch anderweitig einsetzen zu können.

Ich will aber nicht meckern. Stromsparend und kompakt gehen eben damit einher, daß man den eigentlich überflüßigen Gamingnonsens wegläßt.

Ich verstehe immer noch nicht, warum heutzutage auf vielen Boards, kaum abschaltbare, LEDs oder RGB Kontroller verbaut sind. Das macht es nur teurer und verbrät Strom. Schneller rechnen oder stabiler laufen solche Boards davon auch nicht.

6 hours ago, mgutt said:

Darf es auch gebraucht sein? Die Tage hatte ich zb bei Kleinanzeigen einen i3-8100 für 40 € gesehen.

Viele meiner Systeme bestehen aus gebrauchten Teilen, welche dadurch günstiger in meiner Anschaffung waren.

Ich greife aber weniger zu Kleinanzeigen, da ich beim Kauf doch ein gewisses Maß an Schutz haben will.

Hardwarevorschläge für mäßig leistungsfähige Plattenstapel mit flotter Anbindung gesucht

Recommended Posts

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Join the conversation