aktuell gute Hardware für einen Home-Server auf Unraid-Basis?


Recommended Posts

10 minutes ago, mgutt said:

Das wenn mehr als eine Disk im Array ist. Tatsächlich ist es mit einer Disk ein klassisches RAID1. Aber das ist ja auch nichts anderes als XOR 😉

OK, also bei 2 Platten Raid 1 Formel und ab 3 dann Raid 4 Formel zum berechnen des tatsächlichen Speicherplatzes.

 

Es gehen ja mehrere Arrays gleichzeitig oder?

 

12 minutes ago, mgutt said:

Ich sichere übrigens so:

- VM oder Docker stoppen

- cp --reflink=always /mnt/cache/quelle /mnt/cache/Backups/<Datum>/ziel

 

Ja klar manuell über ssh. Bisher war meines ja eine Windows Umgebung und da hat Veeam automatisch die VMs gestoppt, das file gezogen und wieder gestartet und beim Raid 5 einfach incrementell. Alles auf die Platte und das ganze sheduled. War sehr komfortabel.

 

14 minutes ago, mgutt said:

Dann BTRFS RAID1 und klar, trotzdem noch Backups vom Cache machen. Schon alleine wenn man was zurückrollen möchte.

 

Ich dachte BTRFS sei Mist? Das versteh ich nicht ganz. Dachte die beiden NVMe pack ich in ein Raid 1 und auf denen läuft der Cache dann und dieser wird regelmäßig ins unraid geschrieben?

Link to comment

UNRAID hat kein klassisches RAID4.

 

Ja, es gibt eine Parität oder auch mehr.

Beim Schreiben wird jedoch nicht Blockweise auf die Array HDDs geschrieben und somit die Daten verteilt.

Bei UNRAID ist jede HDD im Array für sich lesbar und eigenständig.

Schau mal hier ein - entweder ganz oder ab 8:00+:

 

Du kannst bei den anlegen der Shares auch einstellen, ob die Daten über alle Platten verteilt werden sollen, oder z.B. VMs nur auf eine spezifischen HDD landen.

 

Sollte z.B die Paritay HDD und eine weitere ausfallen, lassen sich die Daten von den verbleibenden HDDs noch problemlos lesen.

Edited by Minion
Link to comment
1 hour ago, renegade03 said:

Es gehen ja mehrere Arrays gleichzeitig oder?

Leider nein. Ist zwar immer wieder im Gespräch, aber bisher nicht umgesetzt worden. @hawihoney hat daher Unraid innerhalb von Unraid virtualisiert.

 

1 hour ago, renegade03 said:

ab 3 dann Raid 4 Formel zum berechnen des tatsächlichen Speicherplatzes.

Dem kann ich nicht folgen. Die Parity ist einfach außen vor, was den nutzbaren Speicherplatz anbelangt. Sie muss nur eben größer gleich der größten Disk im Array sein.

 

Und ich weiß, es ist verlockend es RAID4 zu nennen, aber denk dran, ist es nicht. Bei einem RAID4 wird gestriped, so dass die Daten in Blöcken auf allen restlichen Disks verteilt liegen:

image.png.d6feafe743bafae75b81ae437de358ac.png

 

Bei Unraid sind es aber nach wie vor einzeln formatierte Disks. Dh selbst wenn 2 Disks kaputt gehen, sind die Daten auf den restlichen Disks alle noch da (Totalausfall quasi unmöglich):

disk-and-parity.png.1b5d3de01d7f69dac6bb69759f9ea56c.png

 

1 hour ago, renegade03 said:

Ich dachte BTRFS sei Mist?

Unraid unterstützt aktuell nur BTRFS bei den RAID-Leveln. ZFS ist in Planung. Warum nicht einfach mdadm und dann auch XFS angeboten wird, weiß ich nicht. Hawihoney hatte mal gefragt, aber da kam nur die Antwort, dass mdadm nicht enthalten sei:

 

 

 

 

Link to comment
33 minutes ago, Minion said:

UNRAID hat kein klassisches RAID4.

Ja das ist mir schon klar. Sonst hieße es ja nicht unraid sondern Raid 4. ;)

Mir ging es dabei um die Netto Kapazitätsberechnung.

 

30 minutes ago, mgutt said:

Dem kann ich nicht folgen. Die Parity ist einfach außen vor, was den nutzbaren Speicherplatz anbelangt. Sie ist nur eben größer gleich der größten Disk im Array sein.

Ah ok, also automatisch die größte angeschlossene Platte = Paritätsplatte? Wie gesagt es geht mir nur um Netto Kapazität. Bei Raid 4 "n-1 = k" n = Plattenanzahl, k = netto Kapazität. Also 4 Platten a 3TB = 12TB-3TB => k = 9TB. (Raid 4)

 

34 minutes ago, mgutt said:

Unraid unterstützt aktuell nur BTRFS bei den RAID-Leveln. ZFS ist in Planung. Warum nicht einfach mdadm und dann auch XFS angeboten wird, weiß ich nicht. Hawihoney hatte mal gefragt, aber da kam nur die Antwort, dass mdadm nicht enthalten sei:

OK also lieber Mist als gar nix. ;)

 

Nun gut zurück zum eigentlichen Thema:

Hardware wird bei mir sein:

MB mit CPU (wahrscheinlich µATX)

2NVMe Platten

4x HDD

 

Somit reichen mir auch MB mit

6x Sata III

2x NVMe

2-3 PCIe Steckplätze

optimal 2,5Gbit oder 10Gbit LAN

 

Sollte mit CPU im idle (HDD aus) unter 15w bleiben.

 

 

Link to comment
3 minutes ago, renegade03 said:

und einen Pool für die HDDs erstellen

Nein. Array ist Array und Pool ist Pool. Dh die HDDs sind im Array und fertig.

 

8 minutes ago, renegade03 said:

Bei Raid 4 "n-1 = k" n = Plattenanzahl, k = netto Kapazität

Ist vom Prinzip richtig, aber bei Unraid kannst du ja die Größen mixen. Du kannst zB eine 10TB Parität haben, Disk 1 mit 10TB und zwei weitere Disks mit 4TB oder so.

 

10 minutes ago, renegade03 said:

Sollte mit CPU im idle (HDD aus) unter 15w bleiben.

Ok, ECC RAM ja oder nein? 

Link to comment
39 minutes ago, mgutt said:

Nein. Array ist Array und Pool ist Pool. Dh die HDDs sind im Array und fertig.

OK und wo ist da der Unterschied?

 

39 minutes ago, mgutt said:

Ok, ECC RAM ja oder nein? 

ECC wäre gerade bei unraid denke ich sehr wünschenswert.

Link to comment
3 hours ago, renegade03 said:

also bei 2 Platten Raid 1 Formel und ab 3 dann Raid 4 Formel zum berechnen des tatsächlichen Speicherplatzes.

 

Falsch. Die Formel, der Mechanismus, ist im Array immer gleich. Bei genau zwei Platten entsteht dann "zufällig" ein RAID-1 Verbund.

 

2 hours ago, Minion said:

UNRAID hat kein klassisches RAID4.

 

Raid-4 ohne Striping. Ansonsten identisch.

 

29 minutes ago, renegade03 said:

OK und wo ist da der Unterschied?

 

Pool: Einzelne Platten unter XFS oder BTRFS. Mehrere Platten als RAID unter BTRFS.

Array: Mehrere Platten als RAID-4 (ohne Striping) mit 0, 1 oder 2 Parity Disks

Zusätzlich gibt es ZFS (Plugin?), Unassigned Devices (Plugin)

 

Die Platten-Limits sind leider vor Kurzem von der Website verschwunden. Sonst würde ich das hier posten.

 

Link to comment
3 minutes ago, hawihoney said:

Falsch. Die Formel, der Mechanismus, ist im Array immer gleich. Bei genau zwei Platten entsteht dann "zufällig" ein RAID-1 Verbund.

 

Ja aber 2x3TB im Array n/2 = 1 also 3TB netto Kapazität und 3TB Parität. Da immer eine ganze Platte des Arrays als Parität genutzt wird oder?

 

Die korrekte Formel wäre n (Anzahl Platten) -n max (größte Platte) = k(netto Kapazität) ?

 

6 minutes ago, hawihoney said:

Pool: Einzelne Platten unter XFS oder BTRFS. Mehrere Platten als RAID unter BTRFS.

Array: Mehrere Platten als RAID-4 (ohne Striping) mit 0, 1 oder 2 Parity Disks

Zusätzlich gibt es ZFS (Plugin?), Unassigned Devices (Plugin)

Ah OK super Danke.

Es gehen also mehrere Pools, aber nur ein Array?

Link to comment
Just now, renegade03 said:

Es gehen also mehrere Pools, aber nur ein Array?

 

Korrekt.

 

Just now, renegade03 said:

Ja aber

 

Kein "Ja aber". Ist einfach so. Die Parity Berechnung für ein Array mit genau zwei Platten (1x Parity, 1x Daten) erzeugt zufällig ein RAID-1. Die Art der Berechnung für eine einzelne Parity Disk ist immer gleich - egal ob 2 oder 24 Platten. 

 

Link to comment

Also nochmal back to the roots.

 

MB mit CPU (wahrscheinlich µATX)

2NVMe Platten

4x HDD (vorhanden)

up to 64 GB RAM ECC

 

Somit reichen mir auch MB mit

6x Sata III

2x NVMe

2-3 PCIe Steckplätze

optimal 2,5Gbit oder 10Gbit LAN

 

Sollte mit CPU im idle (HDD aus) unter 15-20w bleiben.

 

Habt ihr empfehlungen?

Link to comment
3 hours ago, renegade03 said:

OK und wo ist da der Unterschied?

Bei unraid:

"Array" = Verbund von maximal 28 Datenträgern (meist bevorzugt reinrassig Festplatten, weil SSD dort meist ausgebremst werden) mit Nutzdaten und maximal 2 Datenträgern (auch diese meist Festplatten, weil SSD in benötigter Größe meist erheblich viel teurer sind) für Paritätsdaten.

Das Array ist bei vorhandener/n Paritätsdatenträgern gegen Ausfall einer bzw. 2 Nutzdatenträgern gesichert.

Sollte man doch SSD im Array einsetzen, war es lange so, daß dort kein Trim unterstützt wurde (soweit ich las) und ich glaube das hat sich nicht geändert.

Das Array ist der Hauptzweck von unraid.

Die Datenträger es Array sind üblicherweise mit xfs (evtl . verschlüsselt) formatiert. BTRFS geht auch, wenn man das unbedingt will.

Die Datenträger können durch Spindown in einen recht stromsparenden Schlafmodus gelegt werden. (Ausnahme: bei SAS Datenträgern gibt es imme rnoch Fälle, bei denen das nicht klappt.)

 

DIe Nutzdateien sind üblicherweise in Unterverzeichnissen gelagert und per SMB/NFS Share über netzwerk diesem und anderen PCs bereitgestellt.

Diese Shares sind grundsätzlich auf dem Array platziert (Ausnahme siehe weiter unten - exklusive Poolnutzung).

Das Array ist also bei dem üblichen unraidsystem der hauptsächliche Lagerplatz für (fast) alle Nutzdaten.

 

Der eine oder auch mehrere "Pool"s ist/sind (ich vermute beliebig viele) Datenträger (also 1 oder mehr in jedem Pool) die man in einem Share dem Array vorschalten kann.

Damit werden neue Dateien, die in das Share geschrieben werden erst einmal in den zugeordneten Pool geschrieben (und dort in der selben Verzeichnisstruktur abgelegt, wie sie später auf dem Array landen sollen.

Deshalb wird der Pool auch als Cache (=Zwischenspeicher) bezeichnet und in dieser Funktion macht es Sinn dort schnellere Datenträger (=SSD) einzusetzen.

Unraid hat dann eine Funktion, die sich "Mover" nennt, die dann nach einem einstellbaren Timer Daten aus dem schnellen Cache irgendwann auf das dann meist langsamere Array verschiebt.

Aus dem Grund macht es Sinn, den Pool/Cache recht üppig auszustatten, wenn man mit vielen Dateien hantiert.

Da meist der Pool die schnelleren Datenträger enthält (=SSD) und nicht durch die Paritätsstruktur des Array ausgebremst wird, ist er auch üblicherweise der Lagerplatz für einige exklusive Unterverzeichnisse, die dann Systemrelevante Sachen enthalten: Dockerdatei(en), VM Images, etc...

Da sich auf dem/den Pool/s eben auch relevante Dateien befinden, sollte man überlegen hier auch eien Sicherung zu haben. was einerseits bedeuten kann, daß man ein Raid1 oder Raid5 mit mehreren Datenträgern im Pool per BTRFS dort nutzen kann oder andererseits vielleicht doch nur einen datenträger nimmt, aber die relevanten Dateien (VM/Docker) ab und zu wo anders hin sichert. Je wichtiger einem diese dateien und konfigurationen sind, desto sinnvoller sollte man eine regelmäßige Sicherung sein.

 

Sonderfälle:

- Es gibt Leute, die nicht unbedingt viel 'billigen' Festplattenplatz brauchen/wollen und deshalb dennoch SSD im Array einsetzen. Dass ist dann sehr schnell, aber bei größeren Konstellationen, bezogen auf den Preis pro GB Speicherkapazität, recht kostenintensiv.

- exklusiv Pool - Man kann Shares auch so einstellen, daß sie nur im Pool gehalten werden und nicht auf das Array verschoben werden. Dazu gehören eben auch die für die Docker/VM Dateien. Wenn die auf ein Festplatten Array verschoben würden, wären Schreibzugriffe dort extrem langsam und die Docker/VM würden sich doch ziemlich träge bedienen/ausführen lassen.

Es gibt Leute, die eine ganze reihe an persönlichen Nutzdaten immer schnell im Lese-&Schreibzugriff haben wollen, diese Leute lagern dann ggf. auch Nutzdaten exklusiv auf einem (SSD) Pool.

- Es gibt Leute (mich und ich vermute auch hawihoney) die sehr viel Speicherplatz wollen. Da reicht ein Array mit 28+2 Disks nicht aus. Hawihoney ist den Weg gegangen ein "Haupt" Unraid zu nutzen und darin dann weitere unraid als VM zu nutzen, welche dann jedes ein eigenes Array steuert. So hat das gesamte System meherer Arrays.

ich gehe bisher noch einen anderen Weg, indem ich ein Array mit sehr großen Festplatten aufgebaut habe und da das nicht reicht, zusätzlich mehrere SSDs in Pools zusammengeschaltet habe (Raid0) und auch Festplatten in einem anderen Pool (ebenfalls BTRFS Raid0). Anfänglich hatte ich auch BTRFS Raid5 verwendet, aber mir wurde von mehreren Seiten erklärt, daß BTRFS Raid5/6 sehr instabile Konstellationen sein können. Da ich dafür also sowieso aktuelle Backups vorhalten sollte, habe ich gleich die Ausfallsicherheit von Raid im Pool über Bord geworfen und nutze eben Raid0 und habe extern aktuelle Kopien der Dateien. BTRFS nutze ich nur, weil ich damit eben die Festplatten zu einem Verbund zusammenfassen kann.

Sollte unraid irgendwann endlich MultiArray beherrschen, werde ich testen, ob das für mich nicht mehr Sinn macht.

 

Ergänzen sollte ich für meinen Fall, daß ich trotz dieser Konstellationen in dem unraidsystem bisher nicht b´genug Speicherplatz realisieren konnte und ein zweites System für andere Daten nutze. Siehe auch meine Signatur.

 

Zweite ERgänzung: Da unraid sehr flexibel ist, gibt es noch bestimmt weitere Konstellationen, die ich nicht genannt habe (ZFS oder so). Es ist also ein sehr individuell gestaltbares System, aber leider erfordert es (meiner Meinung nach) auch einiges an Einarbeitungszeit, bis man wirklich verstanden hat, was man will und in wie weit einem unraid da entgegen kommen kann.

Link to comment
1 hour ago, renegade03 said:

Sollte mit CPU im idle (HDD aus) unter 15-20w bleiben.

 

Das Gigabyte W480M (8x SATA, 2x M.2, 2.5G LAN, ECC) würde da mit ab 10W sehr gut passen, ist aber aktuell nicht zu bekommen.

 

Alternativ hatte ich mal nach AMD geschaut. Das ASRock B550M Steel Legend sah interessant aus. Aber laut einer Bewertung ohne Grafikkarte 35W im Leerlauf:

https://www.mindfactory.de/product_info.php/ASRock-B550M-Steel-Legend-AMD-B550-So-AM4-Dual-Channel-DDR-mATX-Retail_1365252.html

 

😔

Link to comment
20 minutes ago, mgutt said:

Das Gigabyte W480M (8x SATA, 2x M.2, 2.5G LAN, ECC) würde da mit ab 10W sehr gut passen, ist aber aktuell nicht zu bekommen.

 

Alternativ hatte ich mal nach AMD geschaut. Das ASRock B550M Steel Legend sah interessant aus. Aber laut einer Bewertung ohne Grafikkarte 35W im Leerlauf:

 

Ja das habe ich auch bei AMD gefunden, aber leider noch keine Berichte über den Stromverbrauch.

Bei Intel kann ich auf Geizhals nicht mal ECC als Filter auswählen im Sockel 1200. :/

 

höchstens bei Xeon das Supermicro

 

 

Link to comment
2 minutes ago, mgutt said:

ECC können alle Xeon Chipsätze:

C236

C246

C256 (extrem seltene CPUs)

W480

W580 (Zwilling von C256, auch seltene CPUs)

 

Ja sind meist Serverboards. Der C246 ist bei Xeon gelistet nicht direkt unterm Sockel. Sind halt Serverboards. Hab bei Geizhals mit ecc und passendem REst auch da nur 6 Boards gefunden. Sind halt gleich 350,- € und mehr pro Board und immer IPMI usw. dabei. Somit werden die auch nicht so die sparsamen Dinger sein.

 

Somit bleibt eigentlich aktuell nur: 

  1. warten auf das Gigabyte
  2. mehr Verbrauch beim B550 Steel Legend hinzunehmen
  3. viel mehr Kohle und wahrscheinlich mehr Verbrauch bei den Xeon Chipsätzen himzunehmen

 

Oder hab ich noch was vergessen?

Link to comment
4 hours ago, renegade03 said:

Sind halt Serverboards

Eigentlich nicht. Die Chipsätze sind ganz normale Consumer-Chipsätze, nur dass sie ECC unterstützen. Intel nennt das "Workstation-Chipsatz". Aber ja, es gibt auch einige mit IPMI. Der Mehrverbrauch hält sich dabei aber in Grenzen. Das Supermicro mit W480 lag zB bei 12W:

https://forums.unraid.net/topic/116379-vorstellung-die-cloud-der-großfamilie/?tab=comments#comment-1076700

 

Das Problem ist eher, dass die meisten Boards ziemlich bescheiden ausgestattet sind (keine zwei M.2 oder gar keine M.2 oder nur 4x SATA usw).

Link to comment

Ich baue gerade einen neuen Haupt-Server (Signatur), sowie 2 Remote-Backup-Systeme auf.

Bis auf das Gigabyte C246M-WU4, den RAM und 3 Lüfter kommt alles von Kleinanzeigen.

 

Backup 1:

Im Format mITX habe ich da gerade ein Fujitsu/Kontron D3633-S12 (eines ist gerade noch bei Kleinanzeigen gelistet) mit einem i3-9100T in einem 4-bay Gehäuse verbaut.

Hätte es noch ECC wäre es fast mein Hauptsystem geworden.
Es kann auf dem PCIe 16x auch bifurkation 8x4x4x, kommt mit 4x SATA, hat einen m.2 PCIe 4x slot und sogar noch einen mPCI slot.
grafik.png.e615decae35a0bea937a86a17c5602e3.png

Es wären also über eine Erweiterungskarte (~30€) sogar 3x m.2 mit PCIe 4x denkbar.


Für den mPCI kommt Montag eine kleine Karte auf 2x SATA, dann sind sogar 6x SATA vorhanden.

grafik.png.996fc743988c115db386615abbf23c62.png

 

Backup 2:
Steckt im selben 4-bay Gehäuse und basiert auf einem ASROCK J4105-ITX.

Von den Boards gibt es ja einige, einfach mal schauen, was bei Kleinanzeigen gerade im Angebot ist. Kommen immer mal welche rein (ab 40€ schon alles gesehen).

Nur nichts unter dem J4xxx kaufen, die Vorgängerversionen sind im Verhältnis viel zu langsam und kosten auch nicht weniger.
Über den m.2 WLAN habe ich ebenfalls eine 2x SATA Erweiterung laufen - also ingesamt 6x SATA.

grafik.png.24551d475a3c8a30c438e3c9f4f698e6.png

 

Man bedenke in einer Synology DS920+ steckt auch nur ein J4125.
Im Vergleich hat mich das System mit 20GB RAM ~200€ gekostet.

 

Achso, warum 6x SATA?
- 4x für die hotswap bays

- Bis zu 2x dann für interne verbaute SSDs als Cache

 

Das von mir genutze Gehäuse ist baugleich mit diesem:

https://www.idealo.de/preisvergleich/OffersOfProduct/4684765_-ipc-sc-4100-schwarz-inter-tech.html

Die kleinen Netzteile bekommt man mit einem Noctua-Lüfter flüsterleise.

 

Für die mPCI/m.2 WLAN port bekommt man übrigens auch Ethernet-Karten mit 2.5G Netzwerk zum Nachrüsten.
Dann bleibt der PCIe frei für andere Dinge.

 

So mal als alternativer Blickwinkel ;)

 

Edited by Minion
Link to comment
8 hours ago, mgutt said:

Eigentlich nicht. Die Chipsätze sind ganz normale Consumer-Chipsätze, nur dass sie ECC unterstützen. Intel nennt das "Workstation-Chipsatz". Aber ja, es gibt auch einige mit IPMI. Der Mehrverbrauch hält sich dabei aber in Grenzen. Das Supermicro mit W480 lag zB bei 12W:

 

OK, das ist für ein Board mit IPMI doch echt OK. Zudem sagt man ja je kleiner, desto sparsamer und das ist ATX. Wie hast du denn den verbrauch gemessen?

 

Warum einen Thread über Boards, welche nur noch gebraucht zu haben sind und keinen für aktuelle Boards mit Verbrauch. Diesen kann man ja bei Geizhals auch nicht filtern?

 

Link to comment
25 minutes ago, renegade03 said:

keinen für aktuelle Boards mit Verbrauch.

Wenn du mir ein aktuelles sparsames Board zeigst 😅

 

Das Ziel des Threads ist es auch eher Boards zu listen, die man sonst gar nicht mehr findet.

 

Eine allgemeine Liste mit Verbrauchsangaben findest du hier:

https://www.hardwareluxx.de/community/threads/die-sparsamsten-systeme-30w-idle.1007101/

 

Quote

Wie hast du denn den verbrauch gemessen?

Minimalausstattung mit einer SSD. Messgerät Fritz! DECT 200

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.