Unraid neu gemacht - ohne echtes Raid - jetzt kopieren langsam

[Mofarocker33]

Hi,

 

wie im Anhang zu sehen finde ich die schreibgeschwindigkeit sehr schlecht.

Hatte vorher echten Raid Controller und andere Hardware. Habe den Build erneuert auf i5-146600k 128Gb Ram und aus Energie Gründe den Controller weg gelassen, damit die Helium 7200rpm schlafen gehen können wenn nicht gebraucht.
Aber muss er denn schon beim kopieren direkt neben dem schreiben lesen und lesen + schreiben auf der Parität. Beim Syncen hatte jede Platte so 270 MB/s im schnitt.

[Mofarocker33]

Hätte ich nichts ZFS wählen dürfen als Datei System?
Ich habe noch kein Docker und keine VM - nichts am laufen außer kopiervorgang.

[jj1987]

19 minutes ago, Mofarocker33 said:

Aber muss er denn schon beim kopieren direkt neben dem schreiben lesen und lesen + schreiben auf der Parität.

Wie soll denn sonst die Parität erstellt werden?!

Deshalb wird eigentlich auch empfohlen, bei der "Erstbetankung" ohne Paritätsfestplatte zu starten (dann aber Daten auch nur kopieren und nicht verschieben, damit man immer noch eine Sicherheit hat) und erst wenn alles drauf ist eine Parity dem Array hinzuzufügen.

Edited March 11 by jj1987

[Mofarocker33]

Aber es ist dann danach doch trotzdem öde lahm wenn der was machen soll später...

Sonst mache ich ne Dummy Platte für Array und eigenen Pool mit SW Raid für die Daten.

 

Habe ich mal so gemacht. Ich kann aber dem Mover nicht sagen Pool zu Pool - ich muss immer einmal das Array auswählen für Primary oder Secondary Storage.
Denn ich hätte gerne M.2 Pool Gerät Primary und dann zfs SW Raidz pool Device als Secondary target...
Somit bin ich also trotz Cache Devices immer auf das Array angewiesen und kann nicht drum herum arbeiten?
 

[hawihoney]

23 minutes ago, Mofarocker33 said:

Aber es ist dann danach doch trotzdem öde lahm wenn der was machen soll später

 

Das ist das Kernelement des Unraid Arrays - eine in Echtzeit aktualisierte Parity. Das ähnelt einem RAID-4:

 

https://de.wikipedia.org/wiki/RAID#RAID_4:_Block-Level_Striping_mit_Paritätsinformationen_auf_separater_Festplatte

 

Musst halt Reconstruct Write aktivieren - mit allen Vor- und Nachteilen (z.B. erhöte Stromkosten) die sich dadurch ergeben.

 

23 minutes ago, Mofarocker33 said:

Ich kann aber dem Mover nicht sagen Pool zu Pool

 

Das ist für eines der beiden kommenden Release geplant.

 

Edited March 11 by hawihoney

[jj1987]

27 minutes ago, Mofarocker33 said:

Aber es ist dann danach doch trotzdem öde lahm wenn der was machen soll später...

Jap, das ist so "by Design"

Ist jetzt aber auch alles andere als ein Geheimnis.

Mit dem Cache kann man die Schreibzugriffe beschleunigen, lesen geht maximal mit der Geschwindigkeit der jeweils angesprochen HDD.

Willst du mehr musst du Pools nutzen

[Mofarocker33]

Das klingt doch schonmal sehr gut. das es als Feature kommen wird.
Dann kann ich mir ja nochmal die Mühe machen und mich für kurze Zeit auf das Backup verlassen.
 

@jj1987 Danke, genau das wollte ich fragen. Dann währe wenigstens lesen schnell (also schneller) und hatte die 2tb Samsung 990 pro als Cache eingeplant. Nur will ich die ja bei erst betankung nicht Tot schreiben.

[DataCollector]

1 hour ago, Mofarocker33 said:

wie im Anhang zu sehen finde ich die schreibgeschwindigkeit sehr schlecht.

 

Dies ist normal im Array mit Parity. Deshalb will man ja in der Regel das Array auch per SSD kompemsieren.

Die Schreibgeschwindigkeit liegt zwischn 33-5ß% dessen, was die Parityfestplatte selber an der gerade betreffenden Stelle kann, weil im normalen stromsparenden Betrieb die Paroty erst die Stelle einlesen, dann die CPU die neu berechnen muß, dann muß die Parity warten, bis die selbe Stelle wieder unter dem Lese-/Schreibkopf durchflitzt und diese schreiben.

 

Dafür dürfen dann alle anderen (unbeteiligten) Festplatten im Betrieb schlafen und das spart eben Strom.

Im Reconstruct Modus schreibt es sich schneller, aber dafür laufen dann alle Festplatten, wenn auf nur einer etwas geschrieben werden soll.

 

1 hour ago, Mofarocker33 said:

Hatte vorher echten Raid Controller

 

... und anscheinend das Stromsparprinzip von unraid noch nicht so ganz mitbekommen.

 

1 hour ago, Mofarocker33 said:

Habe den Build erneuert auf i5-146600k

 

😁 Boah Ey! Hassu den aus der Zukunft liefern lassen? 😄

 

1 hour ago, Mofarocker33 said:

128Gb Ram und aus Energie Gründe den Controller weg gelassen, damit die Helium 7200rpm schlafen gehen können wenn nicht gebraucht.

 

Da unter unraid RAIDKontroller im RAID Modus sowieso nicht unterstützt werden (auch wenn es da Möglichkeiten gibt unraid ein echtes Raid unter zu schieben) macht es Sinn den Kontroller nicht zu nutzen (oder in einen HBA/IT Modus umzustellen).

 

1 hour ago, Mofarocker33 said:

Aber muss er denn schon beim kopieren direkt neben dem schreiben lesen und lesen + schreiben auf der Parität.

 

Alle Schreiboperationen auf ein mit Parity gesicherten Arrays im normalen Betriebsmodus werden durch die Parity gebremst.

Das ist das Konzept. Wnen man da snicht will, kann man entweder den Reconstruct Mode verwenden, bei dem alle festplatten laufen oder die Parity entfernen, damit hat man aber dann keien Ausfallsicherheit der Datenfestplatten in dem Array.

 

1 hour ago, Mofarocker33 said:

Beim Syncen hatte jede Platte so 270 MB/s im schnitt.

 

Was ja nur die direkte Lesegeschwindigkiet der Festplatten und die direkte Schreibgeschwindigkeit der Parity anzeigt, wenn diese Parity eben NICHT vorher den selben Block einlesen muß.

 

Deshalb empfehle ich ja auch, daß die Parityfestplatte nach Möglichkeit immer die schnellste sein sollte. Alle anderen dürfen dann gerne nur halb so flott sein, aber die Parity ist im normalen betrieb ausschlaggebend.

Ich hatte auch mal versucht bei einem Array mit 8TB Festplatten eine 8TB SSD als Parity zu verwenden, aber sie was dann leider doch einige Blöcke zu klein.

[Mofarocker33]

Quote

... und anscheinend das Stromsparprinzip von unraid noch nicht so ganz mitbekommen.

Doch doch, aber habe nach viele Änderungen in meinem Leben, unter anderem Haus gekauft, nun wieder Zeit mit mit meinem Spaßigem Kram zu beschäftigen. Darunter fiel auch die Aktion, zu meinem 1500 Watt Solar Anlage (Drosselbar - noch nicht Montiert) dass es bei Shelly den 3EM gab für einen annehmbaren Preis und 0% Mwst.
Den habe ich schon verbaut und konnte halt schön sehen das die komplett umgebaut z440 Workstation sich gut was weg schnabuliert hat. Sieh unten Bilder -> Phase C (Minus werte, werde ich noch ändern - Ausrichtung der Messklemmen.
Daher ja der umbau, mehr mehr Effizienz und auch mehr Leistung. Wichtiger aber weniger Strom verbrauchen.

 

Quote

Da unter unraid RAIDKontroller im RAID Modus sowieso nicht unterstützt werden

Doch doch, der SAS Raid Controller, glaube Original LSI aber Intel Branded, mit 1Gb Cache und Flash Bachup für ram auf BBU wurde ohne zu tun erkannt und das Array aus 5x16TB im Raid6 lief Problemlos. Für Festplatten Sammler ggf. interessant, da im Unraid einfach nur eine HDD angezeigt wird. Kann man ggf. Lizenz kosten sparen.
Blöd war eher, trotz Stanby Einstellungen sind die Platten nie schlafen gegangen.
Aber Perfomance war schon gut - Habe gar kein Cache gebraucht.

 

Quote

werden durch die Parity gebremst.

Das ist das Konzept. 

Jau habe ich ja jetzt gesehen.

 

Quote

Deshalb empfehle ich ja auch, daß die Parityfestplatte nach Möglichkeit immer die schnellste sein sollte.

Sind alles die gleichen -> Komme ja aus HW Raid.

---
Anbei Bilder alt System - falls jemand interressiert ist. Also sehen was manche andere für Quatsch bauen. XD

[hawihoney]

40 minutes ago, Mofarocker33 said:

Für Festplatten Sammler ggf. interessant, da im Unraid einfach nur eine HDD angezeigt wird. Kann man ggf. Lizenz kosten sparen.

 

Warum dann Unraid? Die Kernkomponente "Unraid Array" adressiert doch eine ganz andere Kundschaft:

 

- Immer nur eine Platte beim Lesen aktiv (Stromsparen)

- Immer nur 1-3 Platten (abhängig von Anzahl Parity Platten) beim Schreiben aktiv (Stromsparen)

- Extrem hohe Sicherheit (jede Platte mit eigenem Dateisystem)

- Mischbetrieb an Platten

...

 

All das widerspricht doch klassischem RAID. Für klassisches RAID kann ich doch jede andere blöde Plattform nehmen.

 

Ich arbeite nun schon sehr lange mit Unraid und bin natürlich extrem "biased". Für meine Wahl ausschließlich mit Unraid Arrays zu arbeiten gratuliere ich mir immer wieder mal. Performance beim Schreiben brauche ich nicht - läuft überwiegend im Hintergrund. Performance beim Lesen ist nativ. Perfekt für meinen Anwendungsfall "Datengrab".

 

Edited March 11 by hawihoney

[Mofarocker33]

Die Unraid Plattform hat eine Herausragend gute Verwaltung des Systems in der WebGUI, welche hervor zu heben ist. Ich bin nicht auf spezielle freigegeben Hardware angewiesen und die Docker Verwaltung mit dem App Shop ist einfach Killer.

[DataCollector]

14 hours ago, Mofarocker33 said:

Daher ja der umbau, mehr mehr Effizienz und auch mehr Leistung. Wichtiger aber weniger Strom verbrauchen.

 

Doch doch, der SAS Raid Controller, glaube Original LSI aber Intel Branded, mit 1Gb Cache und Flash Bachup für ram auf BBU wurde ohne zu tun erkannt und das Array aus 5x16TB im Raid6 lief Problemlos. Für Festplatten Sammler ggf. interessant, da im Unraid einfach nur eine HDD angezeigt wird. Kann man ggf. Lizenz kosten sparen.
Blöd war eher, trotz Stanby Einstellungen sind die Platten nie schlafen gegangen.

 

Zu dem Wunsch mehr Effizienz und auch mehr Leistung: bei Unraid gibt es nur das eine oder das andere, wenn man nur mit Festplatten im Array arbeitet.

Du kannst ja gerne eien Festplatte als pool vorschalten, wenne s keien SSD sein soll.

 

Zu dem Raid Kontroller: Mir ist klar (ich erwähnte ja auch: "auch wenn es da Möglichkeiten gibt unraid ein echtes Raid unter zu schieben") daß man unraid Raid uunterschieben kann, aber das macht eben bei dem primären Wunsch nach Energiesparen absolut keinen Sinn.

Und bei einer so kleinen Anzahl von festplatten (5 Stück) macht auch ein SAS Kontroller under dem primären Wunsch des Energiesparens nur in gaaaaaanz seltenen fällen vielleicht Sinn.