Beste/Sinnvollste Vorgehensweise HPDL380G9 Raid -> ohne Raid (verwaltet vom Raidcontroller)

[lucifor1976]

Einen wunderschönen guten Morgen,

 

ich befasse mich gerade mit meinem Unraid Server was ich schon geraume Zeit vor mich herschiebe

 

Ausgangssituation:

HP DL380 G9 mit 512GB RAM und Raidcontroller, daran 4x2TB Cruicial SSD im Raidverbund = 6TB Speicher als ein logisches Laufwerk

2x Intel Xeon E5 2650 mit HT.

 

Das System ist wirklich langsam, Docker läuft so lala, VM´s sind unbrauchbar, egal ob Windows oder Linux, jeder Raspberry 2 ist schneller.

Ich möchte dem Problem auf die Spur gehen und habe testweise einen zweiten Server gleicher Konfiguration ausgesetzt, einziger Unterschied der Testserver läuft im HBA Mode und hat 1x2TB 1x1TB 1x500GB und 1x250GB uralte HDD´s

 

Das läuft so schon mal wesentlich schneller, ich habe keine Paritätsdisk eingerichtet und die Docker und die VM´s auf der 2TB Disk gelegt.

läuft so schon mal ordentlich schneller als auf dem Life Server.

 

Ich habe natürlich keine Lust den Server vollständig Platt zu machen und bei null zu beginnen, da dieser seit Jahren gehortete Datenbanken hostet, die sollen ja logischerweise erhalten bleiben. Inklusive diverser Nodes (BTC, Doge, Pi, Monero °°)

 

Ich habe mir das so vorgestellt (und bitte hier um verbesserungen oder alternative Voschläge)

 

Frisches Appdata Backup aller Docker Container und VM´s auf einem externen NAS

Die Unraid Einstellungen ect werden hoffentlich auf dem USB Stick gesichert? und ich brauche mich darum nicht zu kümmern?

 

Raidverbund auflösen, Raidcontroller in den HBA Mode bringen, 1x2TB Parität 3x2TB als Datendisks, aber mit welchem Filesystem?

 

Appdata Backup Restore und das Thema ist erledigt?

 

Ist es wirklcih "so" einfach?

 

Danke für eure Vorschläge

LG

Lucifor

 

[saber1]

1 hour ago, lucifor1976 said:

Ausgangssituation:

HP DL380 G9 mit 512GB RAM und Raidcontroller, daran 4x2TB Cruicial SSD im Raidverbund = 6TB Speicher als ein logisches Laufwerk

2x Intel Xeon E5 2650 mit HT.

Das Unraid keine Hardware RAID-Controller unterstützt, ist Dir bekannt?

Siehe: https://docs.unraid.net/unraid-os/faq/os-faq/#does-unraid-support-hardware-based-raid-controllers

[alturismo]

2 hours ago, lucifor1976 said:

Raidverbund auflösen, Raidcontroller in den HBA Mode bringen, 1x2TB Parität 3x2TB als Datendisks, aber mit welchem Filesystem?

 

ich frag mal so, du hattest das Thema schonmal angeschnitten ... und keine weitere Antwort mehr gegeben ...

 

 

warum ... weißt nur du  bitte in Zukunft einfach deinen vorhandenen Thread weiterführen anstelle neue zu eröffnen.

[DataCollector]

3 hours ago, lucifor1976 said:

Raidverbund auflösen, Raidcontroller in den HBA Mode bringen, 1x2TB Parität 3x2TB als Datendisks, aber mit welchem Filesystem?

 

Wenn Du diese Disks unter unraid 6.x so betreiben willst würde ich sagen Array und die Datendisks mit xfs nutzen.

Wenn Du diese Disks unter unraid 7.x beta so betreiben willst hättest Du zusätzlich noch die Möglichkeit, das Ganze als Pool mit Raid5 ähnlichem zfs zu realisieren.

 

3 hours ago, lucifor1976 said:

Appdata Backup Restore und das Thema ist erledigt?

 

Ob der Wechsel zu HBA Dein Problem löst, kannst Du nur ausprobieren.

 

Wenn meine Raid5/6 (an Megaraid unter Windows) ungewöhnlich langsam werden, ist meist ein Blick in das Management des Kontrollers hilfreich. Oft ist ein Raid entweder degraded bzw. rebuilded oder es laufen Wartungsarbeiten (Patrol read auf mehreren Disks gleichzeitig oder so) oder gar beides..

 

Edited September 14 by DataCollector

[lucifor1976]

 

@alturismo Ja, im Sorry, hab ich verpeilt.. Kommt nicht mehr vor, versprochen

 

@DataCollector Im Großen und Ganzen lag es wohl am Raid Unterbau. Ich habe das Raid aufgelöst, 2x2TB SSD im Cache und den Rest der Platten jetzt in einem Array, beide mit btrfs. Docker laufen wie Schmitz Katze, VM sind deutlich schneller aber noch immer nicht wirklich zufriedenstellend. Zumindest nicht für die Serverleistung, irgendwie erwarte ich da mehr.

 

Und Ja, Das Restore mit Appdata-Backup ging gut von statten was die Docker Container anging.

Bei dem Thema der VM´s hätt. ich kotzen können. Backup mit "VM-Backup" und mit Schrecken feststellen müssen das es keine Restore Funktion gibt.

Also manuell wiederhergestellt. -> 80% Fail, eine Linux VM liess sich wieder zum Leben erwecken (die Wichtigste) zwei weitere VM´s sind den Heldentot gestorben und waren nach dem Restore nicht mehr zum Leben zu erwecken.. Da gilt mal wieder ein Backup Programm ist nur so gut wie seine Retore Funktion ..

Ich musste die beiden gestorbenen VM´s vollständig neu einrichten.

 

Naja, viel daraus gelernt, nun läuft der Server besser, von der Basic auf die Plus Lizenz geupgraded und kann jetzt noch weitere 4 Laufwerke anschliessen, dazu fehlt mir aber ein weiteres Media-Bay im DL380

 

[DataCollector]

1 hour ago, lucifor1976 said:

Im Großen und Ganzen lag es wohl am Raid Unterbau. Ich habe das Raid aufgelöst, 2x2TB SSD im Cache und den Rest der Platten jetzt in einem Array, beide mit btrfs.

 

btrfs: hätte ich persönlich nicht gewählt.

Solltest Du in Zukunft komische Probleme haben, ist eine Überprüfung des/der btrfs Formatierungen/Integrität vielleicht einen ersten Blick wert.

 

[lucifor1976]

Ich habe zwei Synos mit btrfs problemlos seit ewigen Zeiten laufen, ich werde das mal beobachten.

 

So ganz zufrieden bin ich noch nicht, ich habe 4 Crucial SSDs je 2 TB, ich habe zwei in den Cache gepackt und zwei ins Array, dann sollte eine weitere 2TB HDD von WD dazukommen, ging nicht, sagt er die Parity wäre nicht die größte Disk, gmpf, also Array aufgelöst und die WD HDD als Parity definiert, ging auch nich, unzulässige Aktion..

 

Ich habs dann gelassen und die WD HDD als unassigned Device als eigenes Laufwerk hinzugefügt..

 

Ich hoffe ja das wird unter 7.x alles ein wenig einfacher...

[DataCollector]

7 hours ago, lucifor1976 said:

Ich habe zwei Synos mit btrfs problemlos seit ewigen Zeiten laufen, ich werde das mal beobachten.

 

Es gibt auch bei unraid Leute die problemlos mit btrfs leben. Aber leider liest man immer wieder von Problemen, bei denen sich dann btrfs als verstecktes Problem hervorgetan hat.

Ich meide (soweit ich kann) weiterhin btrfs unter unraid. Ist eben meine persönliche Meinung. 😃

 

7 hours ago, lucifor1976 said:

So ganz zufrieden bin ich noch nicht, ich habe 4 Crucial SSDs je 2 TB, ich habe zwei in den Cache gepackt und zwei ins Array, dann sollte eine weitere 2TB HDD von WD dazukommen, ging nicht, sagt er die Parity wäre nicht die größte Disk, gmpf, also Array aufgelöst und die WD HDD als Parity definiert, ging auch nich, unzulässige Aktion..

 

2TB SSD sind meist kleiner als 2TB HDD.

Dies hatte ich auch schmerzlich mit 8TB SSD zu 8TB HDD gemacht.

 

Du kannst das Array nochmal auflösen und das größte Laufwerk als Parity nutzen. Danach kannst Du alle anderen (kleineren oder gleich großen) Festplatten/SSDs einbauen. Aber man sollte wirklich genau auf die Größe (Anzahl der 512Bit [emulierten] Sektoren) achten.

Unraid ist da sehr pingelig, weil es eben mit nicht existierenden Sektoren einer Parity schlecht die existierenden Sektoren einer Datenfestplatte schützen kann.

Angaben wie "2TB" sind da eben oft zu ungenau.

Und wenn Seagate bald seine Festplatten auf den Markt wirft, die wirklich versuchen jeden Quadratmillimeter zu nutzen wird das noch lustiger, wenn Festplatten mit 24 (oder mehr) TB auf einmal ein paar Sektoren mehr haben, als die baugleichen Geschwister.

 

7 hours ago, lucifor1976 said:

Ich hoffe ja das wird unter 7.x alles ein wenig einfacher...

 

Auch da muß im Array die Parity mit die Größte Festplatte sein. Da ändert auch 7.x nichts.

 

Edited September 17 by DataCollector
Typos

[lucifor1976]

Ich habe das Array auf ZFS umgestellt, bin ja lernfähig und wissbegierig

 

Die 2TB HDD bekomme ich aber nach wie vor nichts ins System.

 

Löse ich das Arrsay komplett auf und nehme die HDD als Parity wird das Array unbrauchbar langsam, füge ich die SSD hinzu die vorher die Parity war verweigert Unraid dies mit einem "ungültige Konfiguration" auch wenn ich beide DIsks vorher Pregecleant habe.

Ist die SSD wieder Parity und ich füge die HDD hinzu kommt gleich die größte Platte ist nicht die Parity und wieder geht nüscht weiter.

 

Ich kenne die Funktion der "neue Konfiguration", hilft mir aber nicht, da mir gerade der Cache nicht verloren gehen darf, sonst muss ich wieder zwei VM´s neu einrichten.

 

Ich wollte eh noch 3 oder 4 Crucials SSD dazu kaufen, ich hoffe es klappt wenigstens wenn ich die kleineren Platten austauschen will und die 2 TB HDD dann rausfliegt

(Jetzt gerade als UAD eingehangen)

 

[alturismo]

7 minutes ago, lucifor1976 said:

.

 

Ich kenne die Funktion der "neue Konfiguration", hilft mir aber nicht, da mir gerade der Cache nicht verloren gehen darf, sonst muss ich wieder zwei VM´s neu einrichten.

Anscheinend nicht wirklich, dabei geht nichts verloren ...

 

Abgesehen davon kannst du auch sagen dass die Zuweisung des cache erhalten bleibt ...

[lucifor1976]

Danke das hat geklappt

 

[DataCollector]

3 hours ago, lucifor1976 said:

Löse ich das Arrsay komplett auf und nehme die HDD als Parity wird das Array unbrauchbar langsam,

 

Was meinst Du mit unbrauchbar langsam?

Das das Array mit 1/2 bis 1/3 der Schreibgeschwindigkeit der Parity schreibt ist klar, oder?

 

3 hours ago, lucifor1976 said:

füge ich die SSD hinzu die vorher die Parity war verweigert Unraid dies mit einem "ungültige Konfiguration" auch wenn ich beide DIsks vorher Pregecleant habe.

 

Hast Du mal nachgeschaut, wie groß (Anzahl der 512er Sektoren) die Datenträger sind?

 

3 hours ago, lucifor1976 said:

Ich kenne die Funktion der "neue Konfiguration", hilft mir aber nicht, da mir gerade der Cache nicht verloren gehen darf, sonst muss ich wieder zwei VM´s neu einrichten.

 

1. wenn man auswählt, daß die Pools bestehen bleiben, dann bleiben die auch bestehen. (wie alturismo ja schon schrieb)

2. Wenn Du Angst hast etwas zu verlieren sind Backups dein Freund.

 

Edited September 20 by DataCollector

[lucifor1976]

Wie ich schon schrieb, wenn ich eine VM Backuppe ^^diese Restore und sie läuft nich mehr, hilft mir das Backup nicht °°

 

Ich hab aber mit einer neuen Konfig hinbekommen, läuft nun so wie ich mir das vorstelle.

 

Mich wundert nur das seit der Umstellung auf ZFS der Ram Verbrauch deutlich in die Höhe gegangen ist vorher so um die 30 GB, jetzt um die 120GB, Das ZFS Filesystem ist von 10-15% auf 90% + gegangen. Muss mir das etwas sagen?

 

 

[DataCollector]

4 hours ago, lucifor1976 said:

Wie ich schon schrieb, wenn ich eine VM Backuppe ^^diese Restore und sie läuft nich mehr, hilft mir das Backup nicht °°

Wenn man alles backuppt (auch die Einstellungen der VM) kann man das in aller regel auf der selben Hardware schnell wieder zum Laufen bekommen.

 

 

4 hours ago, lucifor1976 said:

Mich wundert nur das seit der Umstellung auf ZFS der Ram Verbrauch deutlich in die Höhe gegangen ist vorher so um die 30 GB, jetzt um die 120GB, Das ZFS Filesystem ist von 10-15% auf 90% + gegangen. Muss mir das etwas sagen?

 

zfs puffert viel im RAM.

Brauchst Du wirklich ein zfs raid?