[SOLVED] SMB Geschwindigkeit extrem langsam nach Einbau einer Parity Disk

[KinGSiZ3]

Hallo liebe Gemeinde, 

 

ich habe gestern Abend noch einige Daten auf meinen Diskshare kopiert ( DISK1 ), das lief wie immer mit 100 bis 110 MB/S. Da ich ein neues Setup habe, könnte ich endlich eine Parity Disk einbauen. Gesagt und getan, seitdem ist der Speed einfach nur noch mistig. Wir reden hier vom 600/700kb Bereich der sporadisch mal auf 1/2 MB springt. Hier gab es bis zum Einbau der Parity Disk nie Probleme.  Ich habe dafür auch nie eine Cache Pool genutzt. 

 

Daher meine Frage, was ist hier das Problem und was kann man machen.

 

Das 2te was mir aufgefallen ist, das meine Shares plötzlich ein Gelbes Ausrufzeichen anzeigen, diese Shares sind Cache Pool / Ordner ( VM und Docker ) und laufen  als Only:Cache.

 

Wo kann ich meine Suche nun ansetzen, weil so macht das leider alles kein Spaß was zu kopieren, dabei brauch ich das dringend.

 

Danke für die Hilfe 

 

Greetz KinGSiZ3

Edited June 16, 2022 by KinGSiZ3

[mgutt]

7 minutes ago, KinGSiZ3 said:

Wir reden hier vom 600/700kb Bereich der sporadisch mal auf 1/2 MB springt.

Dann ist das so. Viele kleine Dateien, langsame HDDs, langsame CPU,... Da gibt es mehrere Faktoren, aber Wunder darf man vom Array nicht erwarten, außer man verbaut ausschließlich SSDs.

 

8 minutes ago, KinGSiZ3 said:

Gelbes Ausrufzeichen anzeigen, diese Shares sind Cache Pool / Ordner ( VM und Docker ) und laufen  als Only:Cache.

Dann hast du nur eine SSD im Cache. Dh SSD kaputt, also Docker und VM weg. Davor warnt dich das Ausrufezeichen. Entweder regelmäßig Backups machen und mit einem gewissen Verlust bei Defekt leben oder eine zweite SSD verbauen und ein RAID1 machen.

[KinGSiZ3]

2 minutes ago, mgutt said:

Dann ist das so. Viele kleine Dateien, langsame HDDs, langsame CPU,... Da gibt es mehrere Faktoren, aber Wunder darf man vom Array nicht erwarten, außer man verbaut ausschließlich SSDs.

Das kann ich ja ausschliessen, lief ja vorher auch mit 100 MB/s nur seid dem Einbau des Parity Disk geht das so langsam.

2 minutes ago, mgutt said:

 

Dann hast du nur eine SSD im Cache. Dh SSD kaputt, also Docker und VM weg. Davor warnt dich das Ausrufezeichen. Entweder regelmäßig Backups machen und mit einem gewissen Verlust bei Defekt leben oder eine zweite SSD verbauen und ein RAID1 machen.

Habe mehre SSD aber nutze die nicht für das kopieren waren bei 100MB/s auch nie notwendig. 

 

Werde mal die Parity Disk entfernen und mal gucken was dann passiert.

[mgutt]

Just now, KinGSiZ3 said:

Werde mal die Parity Disk entfernen und mal gucken was dann passiert.

Dann wird es wieder schnell sein. Die Parität macht es deutlich langsamer. Faktoren habe ich oben aufgelistet. Du musst jetzt mal deine Hardware auflisten.

[KinGSiZ3]

 

Also Hardware ist:

 

MSI MAG Z490 TOMAHAWK

i5-10400

32GB Ram

2x WD Red 4 TB

1x 120 Gb NVME als Cache ( nur Docker )

1x 512 Gb NVME ( Nur VMS )

 

Ich habe bisher keine Parity Disk gehabt, sondern immer aufgrund von Platz die 2 NVME und 1 WD Red. Gestern habe ich mir halt die 2te WD Red gekauft, und dachte teste mal eine Parity Disk.  Das dadurch der Speed so extrem leidet wüsste ich nicht. Wegen Backup mache ich mir weniger Sorgen wird 1x die Woche auf ein externe Nas geschoben. Zumindest die relevanten Daten.

 

Die gelben Ausrufezeichen hatte ich auch bisher nie, erst seid dem Einbau einer Parity Disk, daher bin ich etwas verwundert.

 

 

 

[mgutt]

17 minutes ago, KinGSiZ3 said:

WD Red 4 TB

Keine Plus? Dann hast du SMR und damit dein Hauptproblem gefunden. SMR sind ungeeignet für NAS. WD behauptet zwar das Gegenteil, aber du siehst ja die Wahrheit.

[KinGSiZ3]

 

mqutt, ich weiß das es da Probleme gab, aber wie gesagt mit den 100 MB war ich soweit zufrieden, es liegen da nur Stumpf Musik und Filme. Also hatte ich da nie wirklich Probleme mit. Aber anscheinend durch die Parity Disk fällt es nun doch extrem auf. 

 

Werde ich wohl weiterhin ohne Parity Disk leben, oder auf Segate  umsteigen. 

 

[KinGSiZ3]

Okay das scheint es nicht gebracht zu haben, der Speed bleibt auch ohne Parity Disk im unterirdischen Bereich von 1MB 😕

[mgutt]

Wie gesagt. Wenn du die SMR Version der WD Red hast, dann ist das dein Hauptproblem. Allerdings sollte ohne Parität der Effekt nicht so krass sein. Dann transferiert du vermutlich sehr kleine Dateien und du hast vermutlich kein SMB Multi-Channel aktiviert. Außerdem nutzt du offensichtlich den Cache nicht. Niemand hier transferiert direkt ins Array, außer er befüllt den Server das erste Mal.

[KinGSiZ3]

mqutt, es hat nun monatelang so geklappt, das ich über das Netzwerk 100 MB schieben konnte. Bis ich gestern die HD eingebaut habe, und als Parity Drive festgelegt habe. Ich habe die nun entfernt und das Problem tritt weiterhin auf, also sehe ich hier nicht die DISK als schuld, auch wenn wie viellicht nicht die besten sind.

Weiterhin ist der Speed zur NVME genau so grottig wenn ich was in den Vm Cache oder Docker Cache kopiere. Sprich hier muss doch wohl eher ein anderes Problem auftretten. 

 

Das jetzt Random auf die Disk schieben sehe ich nicht so, da es wie gesagt bis gestern Abend nach dem Einbau der Parity Disk mit 100 MB/s für mich vollkommen zufriedenstellen war.

 

Und nein ich teste es mit einem Iso File der ca 5 GB Größe hat.

[mgutt]

13 minutes ago, KinGSiZ3 said:

Weiterhin ist der Speed zur NVME genau so grottig

Dann solltest du dein Netzwerk prüfen.

[DataCollector]

1 hour ago, KinGSiZ3 said:

ich habe gestern Abend noch einige Daten auf meinen Diskshare kopiert ( DISK1 ), das lief wie immer mit 100 bis 110 MB/S.

Also bis dahin ein Aray ohne Parity.

1 hour ago, KinGSiZ3 said:

Da ich ein neues Setup habe, könnte ich endlich eine Parity Disk einbauen. Gesagt und getan, seitdem ist der Speed einfach nur noch mistig. Wir reden hier vom 600/700kb Bereich der sporadisch mal auf 1/2 MB springt. Hier gab es bis zum Einbau der Parity Disk nie Probleme.  Ich habe dafür auch nie eine Cache Pool genutzt. 

Hast Du wenigstens gewartet, dass die Parität komplett erstellt wurde?

Sonst bremst die Erstellung zusätzlich zu Deinen nun neuen Schreibversuchen.

 

1 hour ago, KinGSiZ3 said:

Daher meine Frage, was ist hier das Problem und was kann man machen.

Beim schreiben großer Dateien auf ein Array mit Parität ist ungefär etwas weniger als 1/3 der Maximalschreibgeschwindigkeit drin.

Meine Disks schreiben große Dateien (sequentiell am Stück) alleine rund 250MByte/s weg.

Mit Parität (wegen Lesen, Modifizieren, Warten und Schreiben) schreibt es sich mit rund 60-70MByte/s.

Bei kleineren Dateien entsprechend langsamer.

 

1 hour ago, KinGSiZ3 said:

Das 2te was mir aufgefallen ist, das meine Shares plötzlich ein Gelbes Ausrufzeichen anzeigen, diese Shares sind Cache Pool / Ordner ( VM und Docker ) und laufen  als Only:Cache.

Da sgelbe Ausrufezeichen bedeutet eigentlich, daß hier keine Parität besteht.

Wenn Du das Share also "only/nur" im Cache laufen hast, und die Parität eben nur im array existiert, dann sind die Daten des Share eben ohne Parität.

 

1 hour ago, KinGSiZ3 said:

Wo kann ich meine Suche nun ansetzen, weil so macht das leider alles kein Spaß was zu kopieren, dabei brauch ich das dringend.

Ausreichend großen Cache einbauen und korrekt einstellen, so daß der Cache alle Schreibzugriffe aufs Share temporär aufnimmt und dann in aller Ruhe im Hintergrund auf das Array verschieben kann.

[DataCollector]

1 hour ago, mgutt said:

Keine Plus? Dann hast du SMR und damit dein Hauptproblem gefunden. SMR sind ungeeignet für NAS. WD behauptet zwar das Gegenteil, aber du siehst ja die Wahrheit.

Meine persönliche Meinung, nachdem ich im Array auch SMR betreibe:

SMR ist miserabel bis ungeeignet als Parität, wegen der sehr vielen sich häufenden Schreibzugriffe, die durch das SMR Verfahren und ständige Umsortieren bremsen.

Im Array als Datenplatte sind SMR zwar auch bremsend, aber noch 'erträglich', wenn man eben nicht mit winzigen Dateien arbeitet.

[DataCollector]

1 hour ago, KinGSiZ3 said:

Werde ich wohl weiterhin ohne Parity Disk leben, oder auf Segate  umsteigen.

Nur als ergänzende Information: SMR ist nicht auf WD beschränkt.

Achte auf das jeweilige Produkt, nicht zwingend nur auf den Hersteller.

 

Seagate hatte mit den Archive v2 Platten sehr früh SMR eingesetzt und macht es auch heute noch bei diversen Modellen.

Aber WD ist dahingehend sehr negativ aufgefallen, weil sie es gerade in der teueren NAS Sparte (den Reds) stillschweigend eingesetzt und verschwiegen hat. Erst als es den Usern auffiel, daß da etwas nicht so ist, wie bei den früheren Reds haben sie die Katze aus dem Sack gelassen. Und viele Nutzer lassen sich ungerne so 'im Dunkeln stehen'. Deshalb ist es auch aktuell (meiner persönlichen meinung nach) sehr schlecht, daß WD mit seinen White Label Platten und den vielen unbekannten Modellbezeichnungen die User weiter im Dunkeln stehen läßt, was sie da wirklich für eine Festplatte haben.

 

Ich habe lange Jahre bewusst in Hardwarerraid5 und 6    SMR-Festplatten eingesetzt (Seagate Archive v2 8TB) und war/bin mir der Situation bewusst. Es war/ist eine Kosten/Nutzen/Kapazitätsentscheidung und ich konnte/kann damit leben, dass eine Online Kapazitätserweiterung schon mal rund 1 Monat brauchte, bis das Raid ca. 8TB größer ist. Bei NAS Nutzung im Raid5/6 hat sich im laufenden Betrieb der Nachteil von SMR durch die schiere Anzahl von Festplatten weit genug kompensieren lassen, daß ich auf solche Hardwareraid5/6Arrays spitze weit über 500MByte/s schreiben konnte und die Schreibrate erst nach rund 1TB massiv abfiel. Doch ein Raid5/6 Array braucht eben immer alle Platten (fast) gleichzeitig und schluckt massiv Strom.

 

Da unraid aber eben kein Raid ist, ist es sehr viel energiesparsamer, doch die anderen Punkte fallen eben auf. und gerade SMR als Parität ist einer der größten Bremsklötze. Eine flotte CMR Platte als Parität (und wenn die Parität vollständig erstellt ist) bremst weit weniger.

 

[DataCollector]

41 minutes ago, mgutt said:

Dann solltest du dein Netzwerk prüfen.

Mir ist auch schon bei meinen beiden Sysetmen aufgefallen, daß ein sehr beschäftigtes Array auch die Performance der CacheSSD bremst.

Deshalb habe ich auf meinem kleinen System (2nd) zum Test den Mover von stündlich umgestellt auf nur einmal Nachts, wenn ich nicht dran arbeite und den Cache massiv aufgepumpt (3* 2TB NVMe Samsung 970 Evo Plus).

So schreibe ich eben wirklich über Netzwerk wieder flotter auf unraid und der kasten kann sich in der idlezeit selber mit den Daten im Cache beschäftigen (wobei ich aus Sortiergründen auch ab und zu den MC manuell vom Cache auf gezielte Disks verschieben lasse).

 

[KinGSiZ3]

Also es passiert aktuell nix auf dem Server. Mein Test unRAIDballert fröhlich mit 100MB/s mein Main unRAID kommt nicht über 600 kb/ 1 MB/s. Gestern wie gesagt vor dem Einbau der Parity Disk war alles super 😕

 

Ich habe grade erst alles neu aufgesetzt. Könnte echt alles aus dem Fenster werfen grad.

 

 

[alturismo]

7 hours ago, KinGSiZ3 said:

Ich habe grade erst alles neu aufgesetzt. Könnte echt alles aus dem Fenster werfen grad.

 

 

da das Topic jetzt "solved" gesetzt wurde, was war es jetzt ?

[mgutt]

7 hours ago, KinGSiZ3 said:

Ich habe grade erst alles neu aufgesetzt

Keiner hat die gesagt, dass du das tun musst. Es gibt keine "Einstellung" womit man den Server langsamer macht und die bei Neuinstallation verschwindet.

 

1MB deutet auf 10MBit Netzwerkverbindung hin. Wie gesagt. Prüf dein Netzwerk.

 

Du kannst auch verifizieren, dass es das Netzwerk ist, in dem du direkt eine Datei auf Disk1 erstellst:

 

dd if=/dev/null of=/mnt/disk1/test.bin bs=1M count=5000

 

 

[DataCollector]

2 hours ago, alturismo said:

da das Topic jetzt "solved" gesetzt wurde, was war es jetzt ?

Ich vermute es wurde die Paritydisk ausgebaut und somit ist die Geschwindigkeit wieder wie vorher:

 

 

[mgutt]

1 minute ago, DataCollector said:

Ich vermute es wurde die Paritydisk ausgebaut und somit ist die Geschwindigkeit wieder wie vorher:

Nein, gerade das bemängelt er ja. Ausgebaut und Unraid neu installiert und trotzdem noch langsam. Warten wir mal auf weiteren Input.

[KinGSiZ3]

Ich kann es ehrlich gesagt nicht erklären, nach dem Ausbau der Paritydisk war es wieder normal, da ich aber die HDD dafür gekauft habe, hab ich gestern ein erneuten Versuch gestartet. Auch mit Paritydisk sind die Schreibraten zum SMB super. 

 

Wieso das so ist kann ich nicht sagen. Auf mgutt seine Empfehlung habe ich natürlich auch mein Netzwerk gecheckt, meine UDMP Pro und Switch liefen ohne Probleme. Vllt gab es hier irgendwo ein Schluckauf bei unRAID. Weil kein anderes System was hier aktiv lauft ( Ob Windows oder Linux ) hatte solche Probleme, in dem Moment.

 

Leider kann ich so keine Lösung als Tipp geben.