@DataCollector @MPC561 erst mal vielen Dank für die super schnellen Rückmeldungen und Erklärungen 🙂 Nun habe ich mein Unraid schon gut am laufen, vielen Dank dafür!

 

Ich hätte allerdings noch mal eine kurze Frage. Ich habe zwei WD Blue SN580 (1 TB) NVMe als Cache im ZFS eingerichtet.


Wenn ich nun aber auf die NVMe's schreibe ist die Schreibrate doch ehr gering und bricht teils sogar ein. Wenn ich im Unraid Webinterface schaue, springen die Werte hier sogar hoch und anschließend beide kurz auf 0.00 B/s zurück, sieht sehr merkwürdig aus kann natürlich auch die Anzeige sein, da die Übertragung selbst nicht abbricht.

Nachfolgend mal ein Move auf einen TEST Share eines 5 GB Testfiles via SMB:
rsync -ah --progress --stats testfile.org-5GB.dat   /mnt/NAS/

testfile.org-5GB.dat
          5.00G 100%   59.59MB/s    0:01:20 (xfr#1, to-chk=0/1)

Number of files: 1 (reg: 1)
Number of created files: 1 (reg: 1)
Number of deleted files: 0
Number of regular files transferred: 1
Total file size: 5.00G bytes
Total transferred file size: 5.00G bytes
Literal data: 5.00G bytes
Matched data: 0 bytes
File list size: 0
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 5.00G
Total bytes received: 35

sent 5.00G bytes  received 35 bytes  53.49M bytes/sec
total size is 5.00G  speedup is 1.00

Ebenso habe ich direkt auf Unraid auf die NVMEs via dd Files geschrieben:
 

dd if=/dev/zero of=/mnt/cache/TEST/test.img bs=1G count=10 oflag=dsync
10+0 records in
10+0 records out
10737418240 bytes (11 GB, 10 GiB) copied, 41.1739 s, 261 MB/s

 

Gibt es noch Optimierungsmöglichkeiten? Oder habt Ihr Ideen warum es zu diesen doch ehr langsamen Übertragungen und Einbrüchen kommt.

Beim TEST Share ist kein Mover aktiv, der Share liegt direkt auf dem Cache.
 

Davon mal abgesehen das ich von den WD Blues nix halte kenne ich die Architektur des Mainboards dahinter nicht. Könnte sein das jede NVME nur eine PCIe Lane abbekommt. Oder was anders. Kann ich wenig dazu sagen, sorry.

 

Kannst den Raid nochmal auflösen und auf die einzelne NVME schreiben ob es dann besser wird.

Edited January 8, 20251 yr by MPC561

On 1/7/2025 at 10:13 AM, RedJohn said:

Ich hätte allerdings noch mal eine kurze Frage. Ich habe zwei WD Blue SN580 (1 TB) NVMe als Cache im ZFS eingerichtet.

 

Ich habe keine solche WD NVMe SSD und kann zu deren Schreibverhalten nichts sagen.

 

Ich sehe aber, daß beide SSDs bei DIr im Sreenshot bei 24 Grad lioegen. Das bedeutet, daß die annähernd nichts zu tun bekommen, sondt würden die schnell ansteigen (selbst mit Kühlkörper würde ich unter moderater oder hoher Last) nicht weniger als 35-40Grad Celsius bei einer M.2 NVMe SSD annehmen. Deine Schreibrate im Screenshot ist aber auch 0.

 

Wurde der Screenshot nicht während der Belastung gemacht?

 

Zu Deinen nachfolgenden Testangaben: ich bin auch verwundert. Bei einem Share, welcher auf 1.st Cache und dann 2.nd Array schreibt kenne ich es, daß mal über LAN maximal schnell (in den Ram cache) geschrieben wird und dann immer wieder in Schüben dies in den Cache und/oder Array weiter geht.

Aber bei einem Schreibvorgang nur in einen cache alleine kenne ich dieses wellenartige Schreiben nicht. Da geht es in einem Rutsch maximal flott durch.

 

 

Nebenbei: Dein Screenshot zeigt links neben der Temperatur eine Angabe, die ich dort nicht kennen. Welches urnaid nutzt Du und/oder welche Zusatzapp macht diese Anzeige?

@MPC561 @DataCollector Danke für eure Rückmeldung! Ich konnte das Problem nun eingrenzen es liegt wohl an meinem UniFi USW-LITE-16-POE Switch, dieser lässt anscheinend nur immer 200 Mbit/s durch. Obwohl der Port auf GB steht. Ich habe die NAS direkt an einem Laptop angeschlossen, von dort konnte ich Problemlos konstant mit 1 GB auf die NAS schreiben. Ich muss mal forschen woran das liegt.

Zu der Angabe neben den NVMEs das ist die Option Enable NVME power monitoring, recht praktisch da ich damit auch sehe wenn die NVMEs gefordert werden. Ich nutzte Unraid 7.0.0 rc2.

 

Jemand schon mal Erfahrung gehabt mit Unraid und Switchen die die Bandbreite nicht zulassen?

49 minutes ago, RedJohn said:

Jemand schon mal Erfahrung gehabt mit Unraid und Switchen die die Bandbreite nicht zulassen?

 

ich habe Erfahrung mit einem QNAP QSW-1208-8C (10Gb SFP+ + RJ45 unmanaget) Switch, welche bei mir den gesamten Traffic gestört hat.

War ein gebrauchtkauf bei ebay und wenn er stabil funktioniert hätte wäre es ein super Gerät. Leider hatte ich verschiedenste Probleme, so daß ein darüber laufendes WLAN Repeaternetz seine Geschwister nicht mehr wiedergefunden hat, ein darüber laufendes beruflich genutzes Notebook nur unter massivem Zeitaufwand irgendwann VPN in die Geschäftsstelle aufbauen konnte, ein unraidserver hat permanent seien SFP+ Verbindung verloren (Mellanox X3 - ist zwischenzeitlich ausgebaut udn gegen RTL 5GbLAN RJ45 getauscht)  und der Durchsatz mal super und mal miserabel war. Alles aber eben schwankend und nicht konstant, so daß ich erst nach mehreren Monaten drauf gekommen bin, daß der Switch defekt zu sein scheint.

 

Deshalb ist an der Stelle nun wieder der MIKROTIK-CRS312-4C+8XG-RM in Zusammenarbeit mit einem China 2,5GbLan Switch (mit 10Gb SFP+ Uplink) in Betrieb.

 

@DataCollector alles klar, ich konnte das Problem nun eingrenzen. Ich habe die NAS mit Unraid direkt an ein Notebook angeschlossen, ohne Switch und Co. dann bekomme ich konstant 1 GB Durchsatz, alles perfekt. Sobald ich die NAS mit Unraid an einen Switch packe, getestet habe ich den UniFi Switch (sowieso in meinem Netz) und einen Netgear Switch bekomme ich nur noch 200-300 Mbit/s MAX. Selbst wenn ich die NAS und das Notebook ohne externe Verbindung an den Switche packe das gleiche. 😞

Kann die Netzwerkkarte an der NAS (Ugreen) defekt sein? Das ist doch ein echt komisches Verhalten. Getestet habe ich mit einem SMB Share und einem IPERF Test beide Ergebnisse sind gleich. Voller Durchsatz nur, wenn das Notebook direkt an der NAS hängt.

1 hour ago, RedJohn said:

Sobald ich die NAS mit Unraid an einen Switch packe, getestet habe ich den UniFi Switch (sowieso in meinem Netz) und einen Netgear Switch bekomme ich nur noch 200-300 Mbit/s MAX.
Kann die Netzwerkkarte an der NAS (Ugreen) defekt sein?

 

Wieso sollte sie es sein, wenn die Direktverbindung doch problemlos klappt?

Dein Problem liegt mutmaßlich an einem der Switche oder den EInstellungen.

Kannst ja mal ein bisschen mit Flow Control und so rumspielen.

Wenn Dein Notebook ein Mac ist, solltest Du da ggf. die Besonderheiten zu Mac und SMB beachten.

Benutzt Du Jumboframes?

Sonstige Besonderheiten? (ich kenne weder Deinen Unify noch den Netgear. Diverse gemanagte Switche haben da auch Einstellungs- & Begrenzungsmöglichkeiten.)

 

Edited January 8, 20251 yr by DataCollector

@DataCollector Okay so ich habe weitere Tests gemacht. Folgendes:

- Auf der NAS ist nun Windows To Go aktiv, Sie hängt im LAN am normalen LAN Anschluss. Mit Iperf bekomme ich nun konstant 1 GB TOP #freu#. Zum testen habe ich eine NVMe formatiert und freigegeben. Und siehe da auch das kopieren via SMB über LAN 1 GB konstant #doppelfreu#. Nun liegt meine Vermutung nahe das es doch irgendwo im Unraid klemmt, ich weiß aber nicht wo.

 

Ich würde das Unraid nun komplett neu installieren. Jetzt aber die Frage, ich habe eine Parity Platte und eine Data Platte (xfs encrypted). Muss ich die Paritiy komplett neu aufbauen, oder kann ich in der neuen Unraid Installation beide wieder einhängen oder jetzt alle Daten erst zu sichern und komplett von vorne anzufangen?

1 hour ago, DataCollector said:

Kannst ja mal ein bisschen mit Flow Control und so rumspielen.

Hast du das probiert? @RedJohn

@Babavoss mit deaktiviertem Jumbo Frames und deaktiviertem Flow Controll und Windows To Go, habe ich vollen Durchsatz. Du meinst jetzt noch mal Unraid booten und Flow Controll aktivieren?

 

Da es mit Windows auf der NAS ohne Anpassung sofort läuft dachte ich muss es irgendwo in Unraid und der Konfiguration liegen.

Hatte so ziemlich das gleiche Problem, nachdem ich Flow Control am Unifi Switch aktiviert habe funktioniert es stabil

@Babavoss Okay werde ich jetzt direkt mal testen. Aber komisch das wenn ich Windows Bootet und dort mit IPerf und SMB teste (wohlgemerkt ohne Anpassung am Switch) ich den vollen Durchsatz bekomme. Spricht Unraid die Netzwerkkarte irgendwie anders an?

@Babavoss Alles klar habe es nun aktiviert und siehe da ich habe plötzlich den vollen Durchsatz #megafreu# DANKE! Danke auch an @DataCollector für den Tipp!
Spannend finde ich noch die Anzeige im Dashboard, die Geschwindigkeit bricht nicht ein, aber die Anzeige im Dashboard von Unraid hüpft von 100 zu 0 usw. Woher kommt das? Ein Anzeigefehler? Kann das noch jemand beobachten? Anbei ein kleines Video. Das ganze passiert während eines laufenden Kopiervorgangs auf die NAS.

 

18 minutes ago, RedJohn said:

Aber komisch das wenn ich Windows Bootet und dort mit IPerf und SMB teste (wohlgemerkt ohne Anpassung am Switch) ich den vollen Durchsatz bekomme

Erklären kann ich es nicht aber auch wo ich die Probleme hatte hat es zwischen Windows PC und Mac ( alle am gleichen switch ) auch immer gepasst, also vollen Durchsatz.

 

6 minutes ago, RedJohn said:

Woher kommt das?

ich vermute das hat mit dem zwischenspeichern im RAM zu tun. 

Beobachte bei einerm kopiervorgang mal im Dashboard das Netzwerkinterface

6 hours ago, RedJohn said:

 

- Auf der NAS ist nun Windows To Go aktiv, Sie hängt im LAN am normalen LAN Anschluss. Mit Iperf bekomme ich nun konstant 1 GB TOP #freu#.

 

Wie vermutet: kein Hardwareproblem der Netzwerkkarte.

 

6 hours ago, RedJohn said:

Ich würde das Unraid nun komplett neu installieren.

 

Naja, es reicht ja von dem Stick ein Backup irgendwo sicher abzulegen (zumindest das Keyfile mit der Lizenz!) und dann den Stick neu zu bespielen.

 

6 hours ago, RedJohn said:

Jetzt aber die Frage, ich habe eine Parity Platte und eine Data Platte (xfs encrypted). Muss ich die Paritiy komplett neu aufbauen, oder kann ich in der neuen Unraid Installation beide wieder einhängen oder jetzt alle Daten erst zu sichern und komplett von vorne anzufangen?

 

Da Deine Daten und auch Deine Parityfestplatte sich ja nicht verändern sollte alles erreichbar bleiben, wenn Du den encrytion key noch hast.

 

6 hours ago, RedJohn said:

Spannend finde ich noch die Anzeige im Dashboard,

 

Soweit ich sehe zeigt das Video nicht das Dashboard, sondern den Main Tab.

 

6 hours ago, RedJohn said:

die Geschwindigkeit bricht nicht ein, aber die Anzeige im Dashboard von Unraid hüpft von 100 zu 0 usw. Woher kommt das? Ein Anzeigefehler?

 

zu 1: unbekannt

zu 2: möglich.

Stört es Dich wirklich? Das NAS sollte doch sowieso unbewacht laufen.

 

@DataCollector Eine Frage hätte ich noch zum Abschluss zur Parity Konfiguration, diese kann man über den Scheduler anstoßen Sollten diese beiden Optionen verwendet werden?
 

Write corrections to parity disk:
Cumulative parity check:

Wie ich es lese würde die erste Option auch Fehler auf der Data Platte ins die Parity schreiben, daher besser abschalten?
Mit der zweiten Option können die Parity Checks aufgeteilt werden, wenn ich es richtig verstehe, macht das Sinn?

Gibt es für den Partiy Check "Best practices" die man empfehlen kann?

4 hours ago, RedJohn said:

@DataCollector Eine Frage hätte ich noch zum Abschluss zur Parity Konfiguration, diese kann man über den Scheduler anstoßen Sollten diese beiden Optionen verwendet werden?
 

Write corrections to parity disk:
Cumulative parity check:

 

Das sind 2 unterschiedliche Sachen.

a) zur ersten: Ob Du die Korrekturen auf die Parity schreiben lassen willst musst Du wissen.

Das Thema berührt ja auch die parallel gelaufene Diskussion

https://forums.unraid.net/topic/184367-parity-checks-und-die-datensicherheit/

  Hier muß man sich vor Augen führen: Der Paritycheck prüft ja nur ob die Daten der Datenfestplatten im Array und die dazu verzeichnete Quersumme auf der Parityfestplatte korrekt zueinander passen oder nicht.

  - Szenario 1: Paritydisk hat eine falsche Quersumme - Hier macht es Sinn, die Parity einfach überschreiben zu lassen, wodurch das alles wieder zusammen passt.

  - Szenario 2: Datendisk hat eine defekte Datei - Hier macht es keinen Sinn die Parity zu überschreiben, weil diese ja noch die einzige Chance ist den Inhalt der Datenfestplatte (komplett) wieder korrekt herzustellen.

  - Szenario 3: Paritydisk hat eine unpassende Quersumme UND Datendisk ist an der selben Stelle nicht korrekt: Hier ist sowieso Hopfen und Malz verloren. Da hilft ausschliesslich ein Backup oder eine andere geeignete Reperaturmethode, welche unraid aber nicht hat.

Jetzt musst Du für Dich entscheiden, wie Du das mit der Parity handhaben lassen willst. Parity überschreiben oder nicht.

Je mehr externe Methoden Du hast zu prüfen ob die Dateien auf den Datendisks in Ordnung sind (und Du diese auch einsetzt) desto eher macht es Sinn die Parity zu überschreiben, denn eine evtl. "kaputt reparierte" Datei auf einer Datenbisk fällt ja dann dennoch durch den vergleich mit einem exterenen Backup oder Checksummen oder so auf.

Ich habe Backups und Checksummen, so kann ich meinen Datenbestand (wegen der Größe langwierig) darauf prüfen ob vereinzelte/mehrerer Dateien auf meinen Datendisks hopps gegangen sind. Deshalb lasse ich meine parity ruhig korrigieren und lasse ab und zu (unregelmaessig, aber irgendwie so jedes 1/4 - 1/2 Jahr oder so) meien Checksummen auf einem der PCs prüfen. Sollten sich dann Fehler zeigen, wird gesucht, welches der Backups diese betreffende Datei noch im korrekten Zustand hat und diese dann übernommen.

 

b) zur zweiten Option: hier geht es darum den Paritycheck in unterschiedliche Zeitabschnitte aufzusplitten, damit bei großen Disks das System nicht durchgehend damit belastet ist und dann noch tagsüber seine eigentliche Arbeit (NAS spielen und Dateien annehmen und ausgeben) nicht zu langsam erledigt werden kann.

 

Siehe Screenshot unten.

 

4 hours ago, RedJohn said:

Mit der zweiten Option können die Parity Checks aufgeteilt werden, wenn ich es richtig verstehe, macht das Sinn?

 

Ob das Sinn macht hängt von Dir/den Nutzern ab.

Will unbedingt der Haushaltsvorstand angenehm flüssig seine auf dem NAS aufgezeichnete Serie 'wegbingen' und ist allergisch gegen zu lange Wartezeiten und 'Bildruckler': ja, dann sollte, in der Zeit in der diese Hausfee diesem Hobby nachgehen will, besser kein Paritycheck bremsen, sonst hängt der Haussegen schief.

Wenn es aber eigentlich niemand stört das das System sich mal in der Zeit träge anfühlt, kann man das auch in einem durchlaufen lassen.

Auch ist die Größe und Geschwindigkeit der Datenträger im Array ausschlaggebend.

Ein Array aus bis zu 30 SSD zu je 128GB ist in kaum 1 Stunde komplett durchgeprüft. Das wird in der Nacht wohl niemand stören.

Ein Array hingegen mit 3 Festplatten (1P + 2D) zu je 26TB wird da mehr als 2 Tage Dauerlauf brauchen und wenn man dann zwischendurch das NAS braucht kann man schon mal ein starkes 'Bremsen' wahrnehmen.

 

 

4 hours ago, RedJohn said:

Gibt es für den Partiy Check "Best practices" die man empfehlen kann?

 

Da ich Backups und Checksummen habe und das NAS nicht zeitkritrische Anwendunegn im Array fährt: ich lasse den Paritycheck einfach in einem Rutsch durchlaufen.

 

 

P.S.: es ist wie viele andere Sachen in unraid auch: man kann es sehr individuell anpassen und nicht alles, was für Person a und Nutzungszenario b gut ist, ist die richtige Wahl für Person c und Nutzungsszenario d.

Man muß sich leider mit den einzelnen Einstellunegn beschäftigen und auch etwas über die aktuelle Gegebenheit hinausschauen.

Edited January 9, 20251 yr by DataCollector

@DataCollector vielen Dank für Deine ausführliche Antworten! 🙂

Ich beobachte seit einigen Tagen nun das stündliche "aufwachen" (spin-up) meiner Festplatten. Anschließend fahren diese nach 15 min wieder herunter (spin-down). Woher kommen diese getriggerten "spin-up's"? Kann man das noch irgendwo einsehen? Tatsächlich würde ich die Platten gerne solange abgeschaltet haben bis ein Aufruf wirklich notwendig ist. Nachfolgendes finde ich im Log:

 

Jan 19 22:00:00 NAS emhttpd: read SMART /dev/sdd
Jan 20 02:16:49 NAS emhttpd: spinning down /dev/sdd
Jan 20 03:00:12 NAS emhttpd: read SMART /dev/sdd
Jan 20 03:16:44 NAS emhttpd: spinning down /dev/sdd
Jan 20 04:00:00 NAS emhttpd: read SMART /dev/sdd
Jan 20 04:36:25 NAS emhttpd: spinning down /dev/sdd
Jan 20 05:00:01 NAS emhttpd: read SMART /dev/sdd
Jan 20 05:16:34 NAS emhttpd: spinning down /dev/sdd
Jan 20 06:00:26 NAS emhttpd: read SMART /dev/sdd
Jan 20 06:16:58 NAS emhttpd: spinning down /dev/sdd
Jan 20 06:49:36 NAS emhttpd: read SMART /dev/sdd
Jan 20 07:16:53 NAS emhttpd: spinning down /dev/sdd
Jan 20 08:00:16 NAS emhttpd: read SMART /dev/sdd
Jan 20 08:16:47 NAS emhttpd: spinning down /dev/sdd
Jan 20 09:00:10 NAS emhttpd: read SMART /dev/sdd
Jan 20 09:16:42 NAS emhttpd: spinning down /dev/sdd
Jan 20 10:00:06 NAS emhttpd: read SMART /dev/sdd

 

Die SMART Werte werden ja nur gelesen, da die Platte aktiv wird oder? Kann ich irgendwo einsehen was genau versucht auf die Platte zuzugreifen?

Danke für jeden Tipp 🙂

18 minutes ago, RedJohn said:

Kann ich irgendwo einsehen was genau versucht auf die Platte zuzugreifen?

du kannst das file activity plugin dafür mal nutzen ...

 

es ist entweder ein plugin, ein docker, smb Zugriffe, ... von alleine passiert das nicht, leider schwer zu "debuggen"

...ich bekomme es auf der 2800er nicht zum laufen :-(

es kommt beim boot vorgang:

"i915 0000:00:02:0: [drm] VT-d active for gfx access" hängen

woran kann es liegen?

Edited May 24, 20251 yr by columbo1979

Lösung für meinen Fall gibt es von Gemini:

1. Stecke den Unraid USB-Stick in einen anderen Computer.

2. Navigiere zu \boot\config\modprobe.d\.

3. Erstelle eine neue Textdatei namens i915.conf (falls nicht vorhanden).

4. Öffne die Datei und füge blacklist i915 ein. Speichere die Datei.

5. Stecke den USB-Stick zurück in die NAS und versuche zu booten.

Wobei ich dann den HDMI nicht nutzen kann oder? Eigentlich benötige ich den HDMI Ausgang für eine VM...