Füll-Limit bei 92% ? evtl. Speicher reserviert?

[ph.neutral]

Hi,

 

irgendwie habe ich das Problem das ich immer die Meldung bekomme, das nicht genügend Platz im Array ist, wenn ich eine 7GB Datei kopieren möchte.

 

Im Array sollen noch ca. 1,5TB Platz sein. Ich finde in den Optionen nichts was den Speicher reserviert.

Gibt es überhaupt so eine Funktion die Speicherplatz reserviert?

 

Wie fange ich an nach der Ursache zu suchen?

 

Besten Dank schon mal!

 

 

 

 

was für mich als Anfänger auch sehr merkwürdig aussieht ist folgendes:

 

 

99,6% usage ratio für Disk 3? das versteh ich nicht so richtig. Oben wird angezeigt das auf dieser Disk noch 10% frei sind.

Ich habe schon gegoogelt ob das an Btrfs liegt, bin dazu aber noch nicht fündig geworden.

Edited October 29, 2023 by ph.neutral

[DataCollector]

3 hours ago, ph.neutral said:

irgendwie habe ich das Problem das ich immer die Meldung bekomme, das nicht genügend Platz im Array ist, wenn ich eine 7GB Datei kopieren möchte.

Im Array sollen noch ca. 1,5TB Platz sein. Ich finde in den Optionen nichts was den Speicher reserviert.

Gibt es überhaupt so eine Funktion die Speicherplatz reserviert?

was für mich als Anfänger auch sehr merkwürdig aussieht ist folgendes:

 

Du benutzt als BTRFS im Array?

Ich würde xfs empfehlen.

Aber das hat mit Deinem ursprünglichen Problem nichts zu tun.

 

Du hast bei diversen Shares einen Cache definiert. Schau mal, daß der nicht zu voll ist.

Die Warnung bei Füllstand kann man übrigens einstellen, genauso, wie den Bereich, der frei bleiben sollte.

Der frei zu bleibende Bereich sollte in der Regel immer etwas (doppelt) so groß sein, wie die größte speichernde Datei.

Ein komplett voll gelaufener Cache verursacht große Probleme, also immer den Freibereich passend einstellen.

 

 

Screenshot 1: "Main" Tab in dem man den Datenträger auswählt (hier Disk2 des Array)

 

 

Screenshot 2: Hier kann man Warnung/Critical und so weiter für die Disk 2 einstellen.

 

Screenshot 3: Wieder der "Main" Tab in dem man auch den Pool findet, den man aks Cache nutzt

 

Screenshot 4: Auch für den Pool kann man Warnung/Critical  und so weiter einstellen.

BEACHTE: Oberhaöb der markierten Warung/Critical ist auch die Größe einzugeben, die möglichst frei bleiben sollte (größer als die größte jemals zu schreibende Datei). Bei mir pauschal 100GB (weil ich auch mal große Backups/Images schreibe).

Edited October 29, 2023 by DataCollector

[ph.neutral]

53 minutes ago, DataCollector said:

Du hast bei diversen Shares einen Cache definiert. Schau mal, daß der nicht zu voll ist.

 

Der Cache ist tatsächlich nicht voll.

 

 

 

Wahrscheinlich hab ich mich auch ein bisschen Missverständlich ausgedrückt. Es geht nicht um die Warnhinweise von Unraid, sondern Windows 11 gibt beim kopieren der Datei direkt die Fehlermeldung aus "Datei kann nicht kopiert werden. Es steht nicht genügend Speicherplatz zu Verfügung."

Und das obwohl noch 1,5TB frei sein sollen....

 

Edited October 29, 2023 by ph.neutral

[DataCollector]

1 hour ago, ph.neutral said:

Es geht nicht um die Warnhinweise von Unraid, sondern Windows 11 gibt beim kopieren der Datei direkt die Fehlermeldung aus "Datei kann nicht kopiert werden. Es steht nicht genügend Speicherplatz zu Verfügung."

Und das obwohl noch 1,5TB frei sein sollen....

 

Auf welchen der Shares willst Du denn kopieren/verschieben und wie sehen seine Einstellungen in unraid aus?

Und sollte da BTRFS im Einsatz sein, wäre eine überprüfung der betreffenden Datenträger anzuraten.

Ich habe zum Glück kein BTRFS mehr im Einsatz, aber soweit ich mich entsinne gab es da eine Option, in der Nähe des Balance Status, die auf Fehler zu überprüfen.

[ph.neutral]

10 minutes ago, DataCollector said:

Auf welchen der Shares willst Du denn kopieren/verschieben und wie sehen seine Einstellungen in unraid aus?

 Aktuell will ich nur in den Share "Videos" kopieren und als ich einen Screenshot von den Einstellungen machen wollte ist mir dank dir da was aufgefallen, woran es auch gelegen hat.

 

Dazu habe ich aber noch eine Frage, aber hier erstmal der Screenshot:

 

 

Da wo jetzt 100 Gb reserviert sind, waren vorher 390 Gb reserviert. Das hat er anscheinend automatisch gemacht. Ich habe das jetzt erstmal auf 100 Gb verkleinert weil ich nicht weiss ob ich das auf 0 setzen kann.

Bei einigen shares ist es auf 0 und bei anderen auf 98 Gb und bei einem weiteren auch auf 390 Gb. Wenn man die alle addiert kommt man wohl auf die 1,5 TB die mit fehlen.

 

Warum wird der Speicher reserviert?

Kann ich den auf 0 setzten?

Warum rätst du ab von btrfs?

 

ich habe ziemlich viel gegoogelt welches Dateisystem ich nehmen soll und die Meinungen gehen da zwischen btrfs und zfs komplett auseinander... von xfs wurde generell abgeraten weil das Dateisystem wohl veraltet ist. Ein bekannter sagte ich solle btrfs nehmen und wenn das Probleme macht dann halt zfs.

Ich habe mich mit meinen gegoogelten Kenntnissen dann für btrfs entschieden weil ich gelesen habe das zfs ein 128 Bit Dateisystem ist und wir in der Regel nur 64 Bit CPU´s haben, daher wäre wohl der Datentransfer langsamer weil die 64 Bit CPU immer irgendwas für die 128 Bit berechnen muss und dazu kommt dann noch, das die Daten mehr Platz auf dem Dateisystem verbrauchen.

 

Nun, warum nutzt du denn xfs und kein zfs?

[DataCollector]

2 hours ago, ph.neutral said:

Da wo jetzt 100 Gb reserviert sind, waren vorher 390 Gb reserviert. Das hat er anscheinend automatisch gemacht. Ich habe das jetzt erstmal auf 100 Gb verkleinert weil ich nicht weiss ob ich das auf 0 setzen kann.

Warum wird der Speicher reserviert?

Kann ich den auf 0 setzten?

Warum rätst du ab von btrfs?

 

Warum ist der Speicher reserviert:

Damit es genau nicht zu dem Problem kommt, dass man eine große Datei schreiben will und die aber nicht wirklich drauf passt. Deshalb (auch hier) sollte man etwas mehr Platz lassen, als die größte zu schreibende Datei.

So meldet unraid eben, daß nicht genug Platz auf dem Laufwerk ist und blockiert den Kopiervorgang, bevor er anfängt und dann die Daten aus dem (RAM-Cache) nicht geschrieben werden können (könnte sonst Datenverlust bedeuten).

 

Diesen Bereich auf "0" setzten:

sehe ich nicht als ratsam an. Wie gesagt: setzte den Bereich mindestens etwas größer, als die jemals dort zu schreibende Datei an.

 

BTRFS:

Auf Einzeldisks (im Array) ist das Risiko eines Problemes etwas geringer.

BTRFS hat(te) den Charme, daß es den Verbund mehrere Disks/SSD ermöglicht und war im Pool lange Zeit sinnvoll (und die wohl einzige nativ in unraid unterstützte Methode), wenn man (wie ich) beispielsweise mehrere Festplatten oder SSD zu einem großen (virtuellen) Datenträger verbinden wollte (vergleiche: Raid).

Aber BTRFS hat bei einigen Leuten zu einzelnen oder auch wiederkehrenden Problemen geführt. (zum Glück nicht bei mir, aber ich bin dennoch vorsichtig. 🍀🐇)

Gerade die Nutzung als Raid5/6 in BTRFS fiel dahingehend auf.

Aus dem Grund habe ich meine Pools mit erscheinen der Möglichkeit auf zfs umgestellt/neu erstellt.

 

Im Array hingegen ist BTRFS zwar nicht so berüchtigt, aber xfs ist in unraid lange erprobt und funktioniert (auch bei mir) in der Regel wunderbar.

zfs im Array macht (meiner unmaßgeblichen Meinung nach) kaum einen Vorteil. Einzig die Möglichkeit Snapshots zu erstellen mag die eine oder andere Nutzung von zfs im Array interessant erscheinen lassen, aber das brauchte ich bisher nicht.

 

Im Array nutze ich als xfs (enc),

bei Pools, die nur einen Datenträger beinhalten ist auch xfs (enc) am Zuge.

Erst, wenn ich mehrer Datenträger im Pool kombinieren will nehme ich zfs (enc).

BTRFS meide ich.

 

Nicht unerwähnt sollte bleiben, daß zfs unheimlich viel RAM frißt. Aber bei den aktuell niedrigen Preisen für Speicherchips stockte ich fast alles bei mir auf Maximum auf. 😁

 

Zu Der Anmerkung der Geschwindigkeit.

Ich habe keine objektiven Vergleiche durchgeführt.

Subjektiv, sind bilde ich mir ein, die Pools mit btrfs waren sogar etwas langsamer gewesen als die Poos später mit zfs, aber ich habe zwischenzeitlich einige der betreffenden Pools umgebaut:

Pool 1: von btrfs 4x 2TB SSD MX500 (Raid5 = 6 TB Nutzkapazität)  auf zfs 3x 8TB SSD 870QVO (Raid5 = 16 TB Nutzkapazität)

Pool 2: alt btrfs 2x 20TB Festplatten (Raid0 = 40 TB Nutzkapazität)  aus 2x 18TB Festplatten (Raid0 = 36 TB Nutzkapazität).

Einzig ein dritter Pool ist hardwaretechnisch gleich geblieben:

Pool 3: 3x Samsung 970 EVo Plus 2TB (über Bifurcation). Dort habe ich subjektiv keinen Geschwindigkeitsunterschied festgestellt.

Deshalb sind meine Vergleiche, nicht wirklich aussagekräftig.

 

Nur so als Nachtrag:

Unraid ist sowieso durch das Array und die Parität recht langsam und ich habe festgestellt, daß die (ich nenne es mal) Latenz eines Shares selbst innerhalb unraid zu einer Win VM auch langsamer/schlechter ist, als beispielsweise bei einer virtuellen Disk, die direkt in einer WIndows VM eingebunden ist. Wenn es mir (in einer Windows VM) um schnelle Verarbeitung (von vielen) Dateien geht, (be)arbeite ich bisher primär auf der virtuellen Disk und bewege die Dateien vorher und nachher über die wirtuelle Netzwerkverbindung zu den Shares nach 'Außen'.

(Beispiel: Wenn ich ein Verzeichnis mit einigen zehntausenden Dateien einlese oder alle per Batch bearbeite, hat jede eine winzige extra Verzögerung, die sich aufgrund der Menge sehr weit summiert. Wenn ich identisches auf der virtuellen Disk mache geht das gesamt erheblich flotter.)

[ph.neutral]

Jetzt stellt sich mir die Frage ob, wenn ich auf xfs umstellen will, die beiden Dateisysteme im Array vermischen kann und nach und nach die Daten rüber kopieren kann.

 

Oder muss ich das Array dann komplett neu erstellen?

[DataCollector]

1 hour ago, ph.neutral said:

Jetzt stellt sich mir die Frage ob, wenn ich auf xfs umstellen will, die beiden Dateisysteme im Array vermischen kann und nach und nach die Daten rüber kopieren kann.

 

Grundlegend:

Im Array ist jede Festplatte individuell.

Du kannst also jede Festplatte einzeln neu (anders/unterschiedlich) formatiert nutzen.

Ich weiß aber nicht, ob eine formatierte Festplatte im Array mit Parity umformaiert werden kann.

 

Schlimmstenfalls:

mit Tools  "new config" das Array auflösen (Die Daten auf den Datenträgern sind bis dahin noch vorhanden),

die gewünschten Datenträger umformatieren (Datenverlust auf nur den betreffenden Datenträgern),

danach das Array wieder wie gewünscht zusammenstellen (er sollte warnen, dass die Parität ungültig ist und überschrieben wird).

Die Parität ist dann natürlich falsch, weshalb die dann neu aufgebaut wird.

 

!! Solltest Du schnell die Daten aus einem Backup auf die frisch-leer Formatieren Festplatten aufkopieren wollen, würde ich die Parität erst einmal weglasen und kopieren. Das geht schneller.  Die Parität kann man dann später (wenn man alles kopiert hat) neu erstellen lassen !!.

[ph.neutral]

ok danke, ich habe tatsächlich noch keine Paritäts Festplatte. Genau aus diesem Grund, weil ich mit dem Array eigentlich noch nicht fertig bin und noch Daten kopiert werden müssen.

Edited October 30, 2023 by ph.neutral