Cache läuft voll, egal was ich einstelle....

[nixweis]

Entweder läuft der Cache voll oder er lässt sich nicht leeren.... ich glaube ich habe das völlig falsch eingestellt!

 

Ich habe schon sämtliche Möglichkeiten versucht, selbst ein völliges Deaktivieren leert den Cache nicht (wenn er vollgelaufen ist), was sind den hier die richtigen Einstellungen?

 

Den Mover habe ich schon auf 1 Std. runtergesetzt, klar sollen die Apps und Domain einen Aktiven Cache haben, ebenso die Freigabe, aber hier werden die gecachten Daten nicht so "geleert" wie ich mir das vorgestellt habe und schlussendlich läuft der Cache voll und lässt sich auch nicht leeren.

Der Cach ist 2TB groß.

Was sehr ärgerlich ist, ist das dann auch die VM "Pausiert" wird und somit auch mein Smarthome nicht mehr läuft. (daran merke ich immer das der Cache voll ist).

 

Zt. habe ich alles Deaktiviert, wie bekommen ich die Daten nun vom Cache ins Array und wie kann ich verhindern das der Cache immer vollläuft?

 

 

[mgutt]

19 minutes ago, nixweis said:

Ich habe schon sämtliche Möglichkeiten versucht, selbst ein völliges Deaktivieren leert den Cache nicht (wenn er vollgelaufen ist), was sind den hier die richtigen Einstellungen?

Wenn du auf die linke Spalte einer Einstellung klickst, erscheint ein Hilfetext.

 

 

Wenn du das im laufenden Betrieb beim Share appdata auf No umgestellt hast, hast du übrigens mit hoher Wahrscheinlichkeit nach alle Container zerlegt.

 

Ansonsten auch mal das lesen:

https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?do=findComment&comment=951565

[mgutt]

22 minutes ago, nixweis said:

Was sehr ärgerlich ist, ist das dann auch die VM "Pausiert" wird und somit auch mein Smarthome nicht mehr läuft. (daran merke ich immer das der Cache voll ist).

Virtuelle Disks sind immer gleich groß. Es ist also Schnurz wie voll der Cache ist. Und "pausiert" ist Ruhezustand und keine gecrashte VM. Dieser Zusammenhang macht also keinen Sinn.

[mgutt]

25 minutes ago, nixweis said:

wie kann ich verhindern das der Cache immer vollläuft?

Es ist eigentlich egal ob der Cache voll läuft. Ist der voll, werden weitere Dateien direkt aufs Array geschrieben.

[nixweis]

1 minute ago, mgutt said:

Virtuelle Disks sind immer gleich groß. Es ist also Schnurz wie voll der Cache ist. Und "pausiert" ist Ruhezustand und keine gecrashte VM. Dieser Zusammenhang macht also keinen Sinn.

Ja beim Erstellen, ich habe für die VM 5TB freigegeben, diese gecacht und hier wurden z.b. Gestern 20GB reingeladen, dann war der Cache wieder voll (er wurde vorher auch nicht richtig geleert), also immer, wenn die gecachte VM Daten erhält läuft irgendwann der Cache voll und leert sich nicht, dann schalltet die VM auf Pausen, schaffe ich es ein paar GB im Cache freizubekommen kann ich die VM wieder starten, vorher nicht!

 

Den Hilfstext hierzu schaue ich mir gleich mal an.

[mgutt]

12 minutes ago, nixweis said:

ich habe für die VM 5TB freigegeben

Häh?

 

12 minutes ago, nixweis said:

hier wurden z.b. Gestern 20GB reingeladen

Wieso lädt man 20GB in eine VM? Also ich lege meine Daten auf dem Host (unRAID) ab und greife per SMB darauf zu.

 

Wenn du Probleme mit wachsenden Vdisks hast, dann kannst du sie entweder auf ihre definierte Größe festsetzen (zb cp --sparse=never vdisk.img vdisk2.img) oder was denke ich am besten ist: beim Cache Pool ein Min Free Space einstellen (Standard ist 0). Dann können Dateien wachsen.

 

[nixweis]

8 minutes ago, mgutt said:

Wieso lädt man 20GB in eine VM?

Wieso nicht?

Die VM ist Proxmox, das hat den Hintergrund das einige benötige Docker Apps hier in Unraid nicht laufen, als Speicherplatz habe ich hier das Array eingestellt, nun werden die Dateien die ich Benötige (Hörbücher usw.) in die VM bzw. in die unter Proxmox laufende VM geladen und irgendwann läuft der Cache voll.

 

8 minutes ago, mgutt said:

greife per SMB darauf zu

 Das geht nicht, da der DL von außerhalb kommt und ich generell keine SMB im Server haben möchte, ist mir zu unsicher!

Edited March 6, 2022 by nixweis

[jj1987]

Dann mountest du das UNRAID Array innerhalb von Proxmox halt per NFS.

Aber der VM soviel Speicher zuzuweisen ist tatsächlich alles andere als "best practise"

Zumal die VM dann ja zwangsweise (auch) im Array liegt. Das ist ja nun nicht gerade flott. Daher lieber kleines VM Image fest auf der SSD und dann entsprechend in Proxmox das Array mounten

[nixweis]

Nun, das muss nicht Follt sein, wir reden hier von HB die mit max. 192kb abgespielt werden, selbst Full HD Filme sind für das Array ja kein Problem.

Wenn Proxmox auf dem Server installiert ist, ist es ja auch nicht schneller, dort gibt es keinen Cache, nur zum Verständnis, ich habe eine einzige Freigabe im Array die ist 30TB groß, dort landet alles was ich für zu Hause benötige, wenn ich alles einzeln auf die HDDs verteilen wollen würde, kann ich auch weiterhin Proxmox nutzen 🙂  

[mgutt]

1 hour ago, nixweis said:

Das geht nicht, da der DL von außerhalb kommt und ich generell keine SMB im Server haben möchte, ist mir zu unsicher!

Natürlich geht das. Du kannst jeden SMB Share in Linux als normalen Ordner mounten. Was nun an Samba wiederrum unsicher sein soll, erschließt sich mir nicht.

 

1 hour ago, nixweis said:

Docker Apps hier in Unraid nicht laufen

Würde mich wundern. Welche sollen das sein?

[DataCollector]

2 hours ago, nixweis said:

Ja beim Erstellen, ich habe für die VM 5TB freigegeben,

EIne VM mit 5TB und Cache = Prefer bedeutet, daß das System 5TB Daten versucht in Deinen 2TB Cache zu pressen. Da das nicht geht, presst er alles da rein, was geht und dann ist die 2TB SSD voll.

Warum eine so grosse VM? Selbst ein hungriges Windows kommt mit 50-70GB problemlos aus.

Wie die anderen schon schrieben: der Rest sollte/muß ausserhalb der VM liegen.

 

Edited March 6, 2022 by DataCollector
Typos

[nixweis]

49 minutes ago, mgutt said:

Würde mich wundern. Welche sollen das sein?

1. MotionEye.... immer Fehler, es würde ein Ordner/Datei feheln

2. Booksonic

3. ioBroker, hier geht das nicht mehr nach dem Einspielen eines Backups, somit nicht direkt aber dann nach dem Backup nicht mehr nutzbar.

4. TvHeadend

5. Nextcloud, das lässt sich Installieren läuft aber sehr langsam, selbst wenn es gecachet wird, so nicht nutzbar

 

Aber hierzu brauche ich keine Hilfe, weil das ja in der Proxmox VM läuft, denn eine Lösung für die o.g. Apps, habe ich schon tagelang gesucht und auch z.B. eine Lösung für MontionEye gefunden, aber mit dieser Lösung wurde das Cam Live Bild nicht mehr an meine VIS im ioBoker weitergeleitet.

Mir fehlt hier die Lust Stunden oder Tagelang Lösungen zu suchen die dann aber, auch nicht zu 100% Funktionieren, darum die Proxmox VM. 

 

Edited March 6, 2022 by nixweis

[nixweis]

10 minutes ago, DataCollector said:

Warum eine so grosse VM?

Weil ich das für Booksonic benötige, und das/die läuft in der Proxmox VM 🙂

[mgutt]

38 minutes ago, nixweis said:

Nextcloud, das lässt sich Installieren läuft aber sehr langsam, selbst wenn es gecachet wird, so nicht nutzbar

https://forums.unraid.net/topic/120495-solved-nextcloud-extrem-langsam/?do=findComment&comment=1101321

 

[DataCollector]

7 hours ago, nixweis said:

Weil ich das für Booksonic benötige, und das/die läuft in der Proxmox VM 🙂

Wenn Du wirklich 5TB im Cache (SSD) laufen lassen willst (einstelleung Prefer), musst Du eben mindestens 5TB Cache/SSD Kapazität bereitstellen.

Zum Glück ist das bei unraid möglich, da man ja mehrere Datenträger in einem Pool verbinden kann. Wenn Du also 3 Stück 2TB SSD per Raid0 zu einem Datenträger verschmilzt, hast Du Deine 5TB und kannst diese per Prefer auch überwiegend performant im SSD behalten.

Wenn Du hingegen eben einen kleineren Cache benutzt und der Rest auf Festplatten im Array liegt verlierst Du einmal die hohe Performance, wenn Daten der Festplatte im laufenden Betrieb benötigt werden und die Festplatten erst Spinup/hochfahren müssen und andererseits passiert di rgenau das, was Du erlebt hast: der Mover versucht immer Deinem Wunsch von "Prefer" nachzukommen und bei jedem Anlaufen so viele Daten wie möglich vom Array zu lesen und in den Cache zu schreiben. Und der ist dann natürlich voll bis zu dem eingestellten Maximum. Zusätzlich wird der Cache durch jedes (fast) komplette Vollschreiben wieder ein bisschen mehr verschlissen.

Du musst Dich also entscheiden:

- alles im Cache = entsprechend grosser Pool/Cache/SSD-Kapazität (mindestens so groß wie die VM und Systemdaten, die darauf laufen sollen)

- miese Performance, voll laufende und schneller verschleissende SSD = aktueller Stand (zu kleiner Pool, zu große VM, Rest auf Festplatten im Array)

- gute Performance, geschinte SSD = eine entsprechend kleine VM, die in den Pool passt und die Nutzdaten über Netzwerk von außen (Array oder Fremsystem) holen und auch dort wieder ablegen.

 

Bei Raid0 oder JBOD-Verbund sind aber regelmäßige Backups von wichtigen Daten sehr anzuraten.

[Schlonzmann]

Check mal deine Größe der log files von proxmox selbst in der vm

Gibt da ein paar Bugs bei proxmox das die log files gerne mal mehrere zig GB groß werden. 

[Schlonzmann]

Schonmal gedacht um zu switchen? 

Proxmox als main und in einer VM dann unraid als NAS? 

 

Ich hab selbst Jahre lang mein smarthome im proxmox laufen lassen und bin auch gerade dabei alles auf unraid zu schieben. Treten immer wieder neue broblem auf. 

Wie z.B das mit dem iobroker. 

Meine zwischen Lösung war jetzt vm erstellen und da dann iobroker installieren, da klappte dann das rückspielen des Backups. Konnte aber nicht aufs influx zugreifen welches im docker liegt. Usw. Klar kam man alles lösen aber es nervt halt schon wenn man seine alte konfig nicht einfach rüberschieben kann ggf ein paar ports und ips anpassen und fertig. 

Auf der anderen Seite hat man die Gelegenheit sein smarthome mal aufzuräumen 😂

 

 

[nixweis]

@all, danke für die Hilfe 🙂

Problem beseitigt 👍 

[nixweis]

Ich muss das noch mal rausholen, hatte kurz danach meine beiden Unraid Server in den Ruhestand geschickt, jetzt benötigte ich aber einen Unraid Server nochmal.

 

Die Aufgabe war ähnlich wie die oben, ein 5 TB große Proxmox VM sollte in Unriad gesichert werden, hierzu wurde die Unraid Freigabe in Proxmox eingetragen, soweit läuft alles.

Natürlich konnte ich mich nicht an den Post hier erinnern, also die Freigabe per "Cache Bevorzug" gecachte, und klar lief der Cache wieder voll (480GB SSD), ich verstehe schon das der Cache so groß sein sollte wie die "einzelne" Datei/VM, aber wieso funktioniert das nicht, wenn ich den Mover bei 300GB manuell auslöse, dann stelle ich mir das so vor das er (der Mover) auf das Array schreibt und gleichzeitig weiter Daten von der VM erhält, so sollte doch der Cache nie volllaufen? oder?

 

Aber der Mover, lässt sich, genauso wie im oberen Post nicht starten, ein klick drauf und die Schaltfläche wird kurz Dunkel und dann wieder hell und ich kann diese dann wieder Nutzen, also er startet kurz und stoppt dann wieder.

Auf dem Server habe ich die Parität (wegen neu Install will das System die Parität ausführen) abgebrochen somit ist die Schaltfläche des Mover aktiv, gibt es eine Möglichkeit den Cache ggf. so wie ich mir das vorgestellt hatte zu nutzen, denn wer hat schon einen 5TB großen Cache oder mehr.

 

Ein Übertragen der Dateien direkt aufs Array ist unerträglich langsam, zumal die VM in dieser Zeit unter Proxmox nicht Aktive ist und 1-2 Tage darauf zu verzichten ist "fast" unmöglich 🙂

 

Die Idee vom @DataCollector mit dem Pool greift hier leider nicht, da zu wenig HDDs vorhanden sind, mit allen Platten, die ich finden konnte, komme ich auf 6TB (ohne Cache SSD) und die VM ist ja 5TB, um genau zu sein 5,5 TB Groß, alternativ eine 6TB Große USB-Platte direkt an den Proxmox Server Anschließen, aber warum Geld ausgeben, wenn ich alles hier habe, Unraid und ein paar HDDs.... dachte ich mir.  

 

[mgutt]

Dateien, die in Nutzung sind, können nicht verschoben werden. Wenn ich es richtig verstanden habe, geht es sogar um eine einzelne Datei, die größer ist als der Cache selbst? Das geht schon mal gar nicht. Die Datei muss direkt auf das Array geschrieben werden.

 

[DataCollector]

1 hour ago, nixweis said:

Die Aufgabe war ähnlich wie die oben, ein 5 TB große Proxmox VM sollte in Unriad gesichert werden,

Also schlimmstenfalls 5TB in einer oder wenigen großen Dateien?

 

1 hour ago, nixweis said:

Natürlich konnte ich mich nicht an den Post hier erinnern, also die Freigabe per "Cache Bevorzug" gecachte,

Cache Bevorzugt = Es wird alles im Cache gehalten, bis er voll laeuft. Aber das eben nur Dateibasiertr Wenn eine 'Datei' groesser 'Cache Freiplatz' ist, kommt es zu Fehlern (wenn man nicht entsprechende Freigrenze eingestellt hat).

Wenn man den Cache nutzen will, muß der Cache mindestens so groß sein, wie die größte Datei + etwas Freiplatz.

 

1 hour ago, nixweis said:

und klar lief der Cache wieder voll (480GB SSD),

5TB > 480GB = Cache überfordert.

1 hour ago, nixweis said:

ich verstehe schon das der Cache so groß sein sollte wie die "einzelne" Datei/VM, aber wieso funktioniert das nicht, wenn ich den Mover bei 300GB manuell auslöse,

Wie willst Du das eingestellt haben?

Ich kann den Mover per Scheduler einstellen. Aber Mover basierend auf Inhaltsgroessen kenne ich nicht.

 

1 hour ago, nixweis said:

dann stelle ich mir das so vor das er (der Mover) auf das Array schreibt und gleichzeitig weiter Daten von der VM erhält, so sollte doch der Cache nie volllaufen? oder?

Das geht nur, wenn der Cache ausreichend freien Platz hat um die jeweils größten Dateien aufzunehmen.

 

1 hour ago, nixweis said:

Aber der Mover, lässt sich, genauso wie im oberen Post nicht starten, ein klick drauf und die Schaltfläche wird kurz Dunkel und dann wieder hell und ich kann diese dann wieder Nutzen, also er startet kurz und stoppt dann wieder.

Mutmaßlich hat der Cache ja die Dateien ja noch nicht aufgenommen, so daß der Mover nichts verschieben kann.

Ob da was drin ist, kannst Du im Cache im Main-Tab ja nachsehen.

 

1 hour ago, nixweis said:

Auf dem Server habe ich die Parität (wegen neu Install will das System die Parität ausführen) abgebrochen somit ist die Schaltfläche des Mover aktiv, gibt es eine Möglichkeit den Cache ggf. so wie ich mir das vorgestellt hatte zu nutzen, denn wer hat schon einen 5TB großen Cache oder mehr.

Siehe erster Screenshot unten (mein 2nd System).

Siehe zweiter Screenshot unten (mein 1st System).

 

1 hour ago, nixweis said:

Ein Übertragen der Dateien direkt aufs Array ist unerträglich langsam,

Ohne Parity bei mir rund 240 MByte/s, mit Parity ca. 60-70 MByte/s.

In den NVMe Cache (2nd System) mit bis zu 600MByte/s.

 

1 hour ago, nixweis said:

zumal die VM in dieser Zeit unter Proxmox nicht Aktive ist und 1-2 Tage darauf zu verzichten ist "fast" unmöglich 🙂

Dann mach vom Proxmox ein Backup lokal auf Dein Proxmox System und übertrage das Backup dann (langsam) später zu unraid.

 

1 hour ago, nixweis said:

Die Idee vom @DataCollector mit dem Pool greift hier leider nicht, da zu wenig HDDs vorhanden sind,

Eigentlich war gedacht Festplatten im Array zu haben (langsam) und im Pool SSDs zu haben 8schneller).

 

[nixweis]

On 6/14/2022 at 9:55 AM, mgutt said:

Dateien, die in Nutzung sind

Das stimmt nur zum Teil, Proxmox kann das auch im Betrieb, aber bei Größeren Dateien gibt es oft eine Fehlermeldung, darum deaktiviere ich die Großen LXCs.

Das mit dem Cache, war mir so nicht klar, ich dachte da mehr an einen gleichmäßigen Durchfluss, nun wer hat schon 5TB oder mehr an Cache verbaut 🙂

[nixweis]

On 6/14/2022 at 10:57 AM, DataCollector said:

Dann mach vom Proxmox ein Backup lokal auf Dein Proxmox System und übertrage das Backup dann (langsam) später zu unraid.

 

Wenn ich den Platz hätte, habe ich aber nicht, darum wurden ja alle möglichen Platten zusammengesucht und Unraid wieder aktiviert, 3 SSD, 2 Sata 2,5 Zoll und der rest 1-2 TB USB-Platten und das alles wurde ins Array gepackt.

Klar geht das auch ohne Cache und Parität, die Geschwindigkeit liegt auch eine ganze Zeitlang zwischen 100 - 140MB/s aber nach 2-3 Stunden fällt das auf 40-50MB/s ab und noch ein paar Stunden später bewegen wir uns so bei 60-100kb/s.

Und so dauert das dann schon mal ein paar Tage.... für die 5TB 🙂

Edited June 29, 2022 by nixweis

[mgutt]

1 hour ago, nixweis said:

Das stimmt nur zum Teil, Proxmox kann das auch im Betrieb

Ich bezog mich dabei auf den Unraid Mover. Proxmox kann das, weil es innerhalb der VM erst einen Flush macht, dh alle offenen Inodes werden auf die vdisk geschrieben, damit der RAM quasi leer ist. Dann wird gesynct und bei Bedarf der Zugriff auf gelockte Dateien eingefroren. So kann eine VM bei hoher I/O Last während dem sichern / bewegen auch kurz mal komplett stehen.

 

Damit der Mover von Unraid gerade gelockte Dateien bewegen kann, müsste Unraid sich ja quasi selbst einfrieren. Ich vermute mal, dass das schlicht nicht geht.

 

1 hour ago, nixweis said:

nun wer hat schon 5TB oder mehr an Cache verbaut

Das braucht in der Regel auch keiner, weil die meisten ihre VMs möglichst klein gestalten. Also <100GB vdisks und alles was in Richtung Cold Storage geht, wird auf SMB/NFS/WebDAV Ziele ausgelagert. Damit hat man dann auch mehr Möglichkeiten inkrementell / versioniert zu sichern.

 

1 hour ago, nixweis said:

auch eine ganze Zeitlang zwischen 100 - 140MB/s aber nach 2-3 Stunden fällt das auf 40-50MB/s ab und noch ein paar Stunden später bewegen wir uns so bei 60-100kb/s.

Klingt stark nach SMR HDDs.

 

 

[nixweis]

On 6/30/2022 at 1:33 AM, mgutt said:

Das braucht in der Regel auch keiner, weil die meisten ihre VMs möglichst klein gestalten. Also <100GB vdisks und alles was in Richtung Cold Storage geht, wird auf SMB/NFS/WebDAV Ziele ausgelagert. Damit hat man dann auch mehr Möglichkeiten inkrementell / versioniert zu sichern.

 Hier ist das so, dass die VM eine 6TB HDD für sich allein unter Proxmox nutzt, kleiner geht halt nicht, weil dort sehr viele Dateien abgelegt werden müssen.

Den Cache habe ich entfernt und die freien SSD dem Array zugeteilt, das Update dauert max. 24 Stunden, nicht schön, geht aber 🙂
 

On 6/30/2022 at 1:33 AM, mgutt said:

Klingt stark nach SMR HDDs.

Könnte sein, könnte aber auch daran liegen, dass die HDDs im Unraid Server, wild zusammengewürfelt sind, 2,5 Zoll Laptop Platten, SSDs und 2,5 Zoll USB-Platten (11 HDDs) ergeben zusammen 14TB Array 🙂