Plex Server Speicher voll ?!


X-E-Qt-R
Go to solution Solved by DataCollector,

Recommended Posts

Hallo zusammen,

 

ich nutze einen Unraid Server mit einem Array von 4x8TB Platten davon 1x Parity Platte... Ansonsten gibts eine M.2 SSD 500GB als Cache und eine weitere 500GB M.2 als Unassigned für die VMs (kA ob diese Daten auch relevant sind aber hier: 64GB RAM, AMD Ryzen 7 5800U). Soweit so gut....

 

Nun hab ich mir einen Plex Docker installiert und es funktioniert auch, hab eine Windows Server 2019 DC darin als VM laufen und die Ordner Freigegeben die ich für Plex brauche und pumpe meine Videos so da rein und sehe es auch auf dem Apple TV Plex App wenn ich das Mediathek synchronisieren lasse.

Jetzt aber ab 736GB meint der Windows Server das wohl die Festplatte angeblich voll wäre und lässt nicht mehr zu... Wenn ich in Unraid schaue hat mein Array noch 9,14 TB Frei und Cache ist auch schon leer 500GB Frei (hab schon darauf geachtet das die Cache nicht voll geballert wird...).

 

Ist da irgend ein Limit bei Plex die man noch anpassen muss oder was ist da los?

 

Danke schon mal im Voraus

 

X-E-Qt-R

 

EDIT:

Moment hab eben nochmal geprüft und gemerkt das ich die Cache falsch ausgelesen habe vorhin die ist tatsächlich voll, 0B frei @,@ Aber der arbeitet auch nicht mehr, muss der nicht normalerweise arbeiten und automatisch auf die HDD´s verschieben? Oder sollte ich mich gedulden und abwarten? Ich muss sagen das der Upload irgendwann von 2GB´s runter gesackt ist auf 50MB/s und ich dachte da ist was faul und habe den Kopiervorgang abgebrochen. Und seit dem sind auch in den Shares die gelben Dreiecke da das die Daten wohl noch nicht sicher sind weil ich denke das die in der Cache sind... Wie trigger ich die das es weiter geht? Sonst wäre eine 3h Arbeit die in dem Video steckt umsonst wenn ich die Cache Manuell leere xD

Edited by X-E-Qt-R
Link to comment
9 minutes ago, X-E-Qt-R said:

Ist da irgend ein Limit bei Plex die man noch anpassen muss oder was ist da los?

 

Moin, mal abgesehen davon dass hier nicht das Plex Forum wäre ... ;)

 

10 minutes ago, X-E-Qt-R said:

hab eine Windows Server 2019 DC darin als VM laufen und die Ordner Freigegeben die ich für Plex brauche und pumpe meine Videos so da rein und sehe es auch auf dem Apple TV Plex App wenn ich das Mediathek synchronisieren lasse.

vielleicht erläuterst du noch etwas was du da machst, weil so ganz erschließt sich mir das nicht um eine Aussage treffen zu können

 

- Plex Docker, ok

. Windows VM, ok ... in welchem Zusammenhang mit Plex ?

- pumpe Videos ... ? von wo, nach wo, wie ... ?

- Apple TV als Client, ok

 

denke es wäre einfacher wenn du etwas besser beschreiben würdest was du genau machst und wo der Fehler passiert, in der Windows VM wenn ich das richtig lese ... aber bei was ? Daten verschieben von ... ? oder kommen Downloads rein ? oder was ... ?

  • Thanks 1
Link to comment
  • Solution
1 hour ago, X-E-Qt-R said:

EDIT:

Moment hab eben nochmal geprüft und gemerkt das ich die Cache falsch ausgelesen habe vorhin die ist tatsächlich voll, 0B frei

Das könnte also der Grund für die Fehlermeldung gewesen sein.

 

1 hour ago, X-E-Qt-R said:

Aber der arbeitet auch nicht mehr, muss der nicht normalerweise arbeiten und automatisch auf die HDD´s verschieben?

Der Mover arbeitet nach dem Scheduler. Er reagiert aber nicht auf einen vollen Cache.

Du solltest für den Cache einstellen, daß dieser nicht voll beschrieben wird, so daß dann auf das Array durchgeschrieben werden kann. Wenn der Cache voll läuft gibt es das Problem, daß Anwendungen bei dem gecachten Share eben solche Probleme bekommen.

Stell doch mal den Free Space des Cache ein (Siehe Screenshot unten). Die dort einzustellende Größe (ich habe mal in rot 50GB reingeschrieben) sollte doppelt so hoch sein wie die größte dort je abgelegte Datei sein wird.

 

1 hour ago, X-E-Qt-R said:

Oder sollte ich mich gedulden und abwarten?

Da der Mover erst zu den eingestellten Zeiten (Schedule) loslegt mußt Du bis dahin waren oder die Dateien selber/manuell verschieben.

 

1 hour ago, X-E-Qt-R said:

Und seit dem sind auch in den Shares die gelben Dreiecke da das die Daten wohl noch nicht sicher sind

Diese Dreiecke sagen etwas anderes aus. Dateien im Share sind nicht durch Parity oder Raid geschützt.

 

1 hour ago, X-E-Qt-R said:

weil ich denke das die in der Cache sind...

Da der cache nur aus einer einzelnen SSD besteht ist der Bereich nicht gegen Ausfall geschützt = gelbe Dreiecke.

 

1 hour ago, X-E-Qt-R said:

Wie trigger ich die das es weiter geht?

Du kannst versuchen den Mover manuell zu starten (im Main Tab ist unten ein Button).

 

1 hour ago, X-E-Qt-R said:

Sonst wäre eine 3h Arbeit die in dem Video steckt umsonst wenn ich die Cache Manuell leere xD

Du kannst die Dateien auch mit MC oder krusader oder den neuen Dateimanagerfunktionen von unraid 6.10.x auch manuell vom Cache an eine andere STelle kopieren/verschieben.

 

CACHE-SPACE-2022-07-17 07_56_26-UR-TESSA_Device.png

  • Thanks 1
Link to comment
2 hours ago, X-E-Qt-R said:

Nun hab ich mir einen Plex Docker installiert und es funktioniert auch, hab eine Windows Server 2019 DC darin als VM laufen und die Ordner Freigegeben die ich für Plex brauche und pumpe meine Videos so da rein und sehe es auch auf dem Apple TV Plex App wenn ich das Mediathek synchronisieren lasse.

 

Offensichtlich landen Deine Daten in Deiner Windows VM (in der Image Datei). Plex erzeugt trillionen Metadaten-Dateien. Wenn die alle in der VM landen dann wäre das unausweichlich.

 

Guck Mal wie groß die Image Datei ist und der Füllstand.

 

Edited by hawihoney
  • Thanks 1
Link to comment
6 hours ago, DataCollector said:

Das könnte also der Grund für die Fehlermeldung gewesen sein.

 

Der Mover arbeitet nach dem Scheduler. Er reagiert aber nicht auf einen vollen Cache.

Du solltest für den Cache einstellen, daß dieser nicht voll beschrieben wird, so daß dann auf das Array durchgeschrieben werden kann. Wenn der Cache voll läuft gibt es das Problem, daß Anwendungen bei dem gecachten Share eben solche Probleme bekommen.

Stell doch mal den Free Space des Cache ein (Siehe Screenshot unten). Die dort einzustellende Größe (ich habe mal in rot 50GB reingeschrieben) sollte doppelt so hoch sein wie die größte dort je abgelegte Datei sein wird.

 

Da der Mover erst zu den eingestellten Zeiten (Schedule) loslegt mußt Du bis dahin waren oder die Dateien selber/manuell verschieben.

 

Diese Dreiecke sagen etwas anderes aus. Dateien im Share sind nicht durch Parity oder Raid geschützt.

 

Da der cache nur aus einer einzelnen SSD besteht ist der Bereich nicht gegen Ausfall geschützt = gelbe Dreiecke.

 

Du kannst versuchen den Mover manuell zu starten (im Main Tab ist unten ein Button).

 

Du kannst die Dateien auch mit MC oder krusader oder den neuen Dateimanagerfunktionen von unraid 6.10.x auch manuell vom Cache an eine andere STelle kopieren/verschieben.

 

CACHE-SPACE-2022-07-17 07_56_26-UR-TESSA_Device.png

 

Danke :D alle 3 Ideen sind gut, das merke ich mir für das nächste mal. Wusste nur nicht wo der "mover" getriggert werden kann, dank dir hab ich es jetzt gerafft. Habe sie nun im Main Tab aktiviert, jetzt schreibt der die Daten darin in die Festplatten rein und wird leer :D. Und der Windows Server heult auch nicht mehr das der Speicher voll ist :D Hätte das nicht geklappt dann hätte ich das mit der "Minimum free Space" probiert (welches ich jetzt auch einstellen werde damit das nicht nochmal passiert bei größeren mengen an Daten), wenn das auch nicht geklappt hätte dann über Krusader (den hab ich komplett vergessen xD). Danke nochmal.

 

 

 

 

Sorry an alle wenn ich es so bescheuert Formuliert hatte, es war schon spät am Morgen und der Kopf war nur noch im schlaf Modus xD war deshalb zu Faul es genauer zu erklären damit die Logik dahinter verständlicher wird, weil es bei mir doch etwas zu speziell ist.

 

Ich bin Selbstständig und betreibe mein Unraid Server in einer angemieteten Bürogebäude weil ich da auch ein Gigabit Anbindung habe.

In mein Privat zuhause bearbeite ich die Videos und packe sie dann in eine externe Festplatte rein um sie dann am nächsten Tag wenn ich wieder im Büro bin in den Server zu kopieren. Da ich wenn ich im Büro bin meistens keine Zeit habe für so Sachen, starte ich einfach nur den Kopiervorgang der Daten in den Server und fertig. Im Server ist eine Art "Marktplatz" Ordner in der alle Geräte in mein Büro zugriff haben (die auch gecached wird). Dieser liegt NICHT im VM Speicher des Windows Server sondern ist ein Share in Unraid.

 

Erst wenn ich wieder zuhause bin habe ich Freizeit und da verbinde ich mich dann in den Windows Server via VPN und Remote Desktop und sehe mir die Sachen genauer an und Benenne sie um und Sortiere alles und verschiebe es erst dann in den Plex Media Ordner rein (welcher auch gecached wird). Und auch von zuhause, verbinde ich mich mit mein Apple TV auf den Plex und kann meine Videos dann auf dem TV anschauen wenn ich bock drauf habe. Funktioniert auch problemlos.

 

Zuhause hab ich leider eine etwas schlechtere Internet Anbindung in der das Uploaden länger dauern würde, darum pack ich alles in eine Externe platte rein und verschiebe sie dann Lokal im Büro in den Server rein damit es schneller geht. 

 

Das hat alles nur rein Organisatorische Gründe. Der Server steht nur im Mittelpunkt als eine Art Terminal Server, damit es kein unterschied macht ob ich zuhause bin oder im Büro so das ich eben egal wo ich bin weiter machen kann wenn ich etwas vergessen habe einzustellen.

Nur diesmal waren es das erste mal um die 450GB an Daten weswegen die Cache Vollgelaufen ist. Wahrscheinlich weil beide Ordner gecached werden hat der dann beim ersten Kopiervorgang (Client PC nach Marktplatz) schon 450GB voll gemacht und der 2. Kopiervorgang (Marktplatz nach Plex Media) hat dann den Rahmen gesprengt nach 50GB weil der noch mal 450GB bewegen musste und ich somit eigentlich 900GB Cache hätte haben müssen. Ich dachte immer das die Cache sofort startet in die Platten zu schreiben sobald Daten da rein fließen... Kann man das so einstellen das der auch direkt startet und nicht nach Schedule geht?

736GB kam zustande denk ich weil im Plex Ordner bereits schon Daten vorhanden waren von früher.

 

Naja wie gesagt es ist speziell xD Aber die Ursache war doch wieder was banales xD

 

Danke nochmal an Alle :) 

Link to comment
40 minutes ago, X-E-Qt-R said:

Ich dachte immer das die Cache sofort startet in die Platten zu schreiben sobald Daten da rein fließen... Kann man das so einstellen das der auch direkt startet und nicht nach Schedule geht?

Meines Wisens: nein.

Aber Du kannst den Scheduler auf stündlich stellen und dann räumt er doch recht oft auf (wenn etwas anliegt).

Siehe Screenshof von Steiings/Scheduler/Mover

 

SCHEDULER-MOVER-Screenshot 2022-07-17 170722.png

Link to comment
5 hours ago, DataCollector said:

Meines Wisens: nein.

Aber Du kannst den Scheduler auf stündlich stellen und dann räumt er doch recht oft auf (wenn etwas anliegt).

Siehe Screenshof von Steiings/Scheduler/Mover

 

Danke für den Tipp. War bei mir anscheinend auf "täglich" eingestellt, habe mal auf "stündlich" gestellt. Daran hatte ich nichts geändert gehabt und war Standard mäßig auf "täglich". Besser als nichts xD Jetzt weiß ich wie der Mover funktioniert und kann entsprechend anpassen und zur Not manuell starten wenns schnell gehen muss und 500GB nicht überschreiten in Ordnern die gechached sind.

Link to comment
1 minute ago, X-E-Qt-R said:

War bei mir anscheinend auf "täglich" eingestellt, habe mal auf "stündlich" gestellt. Daran hatte ich nichts geändert gehabt und war Standard mäßig auf "täglich". Besser als nichts xD Jetzt weiß ich wie der Mover funktioniert und kann entsprechend anpassen und zur Not manuell starten wenns schnell gehen muss und 500GB nicht überschreiten in Ordnern die gechached sind.

Weil ich ab und zu auf einen Rutsch gleich ein paar TB kopiere und die erst einmal im Cache landen, habe ich meine Cache massiv aufgebohrt.

Mit 500GB komme ich da nicht hin. :)

Das hatte ich recht schnell erkannt und wollte Wartezeiten wegen überlaf auf das Array minimieren.

Selbst ein paar per BTRFS Raid0 zusammengeschaltete SATA SSD schaffen einen enormen Performancesprung gegenüber eines Festplattenarrays mit Parität, wenn man ein paar TB in einem Rutsch schreibt. Dafür habe ich gerne 4 SATA Ports geopfert.

 

Link to comment
7 hours ago, X-E-Qt-R said:

Nur diesmal waren es das erste mal um die 450GB an Daten weswegen die Cache Vollgelaufen ist

Das passiert aber nur, weil du keinen Free Min Space eingestellt hast. Der Free Min Space muss größer sein als die größte Datei, die du auf den Server kopieren/hochladen möchtest. Ich habe das überall auf 100000000 (100GB) gestellt (ist bei jedem Share und Pool separat einzustellen).

 

image.png.8f68970e59846565ad3a6268dd76b712.png

 

image.thumb.png.2f9a1e66e8cad5fd6b95679248262403.png

 

Wenn der Free Min Space erreicht ist, dann wir die nächste Datei beim Kopieren automatisch direkt ins Array kopiert. Frag mich nicht warum, aber seit Unraid 6.10 ist Free Min Space auf 0 gestellt. Früher waren da 10 oder 20GB voreingestellt.

Link to comment
6 hours ago, mgutt said:

aber seit Unraid 6.10 ist Free Min Space auf 0 gestellt. Früher waren da 10 oder 20GB voreingestellt.

Ich hab mit 6.9.3 angefangen und da war das auch schon auf 0

Bin da als Newbie natürlich auch gleich reingelaufen. Super nervig... verstehe nicht, warum da 0 drin steht.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.