Unraid Build


Wirman

Recommended Posts

Ah, super. 

 

Ich mache das einfach ganz von der Verfügbarkeit abhängig. Das was ich momentan zu einem vernünftigen Preis bekomme, da schlage ich zu. Wenn sich in 2-3 Jahren die Chipkrise hoffentlich wieder gelegt hat, kann man dann ja nochmal einen neuen Versuch mit ECC starten, falls es jetzt nicht klappen sollte.

 

Bist du komplett gegen BTRFS, oder ist es beim Cache okay, beim Array aber lieber xfs nehmen?

Link to comment
29 minutes ago, Wirman said:

Bist du komplett gegen BTRFS, oder ist es beim Cache okay, beim Array aber lieber xfs nehmen?

 

ich persönlich vermeide btrfs komplett wo ich kann, sollte aktuell nur noch das libvirt image sein (VM ..), da kann ich nicht umstellen ;)

 

mein crash war übrigens im cache pool ... daher hat es mir auch weh getan da alle docker Einstellungen, Skripte, usw usw ex waren ;)

image.thumb.png.f04b9cd01c7d303ed4902cdaeb86b608.png

 

image.thumb.png.5141c6e6f4c0c50392d99788c0169016.png

Link to comment

Ja gut, das würde ich eh machen, dass ich die Docker mind 1x die Woche backupe, ebenso die VM Images (ohne Gaming VM, die wäre vermutlich bisschen groß, bzw läuft eventuell ja dann eh auf einer eigenen Disk.

 

In den FAQs habe ich gelesen, dass eine Datei immer nur entweder auf dem Array ODER dem Cache liegt. d.h., wenn sich der Cache verabschiedet, dann sind nicht nur die Daten vom Cache weg, die noch nicht vom Mover in das Array geschoben worden sind, sondern auch alle Daten, die zum Lesen in den Cache geschoben worden sind zu diesem Zeitpunkt? Kann das nicht ganz glauben, dass die Daten vom Array gelöscht werden, wenn sie in den Cache zum schnelleren Lesen geschoben werden.

Link to comment
2 hours ago, Wirman said:

Kann das nicht ganz glauben, dass die Daten vom Array gelöscht werden, wenn sie in den Cache zum schnelleren Lesen geschoben werden.

 

cache bei unraid ist kein Lesecache in dem Sinn ... cache ist eigentlich nur ein separater Pool um zu trennen, schnell und Datengrab, der cache leert sich ja auch nicht beim Neustart oder so ... daher gibt es ja auch die Einstellung cache only für shares.

 

Dieses hin und her (cache prefer) greift ja nur wenn der cache überfüllt wird und deine Regeln nicht gegriffen hätten ... jedoch empfohlen wenn unsicher.

 

hier zum Verständnis mein Setup (Achtung, cache only NUR wenn du weißt was du machst)

 

image.thumb.png.7002c86d5fd5ed8f7355721615c2362c.png

Link to comment

Hab ich jetzt glaub nicht richtig verstanden.

 

z.B. Nextcloud: Daten liegen nur auf dem Cache, deswegen Only:Cache ? Machst du da dann alle paar Tage ein Backup davon ins Array oder sonst wo hin?

Daten oder Media: Yes : Cache. Wenn du von Media etwas aufrufst, kopiert Unraid das erst in den Cache und von da aus kannst du es aufrufen? Ähnlich bei Daten? Zugriff auf Daten erfolgt über den Cache? Wird das dann derweil vom Array gelöscht und erst wieder zurück ins Array geschoben, wenn der Mover es wieder zurückschiebt? Oder geht der Zugriff auf die Daten direkt vom Array und nur wenn du in Daten schreibst, dann werden die Files zuerst in den Cache geschrieben und von dort aus dann mit dem Mover ins Array?

Link to comment
7 hours ago, Wirman said:

führt auch unweigerlich zu instabilem Verhalten/Abstürzen

Wenn der richtig kaputt ist, ja, aber nicht wenn nur ein paar Bits kippen. Da kann auch einfach nur eine Anwendung abschmieren oder einfach gar nichts passieren, weil das Bit eben keinen Einfluss aufs OS hat.

 

Ich würde ECC nehmen, wenn der Aufpreis keine Rolle spielt. Ansonsten nicht. Vor dem ersten Betrieb macht man dann noch einen Memtest (kann man beim Booten auswählen) und gut ist. Damit weiß man zumindest, dass man fehlerfrei gestartet hat. Was im Betrieb passiert, kann man dann eh nicht mehr beeinflussen.

Link to comment
4 hours ago, Wirman said:

sondern auch alle Daten, die zum Lesen in den Cache geschoben worden sind zu diesem Zeitpunkt?

 

Ich stelle vermehrt fest, dass der Unraid Cache mit einem klassischen Schreib-/Lese-Cache verwechselt wird. Ursprünglich war der Unraid Cache lediglich ein Schreib-Cache (siehe Link unten). Zwischenzeitlich wurde er zu einer schnellen Ablage für Docker Container und VM Images aufgebohrt. Was er aber nach wie vor nicht ist, ist ein klassischer Lese-Cache.

 

https://wiki.unraid.net/Manual/Overview#Cache

 

Edited by hawihoney
  • Like 3
Link to comment
3 hours ago, Wirman said:

Machst du da dann alle paar Tage ein Backup davon ins Array oder sonst wo hin?

 

täglich

image.png.fca63c2e66700907511f03e6c686b94a.png

 

3 hours ago, Wirman said:

Daten oder Media: Yes : Cache. Wenn du von Media etwas aufrufst, kopiert Unraid das erst in den Cache und von da aus kannst du es aufrufen?

 

Nein, daher der "Denkfehler" wie auch @hawihoney beschrieben hat, das ist KEIN cache in diesem Sinn, aus der unraid Hilfe ... Einlesen !!!

image.thumb.png.c01cc9cfa3f23e935cea4475417b2bd4.png

 

- cache yes, ja, erst im cache, bei Trigger des movers dann ins array UND bleibt dort, hier gibt es jetzt verschiedene Ansätze ...

- cache prefer, da wird hin und her geschoben, macht Sinn um ein Überlaufen des caches zu verhindern ... wenn man sich nicht sicher ist das nehmen für SSD(nvme Daten (Docker, VM's, usw ...)

- cache only, selbsterklärend ;)

- cache no, ebenso ... ;)

 

Zusammengefasst, das ist kein Lesecache in dem Sinn ...

Link to comment
18 hours ago, hawihoney said:

 

Ich stelle vermehrt fest, dass der Unraid Cache mit einem klassischen Schreib-/Lese-Cache verwechselt wird. Ursprünglich war der Unraid Cache lediglich ein Schreib-Cache (siehe Link unten). Zwischenzeitlich wurde er zu einer schnellen Ablage für Docker Container und VM Images aufgebohrt. Was er aber nach wie vor nicht ist, ist ein klassischer Lese-Cache.

 

https://wiki.unraid.net/Manual/Overview#Cache

 

In dem Link steht tatsächlich aber nichts übers Lesen. (Gut wenn nichts über Lesen steht, sollte im Umkehrschluss das Lesen nicht über den Cache gehen)

Trotzdem habe ich es jetzt verstanden und ist natürlich auch logisch. Was will ich Lesen über den Cache? Dann müsste Unraid ja vorhersagen können, auf welche Dateien ich zugreifen möchte. 

 

Plex verwendet das dann aber doch so, dass wenn du einen Film ansehen möchtest, dass Plex den Film dann in den Cache kopiert, sodass die HDD schlafen kann und der Film über den Cache angeschaut werden kann?

Link to comment

Ja klar, aber ein Satz

2 hours ago, hawihoney said:

 

Nein, das ist nicht richtig.

 

Wie funktioniert das dann genau? Ich meine mich zu erinnern, dass ich das gelesen habe, zumindest den Teil, dass die HDD dann schlafen kann, ohne den ganzen Film über laufen zu müssen. 

 

2 hours ago, hawihoney said:

 

In welche Richtung gehen die Kästchen in dem animierten GIF? Richtig, nur von außen auf den Cache, und vom Cache auf das Array - nicht anders herum.

 

Ja, aber wie du vorher schon gesagt hast, wird der Unraid Cache mit einem klassischen Schreib-/Lese-Cache verwechselt. Ebenso bei mir, weswegen ich dann eine Info erwartet hätte, dass es eben nicht lesend ist. Das ist keine Kritik, dass die Beschreibung nicht vollständig ist, nur eine Anmerkung, dass es aus einer bestimmten Sichtweise heraus nicht 100% klar wird. 

Link to comment

Machen wir mal ein Beispiel:

Du hast einen Share: "Movies" der auf "use cache yes" steht. Jetzt kopierst du den Film "peter_lustig.mp4" auf den Share. Was jetzt passiert ist der Film liegt auf deinem Cache und noch nicht auf dem Array. Wenn du jetzt den Film schaust dann wird er vom Cache abgespielt. Soweit so gut.

 

Nachts rödelt der Mover los und macht sein Ding. Danach ist der Film nicht mehr auf dem Cache sondern auf dem Array.

 

Jetzt möchtest du am nächsten Tag nochmal den Film gucken und wählst ihn aus. Jetzt wird er vom Array abgespielt, weil er jetzt dort liegt. Da wird nix mehr auf einen Cache kopiert, weil du die Daten gerade nutzen möchtest. Sowas ist das nicht. 

 

Für mich ist der Cache eine Möglichkeit schnell Daten drauf zu schaufeln, die bei "use cache yes" für einen Tag mit SSD Speed abrufbar sind und danach nur noch mit HDD Geschwindigkeit.

 

Ich hoffe ich hab keine Fehler drin :)

  • Thanks 1
Link to comment
13 minutes ago, Wirman said:

Wie funktioniert das dann genau?

wenn der Film auf dem cache liegt wird von dort gelesen, wenn er im array liegt von dort, ob das dann ssd oder hdd ist spielt keine Rolle, da wird aufgrund davon nichts retour geschoben.

 

cache prefer, heißt als Beispiel, das die Docker Systemdaten (idR /appdata) normal IMMER auf der "schnellen" cache Platte liegen sollen, jetzt füllt sich der cache aber durch downloads, usw usw ... jetzt kommt der mover ins Spiel, der macht Platz auf der cache Platte indem er alle cache yes und cache prefer Daten (welche gerade nicht in Nutzung sind) ins array verschiebt, ist jetzt wieder Platz auf der cache Platte wir er die /appdata Daten (welche nicht in Nutzung sind) wieder retour spielen auf die schnelle cache Platte.

 

Medien wie Filme, also Beispiel, du nimmst einen Film auf und legst den in /Media/Film ab, was ein "cache yes" share ist, der Film liegt jetzt auf der schnellen cache Platte bis der Mover aktiviert wird und den dann ins array schiebt ... danach wird der Film im array angesprochen und kommt auch NICHT zurück auf die cache Platte.

 

Beispiel wie ich das handhabe, ich nutze den Mover nicht "fix", sprich der wird nach Regeln angesprochen, sprich, erst ab einer Füllrate von xx % verschiebt er, heißt, der ganze aktuelle Kram bei mir liegt auf den schnellen "leisen" cache Platten, und auch nur "ältere Daten" werden verschoben.

 

image.thumb.png.9f880b5b9120372d3d77699976c45697.png

 

wenn die dann bei mir auch verschoben sind ... dann würden hier auch die HDD's anspringen wenn ich einen alten Film nochmal anschauen will ...

 

also nochmals, cache ist ein Name, ist aber kein cache in dem Sinn wo etwas NUR ZUM LESEN gepuffert wird ...

 

ich nutze 2 single drive caches (xfs only ...)

 

rot umrandet ist bei mir cache ONLY, Daten, Media, Temp ... sind cache yes und da wird bei Bedarf verschoben

 

image.png.4b237c174f67efbfca40c9076816191f.png

 

VM's ... bleiben IMMER in Ihrem cache ;)

 

image.png.f42b6eccf95662f85ba3147066591d9f.png

  • Thanks 1
Link to comment

Danke für die ausführlichen Erklärungen. Kann ich aber trotzdem einen Film z.B. vom Array in den Cache schieben, dass die HDDs schlafen können? Oder z.B. eine Serie. Ich kauf mir z.B. alle Staffeln die Simpsons und will die nacheinander schauen. Ich rip sie einmal, schieb sie auf den Cache, von dort wandern sie irgendwann ins Array bevor ich alles gesehen hab. Jetzt weiß ich aber ja, dass ich z.B. im Moment bei Staffel xx bin, dann wäre es ja gut, wenn diese Staffel komplett im Cache liegt. Wie würde dieser Fall aussehen?

Link to comment
2 minutes ago, Wirman said:

Wie würde dieser Fall aussehen?

 

schau Dir mover tuning an ... entweder wie ich nach Zeit und Füllrate oder mit einer exlude Liste, dann würdest du /mnt/user/Media/Serien/wasauchimmer rausnehmen bis du fertig bist ;) vorausgesetzt du hast genug Platz auf dem cache ... ;)

 

natürlich kannst du auch manuell retour schieben

 

mv -R /mnt/diskX/Media/Serien/wasauchimmer /mnt/cache/Media/Serien/wasauchimmer

 

aber bitte NUR wenn du weißt was du machst ... ;) und klar ist, beim nächsten mover schedule wird er die wieder verschieben wenn du keine andere Regeln hast ...

 

von Haus aus musst du das auch selbst angeben wann und wie oft der überhaupt schauen soll ...

 

image.thumb.png.a815ff7474471b3891596f890a1cbcbe.png

 

ohne tuning wäre das für Dich jetzt murks da hier stündlich nachgeschaut wird was sache ist ... kannst 

 

image.thumb.png.d6328fb9546c4a46f3560c4915c36df8.png

 

wählen ... ;)

  • Like 1
Link to comment

Es gibt dafür keine build in funktion. Du kannst übers terminal manuell die Filme rüber verschieben vom Array zum Cache nochmals. Empfehlen würde ich das nicht. Denk auch dran, dass wenn du nur eine Cache Drive hast die Daten davon immer verloren gehen können, wenn sie stirbt

Edited by Lyror
erklärung verfeinert
Link to comment

 

1 hour ago, Wirman said:

Ja klar, aber ein Satz

 

Das war Deine Frage:

 

Quote

Plex verwendet das dann aber doch so, dass wenn du einen Film ansehen möchtest, dass Plex den Film dann in den Cache kopiert, sodass die HDD schlafen kann und der Film über den Cache angeschaut werden kann?

 

Und das meine Antwort:

 

Quote

Nein, das ist nicht richtig.

 

Deine Aussage war halt falsch, ist halt so. Es ist nun mal so, dass Plex überhaupt nichts in dieser Richtung unternimmt. Du hinterlegst in Plex Deine Medienordner und Plex liest von diesen Medienordnern sobald Du Content abspielen willst. Mehr macht Plex in dieser Angelegenheit nicht.

 

mgutt (ich habe immer noch nicht verstanden wie ich in dieser Forensoftware den Tag auf einen Namen setzen kann) hat meines Wissens ein kleines Skript angefangen, dass beim Abspielen von Content diesen ins RAM lädt. Zu Details müsstest Du ihn fragen.

 

Die Nutzung des Cache als Lese-Zwischenspeicher gibt es out-of-the-box einfach nicht. Der Unraid Cache ist ein schneller Schreib-Zwischenspeicher. Die Vorhaltezeit auf diesem, bis der Mover zuschlägt, ist begrenzt konfigurierbar. Externe Plugins mögen das feiner einstellen können. Aber auch hier gilt. Out-of-the-box ist das nicht vorgesehen.

 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.