Verständnisproblem Cache/Array und Optimierungspotentiale

[Niklas87]

Hallo zusammen,

 

ich hoffe meine Fragen sind es Wert, nen Thread zu erstellen. Hab schon viel gelesen und mir einiges angeeignet, aber noch paar Baustellen.

 

Aber zunächst mal von Anfang. Ich bin vom Synology bzw. Xpenology jetzt zu Unraid gewechselt. Also komme eher aus der klicki-bunti Ecke, wie mein Lehrer früher immer gesagt hat. Hardware habe ich den HP Microserver gen8, jetzt mit xeon 1265l und 16 Gigabyte RAM. SSD ist auch drinnen. 4 HDD im Array, größtes als Parity und die SSD als Cache.

 

So, jetzt ist ja das Konzept den Cache vor das Array zu lagern, um die Platten weniger zu belasten und für ne bessere Performance. Jetzt hab ich auch nen SSD SMB Share, wo ich ja alles erstmal draufkopieren kann und dann ggf. händich weiter. Jetzt hab ich viel gelesen, dass der Server das auch automatisch übernehmen kann und die kopierten Dateien erstmal auf der SSD hält, bis sie dann aufs Array kopiert werden. Ich verstehe aber nicht so ganz, wo ich das einstellen kann und wie das gehen soll? Muss ich ihm dann sagen, dass aus dem Ordner vom Cache auf die Disk in den Ordner des Array geschrieben werden soll oder wie funktioniert das? Oder geht das alles automatisch? Wenn ich z.B. auf die SMB Freigabe des Arrays kopiere, dass er das nur "simuliert" und dann per Job später im Hintergrund selbst macht, ohne dass man was davon mitbekommt? Oder macht man das mit "Mover Tuner"?

 

Weiter zur Array Entlastung: Dynamix Cache Dirs cacht hier quasi nur die Ordnerstruktur, also wenn ich im SMB oder direkt in den Ordnern rumbrowse oder? Sobald ich dann ne Datei öffne, fahren die Platten hoch?

 

Dann noch ne abschließende Frage zur Stromoptimierung. Im idle mit Spindown brauch ich 30 Watt im normalen idle (1 Vm + paar Docker) Betrieb 40 Watt.

Jetzt hab ich schon was über POWERTOP gelesen, was für mich als "klicki-bunti" schon was anspruchsvoller ist. 

 

Gibts hier erstmal noch paar High-Level Optimierungen, wie S3 Sleep, was ihr empfehlen könnt?

 

Danke vorab und Gruß

 

 

 

 

[mgutt]

3 minutes ago, Niklas87 said:

Jetzt hab ich viel gelesen, dass der Server das auch automatisch übernehmen kann und die kopierten Dateien erstmal auf der SSD hält, bis sie dann aufs Array kopiert werden. Ich verstehe aber nicht so ganz, wo ich das einstellen kann und wie das gehen soll?

https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?do=findComment&comment=951565

 

 

 

4 minutes ago, Niklas87 said:

Weiter zur Array Entlastung: Dynamix Cache Dirs cacht hier quasi nur die Ordnerstruktur, also wenn ich im SMB oder direkt in den Ordnern rumbrowse oder? Sobald ich dann ne Datei öffne, fahren die Platten hoch?

Exakt. Meiner Ansicht nach macht übrigens jeder etwas falsch, der dieses Plugin verwendet. Wenn man regelmäßig auf Daten über SMB zugreift, dann gehören die auf den Cache. Was haben die auf einer ständig schlafenden HDD zu suchen?

 

8 minutes ago, Niklas87 said:

Im idle mit Spindown brauch ich 30 Watt im normalen idle (1 Vm + paar Docker) Betrieb 40 Watt.

Nur 10W Differenz zwischen Stehen und Drehen? Klingt bei 4 HDDs nicht korrekt.

 

10 minutes ago, Niklas87 said:

Gibts hier erstmal noch paar High-Level Optimierungen, wie S3 Sleep, was ihr empfehlen könnt?

Wenn dir deine Hardware zu viel verbraucht: Kauf dir andere Hardware. 🤪

 

Der HP hat einen HBA/RAID Controller verbaut oder? Sind halt ineffiziente Kisten.

 

11 minutes ago, Niklas87 said:

die SSD als Cache.

Nur eine? Was ist, wenn die kaputt geht?

[Niklas87]

Okay verstanden. In dem Thread steht "Ein aktiver Cache ist ein separates Laufwerk, das Uploads auf den Server "abfängt". 

 

Interpretiere ich dann so, dass wenn ich den Cache aktiv habe schreibt er das nicht direkt auf die Disc sondern, erst wenn der Scheduler läuft.

 

Ich habe das mal versucht nachzustellen. Habe über Samba ein File auf das Array kopiert. Der Ordner auf dem Array steht in den Einstellungen auf Cache "No".

--> In Folge hat der den File direkt auf die disc geschrieben. Wäre nach meinem Verständnis eigentlich nicht richtig!?

 

Dann hab ich nochmal nen File in den oder SSD geschoben (Cache "Yes"), dann hat er es natürlich nur auf den Cache geschoben. Anschließen hab ich den Mover laufen lassen und dann hat er auch was auf das Array geschoben. Aber ich konnte das File (Ordner?) nicht finden bzw. auch keine Systematik erkennen.

 

Sorry wenn ichs einfach nicht peile 🤪

[mgutt]

27 minutes ago, Niklas87 said:

Interpretiere ich dann so, dass wenn ich den Cache aktiv habe schreibt er das nicht direkt auf die Disc sondern, erst wenn der Scheduler läuft.

Korrekt.

 

28 minutes ago, Niklas87 said:

Habe über Samba ein File auf das Array kopiert. Der Ordner auf dem Array steht in den Einstellungen auf Cache "No".

--> In Folge hat der den File direkt auf die disc geschrieben. Wäre nach meinem Verständnis eigentlich nicht richtig!?

Doch, das ist absolut richtig so. Cache No heißt Cache nicht benutzen. Eigentlich logisch?!

 

28 minutes ago, Niklas87 said:

Anschließen hab ich den Mover laufen lassen und dann hat er auch was auf das Array geschoben. Aber ich konnte das File (Ordner?) nicht finden

Naja, wie hast du die Datei gesucht?!

 

Du kannst entweder ganz rechts neben einer Disk den Inhalt der Disk anzeigen lassen oder du machst das selbe bei der Share-Übersicht. Dann siehst du in der Spalte "LOCATION" sogar wo die Datei gerade liegt.

 

Ich habe zB gerade über SMB einen Testordner erstellt, wo der Share Cache auf "Yes" stehen hat. Der Testordner liegt jetzt auf dem Cache, während alles andera auf Disk6 (Array) liegt, weil das vom Mover schon vor längerer Zeit auf das Array verschoben wurde:

 

 

Morgen früh um 7 Uhr wird der Mover automatisch gestartet und auch der Ordner liegt dann auf Disk6:

[Niklas87]

okay, kapiert. konnte jetzt auch alles nachvollziehen. ich war irgendwie in diesem Konzept "Ich schieb was auf das array und der cache fängt das automatisch ab" unterwegs. das "abfangen" hatte mich verunsichert. 🙂

 

außer der neuen hardware noch nen Tipp wo ich noch zum optimieren ansetzen könnte? 

[DataCollector]

9 hours ago, mgutt said:

Exakt. Meiner Ansicht nach macht übrigens jeder etwas falsch, der dieses Plugin verwendet. Wenn man regelmäßig auf Daten über SMB zugreift, dann gehören die auf den Cache. Was haben die auf einer ständig schlafenden HDD zu suchen?

Leider gibt es Leute, die auf Daten zugreifen, die den Geldbeutel/SSD Faktor überschreiten.

Dieses Wochenende habe ich wieder 6TB wahlfrei im gesamten Bestand verändert und 500GB dazu geschaufelt.

Ich empfinde bisher das Cachedir Plugin als ganz brauchbar, weil schon damit ohne extra Anlaufen der Festplatte herauszufinden ist, auf welcher HDD die gesuchten Dateien sind.

[mgutt]

4 hours ago, Niklas87 said:

noch nen Tipp wo ich noch zum optimieren ansetzen könnte? 

Lies dich / frag dich durch diesen Thread:

https://forums.unraid.net/topic/108966-strom-sparen-mit-powertop-stromverbrauch-von-unraid-verbessern/

 

S3 geht natürlich auch, aber das musst du ja wissen, ob du mit einem schlafenden Server leben kannst oder nicht.

 

1 hour ago, DataCollector said:

Ich empfinde bisher das Cachedir Plugin als ganz brauchbar, weil schon damit ohne extra Anlaufen der Festplatte herauszufinden ist, auf welcher HDD die gesuchten Dateien sind.

Ich nutze das Plugin nicht, kann aber trotzdem ziemlich weit in die HDDs reinschauen, ohne dass die anlaufen. Ich vermute mal viel RAM hilft hier viel.

[DataCollector]

30 minutes ago, mgutt said:

Ich nutze das Plugin nicht, kann aber trotzdem ziemlich weit in die HDDs reinschauen, ohne dass die anlaufen. Ich vermute mal viel RAM hilft hier viel.

Siehe Signatur: ein System 128GB, Anderes 64GB.

Ich schätze aber, daß der Unterschied in der Menge und ggf. Größe der Dateien liegt.

Ich bilde mir ein, nmit dem Plugin komme ich weiter rein, bevor die Platten anlaufen.

Aber ich nutze an einigen Stellen auch Verzeichnisse mit teils sehr vielen Dateien.