Newbie Frage Spindown

[Soliver84]

Hallo @ all,

 

Ich habe 2 ZFS RAIDS,

eine 1TB SSD USB 3.0 "ZFS LOG" und "Cache" sind darauf eingerichtet für das

erste RAID dort befindet sich auch DOCKER(APPDATA) und VMWARE(Noch unbenutzt),

das zweite ZFS RAID hat keine Cache.

der erste USB 3.0 ist belegt mit dem UNRAID Stick.

 

 

Ich habe folgendes gelesen:

@mgutt

- alle HDDs müssen stehen können, ansonsten liegt vermutlich noch Dateien von Docker oder VMs drauf und sollten verschoben werden = Docker / VM deaktivieren, Mover starten. Außerdem in den Disk Settings den Spindown einstellen

 

 

 

Mover gibt's bei mir nicht da nur ZFS genutzt wird. Docker und VM liegen auf dem ersten ZFS RAID.

 

Das heißt die platten machen keinen Spindown? weil Docker und VM drauaf liegen????, wer ist den auf die idee gekommen das so zu programmieren? wenn die Docker`s keinen platten zugriff machen können die doch auch die Platten Spindown machen??

 

Bitte um Erklärung wie ich das lösen soll, es kann ja nicht die Lösung sein extra eine USB 2.0 Platte anzuschließen und dort Docker und die VM`s drauf zu laden denn ich hab ja eine RAID um das dort zu lagern bzw. sicherer.

 

Sorry für die vielen fragen aber ich will natürlich Strom sparen

 

[mgutt]

On 8/1/2021 at 11:15 AM, Soliver84 said:

wenn die Docker`s keinen platten zugriff machen können die doch auch die Platten Spindown machen??

Docker sind wie kleine VMs. Es ist statistisch gesehen quasi unmöglich, dass zB 10 von 10 Docker Container dauerhaft wirklich nichts schreiben. Ich würde zB sagen, dass 80% aller Docker regelmäßig was in Logs schreiben und ca 20% haben den Healthcheck aktiv.

 

Aus dem Grund deaktiviere ich zB den Healthcheck aller meiner Container. Siehe auch diesen Bug Report (dessen Ursache bei Docker liegt):

https://forums.unraid.net/bug-reports/stable-releases/683-unnecessary-overwriting-of-json-files-in-dockerimg-every-5-seconds-r1079/

 

Aber das ist nur ein Teil des Problems. Ein User hat zB mal alle Schreibvorgänge aller seiner Container ausgewertet und sie "bekämpft", konnte aber auch nur einen (großen) Teil davon in den Griff bekommen:

https://forums.unraid.net/topic/110999-guide-on-how-to-stop-excessive-writes-destroying-your-cache-ssd/

 

Komplett auf Null ist echt schwer. Da müsste man im Detail jeden Container analysieren und zB über RAM Disks arbeiten.

 

On 8/1/2021 at 11:15 AM, Soliver84 said:

eine 1TB SSD USB 3.0 "ZFS LOG" und "Cache" sind darauf eingerichtet

Eine SSD als Cache ist bei ZFS eigentlich unnötig bzw bringt nicht viel. ZFS nutzt die SSD wie eine RAM Erweiterung. Dh wenn man Dateien aus dem Pool liest, werden diese niemals ausschließlich von der SSD geladen. Die Situation, dass bei einem ZFS Pool nur die SSD läuft, gibt es nicht. Aus dem Grund habe ich zb von Syno zu Unraid gewechselt, da das bei deren SSD Cache auch so ist. Ich wollte, dass die HDDs stehen können und genau das bietet Unraid beim Array + SSD Cache Pool. Das geht bei Unraid, weil dort die Dateien (bei Prefer) ausschließlich auf der SSD liegen. Eine Abhängigkeit zu den HDDs gibt es dann nicht. Der Mover ist zB nichts anderes als ein Verschieben der Dateien mit rsync.

 

Lange Rede kurzer Sinn. Was du machen solltest:

 

ZFS Pool oder BTRFS Pool mit SSDs

Hier legst du deinen Hot Storage ab. Also appdata, vms, docker.img etc

 

ZFS Pool mit HDDs oder Unraid Array

Hier legst du deinen Cold Storage ab. Also Backups, Mediendateien, etc Der ZFS Pool würde natürlich immer vollständig anspringen, wenn eine Datei gelesen wird. Beim Unraid Array immer nur die entsprechende Datei. Willst du Sicherheit gegen Bitrot, würde ich das Unraid Array mit dem File Integrity Plugin nutzen. Das Plugin erstellt von allen Dateien Hashes und wenn sich der Hash ändert, kannst du dich darüber benachrichtigen lassen und die betroffene Datei aus deinem Backup wiederherstellen. Das ist natürlich nicht so zeitnah wie bei ZFS, aber bei einem Cold Storage ist das meiner Ansicht nach akzeptabel, wenn man dafür Strom sparen kann.

[Soliver84]

Ok

 

Dann hab ich ein Problem, ich bin einfach begrenzt was Anschlüsse angeht, so ist eigentlich schon maximum.

Das heißt ich kann nicht zusätzlich ein RAID für Docker und VM machen.

 

Schade es sollte ein Docker Standby Plugin geben mit Wake ON LAN, das heißt das Plugin schiebt den Container in Stand-by wenn zugriff auf den Docker erfolgt macht das Plugin Wake ON LAN bei der Docker Maschine. aber das gibt es noch nicht!!

 

hm dann muss ich mir was überlegen will die platten nicht die ganze zeit laufen lassen.

[Ford Prefect]

...wobei spindown und ZFS pools eigentlich keine super Idee sind....ZFS ist nicht dafür gebaut.

[Soliver84]

kann scheinbar mühselig sein:

https://www.fworkx.de/2020/05/26/zfs-disk-spin-down/

[Ford Prefect]

...das schlafenlegen ist das Eine...das eigentliche Problem ist, wenn das aufwachen nicht schnell genug passiert und der Pool dann sagt "degraded".

Dann wird es hässlich, weil in unRaid heisst dass "ab auf die Kommandozeile" und dann manuell reparieren...ein reboot hilft auch nicht, da der pool-status in den metadaten persistent ist.

Bei Einsatz von USB als Interface, ist es mMn mehr als wahrscheinlich, dass so was mal auftritt....dann macht das keinen Spass mehr.

Pool-Disks in unRaid sind, vom Use-Case her SSDs und sollen/müssen nicht schlafen. ...my 2 cents.

[Soliver84]

Das ist aber bei Geräten schwierig die keinen Anschluss mehr haben  .

Ich hab momentan kein Geld dank der Pandemie es ist nicht möglich das NAS gegen ein entsprechend großen Thredripper gerät zu tauschen (PCI-E Lanes).

dennoch möchte ich Energie sparen. mal schauen was ich da jetzt mache. klar wäre ne SSD an usb 2.0 hängen und die Docker dort hinlegen sinnvoll weis aber nicht ob die dann Geschwindigkeit technisch extrem leiden!.

[Ford Prefect]

...USB3.0 vs. USB2.0 ist etwa Faktor 8-10

Ginge nicht e-SATA?

[mgutt]

On 8/1/2021 at 12:35 PM, Soliver84 said:

Dann hab ich ein Problem, ich bin einfach begrenzt was Anschlüsse angeht, so ist eigentlich schon maximum.

Das heißt ich kann nicht zusätzlich ein RAID für Docker und VM machen.

Was haben die Anschlüsse mit der Anzahl der Pools zu tun?

 

Von welchem Board und wie vielen HDDs, SSDs und NVMes sprechen wir denn? EDIT: Von dem QNAP TS-1079 Pro? Also du hast bereits 10 HDDs verbaut und daher keinen Platz mehr für SSDs oder was ist damit gemeint? Dann verbau doch zwei SATA SSDs über die zwei eSATA Anschlüsse. Daraus bildest du dann ein RAID für deine VMs und Docker.

 

Schlussendlich würde ich aber mal über größere HDDs nachdenken um die Pools verkleinern und Bays freischaufeln zu können. Wobei das bei ZFS ja nur geht, wenn man erst mal alles wegsichert und einen neuen Pool erstellt.

 

On 8/1/2021 at 12:35 PM, Soliver84 said:

Schade es sollte ein Docker Standby Plugin geben mit Wake ON LAN, das heißt das Plugin schiebt den Container in Stand-by wenn zugriff auf den Docker erfolgt macht das Plugin Wake ON LAN bei der Docker Maschine. aber das gibt es noch nicht!!

Das wäre denke ich über ein Script realisierbar. Man könnte zB per iptables auf eine Datei im RAM loggen lassen:

https://superuser.com/questions/604998/monitor-tcp-traffic-on-specific-port/848966#848966

 

Und ein anderes Script startet dann zeitnah den Docker, wenn sich etwas in der Datei getan hat. Das ginge also sogar ohne spezielles WoL Paket.

 

Die Frage ist nur, ob man wirklich alle Container pausieren lassen kann. Also zB ein Proxy Container oder Smart Home Container usw braucht man ja dauerhaft. Außerdem muss man sich dann noch überlegen wie man einen inaktiven Container erkennt, damit er zeitnah gestoppt wird.

 

Ich denke die Variante den Container alles in den RAM schreiben zu lassen, ist da deutlich einfacher umzusetzen. Oder man macht sich wie gesagt gar keinen Kopf und packt gleich alles auf SSDs.

 

22 hours ago, Soliver84 said:

es ist nicht möglich das NAS gegen ein entsprechend großen Thredripper gerät zu tauschen (PCI-E Lanes).

Ein TR wird nicht für Unraid empfohlen, da es hohe Latenzen bei der Virtualisierung gibt. Mal davon abgesehen ist der genau das Gegenteil von Strom sparen. Und du brauchst auch gar nicht viele Lanes für HDDs. Eine HDD hat 100 bis 250 MB/s. Dh eine Lane reicht für 4 bis 10 HDDs.