mgutt

Du suchst eigentlich einen vollwertigen Hypervisor wie ESXi oder Proxmox. Ich weiß nicht, ob Unraid da für dich die richtige Wahl ist. Unraid ist ja primär als Storagelösung gedacht und bietet zusätzlich eine komfortable Oberfläche für Docker. Aber bei VMs kann es Haken und Ösen geben, die in einem Enterprise Umfeld eventuell nicht gewünscht sind. Ich mein klar, du kannst es gerne testen. Dafür gibt es ja die Testphase. Bei der Hardware empfehle ich nicht allzu aktuelle Komponenten zu nehmen, weil es das Leben in Linux deutlich erleichtert. Der von dir angedachte W-2265 wäre "alt genug", hätte aber keine iGPU. Die brauchst du zwar nicht für VMs, aber evtl willst du doch mal Videos vom Server verarbeiten lassen oder den Server später als normale Workstation weiterverwenden? Daher empfehle ich gerne eine CPU mit iGPU wie zB den W-1290P, der von der Leistung her auch passt und deutlich effizienter ist: https://www.cpubenchmark.net/compare/Intel-Xeon-W-2265-vs-Intel-Xeon-W-1290P/3817vs3831 Da käme mir dann zB das Board in den Sinn, was auch @hawihoney im Einsatz hat: https://www.supermicro.com/en/products/motherboard/x12sca-f Das dann mit 128GB ECC RAM und du hast die Basis für denkbar alle Betriebssysteme (Proxmox, Unraid, etc) geschaffen. Vorteil an dem Board: IPMI, dh du hast eine Fernwartung (das BIOS ist über das Netzwerk einstellbar, 2x M.2 Steckplätze, effizient Nachteil an dem Board: Nur 4x SATA Die fertigen Systeme sind meist ohne IPMI, außer du kaufst Server und da gibt es wiederum wenige, die auf effiziente Workstation CPUs setzen. Was ich mir übrigens auch gut vorstellen kann ist das Board: https://www.asrockrack.com/general/productdetail.asp?Model=X570D4U-2L2T#Specifications oder die Neuauflage: https://www.asrockrack.com/general/productdetail.asp?Model=X570D4U-2L2T/BCM#Specifications in Kombination mit einem Ryzen 7 5750G (nur der Pro unterstützt ECC RAM): https://www.cpubenchmark.net/compare/Intel-Xeon-W-2265-vs-Intel-Xeon-W-1290P-vs-AMD-Ryzen-7-PRO-5750G/3817vs3831vs4380 Hätte dann sogar 10G Onboard und 8x SATA. Zusammenbau kann ich dir zB kostenpflichtig anbieten. Ansonsten gibt es bestimmt Shops, die alle Komponenten anbieten und fertig montierte Systeme daraus liefern können.

Bei einem Shutdown wird immer alles beendet. Naja, abschmieren und Timeout ist schon was anderes. Warte mal bitte nach dem Array Stop ca 15 Minuten. Eigentlich würde ich erwarten, dass irgendwann mountpoint /mnt/remotes/nfstest zurückgibt, dass der Mount nicht mehr da ist. Dann ist eigentlich alles gut. Dh der NFS Server läuft zwar noch, aber der von ihm angebotene Share ist nicht erreichbar. Nicht ideal, aber ich sehe da aktuell keinen Nachteil draus, außer dass Proxmox evtl beim Sichern in ein längeres Timeout laufen könnte.

Denk auch dran, dass du dann nicht an die SMART Daten kommst. Unraid kann dann also keine Fehler melden. Es ist auf jeden Fall ein Setup vor dem alle Limetech-Mitarbeiter warnen.

Also läuft NFS weiter. Kannst du im gestoppten Zustand über NFS Dateien auf Unraid erstellen? Test-Szenario erstellen, während das Array läuft: mkdir /mnt/remotes/nfstest mount -t nfs localhost:/mnt/user/backups /mnt/remotes/nfstest Du musst jetzt den Inhalt vom Backup-Share in dem neuen Ordner sehen können: ls /mnt/remotes/nfstest Jetzt das Array stoppen. Geht der mount noch? mountpoint /mnt/remotes/nfstest Wenn ja, versuch einen Unterordner zu erstellen: mkdir -p /mnt/remotes/nfstest/testdir Kommt ein Fehler? Nein? Dann schau mal nun in den Ordner: ls /mnt/user/backups Ist das "testdir" da? Dann: A-Karte, Ordner liegt jetzt im RAM Wenn es erstellt wurde: Wieder aufräumen, bevor das Array gestartet wird (oder Server neu starten): rmdir /mnt/user/backups/testdir rmdir /mnt/user/backups

Meiner Ansicht nach braucht man gar keinen regelmäßigen Balance und Scrub sollte man immer dann starten, wenn der Server crashte, hart abgeschaltet wurde oder es einen Stromausfall gab. Also im Grunde immer, wenn Unraid einen Parity Check beim Array starten würde. Hier gibt es auch eine Diskussion dazu. Die Meinungen gehen stark auseinander: https://github.com/netdata/netdata/issues/3203

Was sagen die Disk Logs / Syslogs?

Klugscheißermodus: Ich sehe nur, dass /mnt/user/Backups ist nicht mehr da, was logisch ist, weil das Array ja gestoppt wurde. Ich würde es eher so vorschlagen: telnet localhost 2049 Wenn NFS aktiv ist, kommt "Connected to localhost" und bei inaktivem NFS "Connection refused".

Das wird dein Problem sein. Du kannst in Unraid einstellen was du willst, aber das BIOS zwingt dich die erste GPU für das bootende Betriebssystem, also Unraid, zu verwenden. Ich nehme also an, dass wenn du den Server startest, dass du dann das BIOS siehst und danach das bootende Unraid, korrekt? Damit hast du vermutlich bereits verloren und die vollständige Bindung an VFIO funktioniert nicht zuverlässig. Es soll vereinzelte Nutzer geben, die das mit Kernel-Flags in den Griff bekommen haben, aber ich kann dir da auch keine generelle Lösung nennen. Müsstest du weiter recherchieren. Damals hatte sich Linus daran versucht (ab 06:38 schauen) und dann genervt aufgegeben und hat dann von AMD auf Intel gewechselt, weil die Intel CPU eine iGPU integriert hat (hat er aber glaube ich nicht richtig verstanden, weil er ja auch eine AMD CPU mit iGPU hätte nehmen können): Fazit: Du brauchst eine CPU mit iGPU (Unraid nutzt dann die iGPU) oder du überredest dein BIOS die GPU vollständig zu ignorieren oder du findest eine Kernel Option die die GPU vollständig ignorieren lässt oder du verbaust eine zweite GPU. Noch eine Option könnte eine AMD GPU sein. Da soll die parallele Nutzung von Unraid und VM möglich sein (muss aber auch nicht garantiert sein): https://forums.unraid.net/topic/103212-stromverbrauch-von-gpus-wenn-vm-aus-ist/ Ich merke auch an, dass Unraid zwar Virtualisierung kann, aber immer noch nur "Ok" ist, wenn es um die Nutzerfreundlichkeit beim Durchschleifen von Hardware geht. Die Paradedisziplinen von Unraid sind eher File Storage und Docker.

Was soll das bringen? "Active" heißt, dass der Kopf in Bewegung ist. Also gerade Dateien gelesen oder geschrieben werden. In dem Zustand wird die Disk von Unraid ja eh nicht in den Spindown versetzt. Wenn der Kopf dagegen parkt und in "Idle" geht, fängt quasi der Countdown von Unraid an. Aber auch das zu wissen bringt dir nichts, weil der ja bei Aktivität ständig zwischen Active und Idle wechselt. Je nach HDD Modell parkt der Kopf bei Inaktivität nach 1 bis 10 Minuten. Bei Seagate zB nach 2 Minuten: Also einfach einen Sektor lesen ist schon ausreichend um den Countdown von Unraid zurückzusetzen. So viel ich weiß nutzt Unraid den Read/Write Zähler der HDD als Trigger und nicht den Active/Idle Zustand: Ich glaube der Wert kommt aus Unraids fuse.sshfs, bin ich aber nicht sicher.

Ich kann es dir nicht sagen was Unraid alles bei einem Array Stop macht, aber warum sollte ein Dienst stoppen, nur weil ein Ordner nicht mehr da ist? NFS an sich kann ja in der Theorie ruhig weiter laufen. SSH und damit SFTP zB geht ja auch weiter, genauso wie rsync. Check das auf jeden Fall mal. Aber wie gesagt würde ich das auf einen Docker auslagern. Dann hat man auch direkt NFS4.

Die Beschreibung erscheint mir unvollständig zu sein. Ich nehme an, du hast eine neue HDD ins Gehäuse gesteckt, dann das Array gestoppt und die neue Disk als zusätzliche Disk zugeordnet? Ging sie dann? Hast du sie formatiert? Liegen aktuell Daten drauf? Was sagen die Logs der Disk? Häh? Du sprichst von einer SSD, dann von einer HDD und dann wieder von einer SSD?! Wie auch immer. Wenn du das per SATA anschließt, dann startet der Server nicht mehr. Wie äußert sich das? Also wo bleibt der hängen? Siehst du Unraid booten und an welcher Stelle geht es dann nicht weiter? Was genau hast du davon die 1G Buchse zu nutzen? Nutze sie einfach nicht und deaktiviere das Bonding.

Bitte beachte, dass du niemals Dateien zwischen /mnt/diskX und /mnt/user bewegen darfst. Nur zwischen Disk/Pool und Disk/Pool oder nur innerhalb von /mnt/user. Es können sonst Dateien verloren gehen.

Ok, dann würde ich tatsächlich auf den RAM tippen, da neben dem XFS Fehler eben auch ein BTRFS Fehler angezeigt wird und da gibt es ja sonst keinen kausalen Zusammenhang als der RAM, weil die NVMe ja über PCIe kommuniziert und die HDDs über SATA. Mach auch mal ein BIOS-Update, sofern es eines geben sollte.

Steht das Laufwerk auf Auto-Mount oder so? Weil der "Reboot"-Button erscheint nur, wenn eine gemountete Platte während dem Betrieb die Verbindung verliert: https://forums.unraid.net/topic/92462-unassigned-devices-managing-disk-drives-and-remote-shares-outside-of-the-unraid-array/page/312/#comment-1136916 Das sollte sich auch aus Tools > Syslog ergeben.

Not possible and not worth it. (there isn't a dir present on a pool which is used by Unraid, not everyone has a pool, not everyone is using a pool as cache, not all use the name "cache", a pool is not usable all the time, ....) Again, we are talking about 0 to 500 (?) writes per year. Most users never use the terminal at all. I don't really understand why this is even worth a discussion.

Could you change this "Error:" to "Info:" or "Warning:"? As you can see I monitor all errors and this is not really an error.

Which is still a tiny amount. PS it would be even possible to import/export the file on specific events like array start/stop, but I don't think it's worth the effort.

Würde ich vermutlich so machen. Passende Cronzeit wählen und einen Sektor von der Disk lesen: dd if=/dev/sde of=/dev/null bs=512 count=1 iflag=direct Das "sde" steht im Dashboard bei der entsprechenden Disk. Kann zb auch "sdc" sein, je nachdem welche Disk anfahren soll. Das macht keinen Sinn. Aktiv heißt ja jemand liest Alternativ könnte man auch auf dem Client den regelmäßigen Lesezugriff auslösen. Kommt aber darauf an was für ein Client das ist. Zb Windows könnte über SMB alle 15 Minuten eine leere Datei überschreiben. Letzte Lösung: Größere SSD kaufen?

Was passiert denn, wenn du formatieren willst? Ich kann gerade nicht erkennen wann/welches Problem auftaucht. Hattest du die Disk gezogen als sie noch gemountet war? Das kann manchmal in Linux blöd enden und den Neustart des Servers notwendig machen.

Ich würde rein gar nichts in unRAID ändern, sondern einen passenden Container suchen: https://hub.docker.com/r/erichough/nfs-server https://hub.docker.com/r/itsthenetwork/nfs-server-alpine Zur bisherigen Lösung: Hier fehlt mir der umount bei Array Stop. Ansonsten schreibt proxmox nachher in den RAM von unRAID. Muss es eigentlich NFS sein oder geht auch SSH/SFTP oder rsync?

Wie schon gesagt wurde, läuft Unraid im RAM. /etc gehört dazu.

Erzähl mal was zu Hardware. Welches HDD Modell, wie sehen sehen dessen SMART Werte aus und worüber ist es mit dem Mainboard verbunden? Nutzt du Stromspar-Mechanismen? Im Screen sind übrigens auch BTRFS Fehler zu sehen. Dh dein Pool macht auch Probleme oder nutzt du BTRFS auch im Array? Wenn es breite Probleme dieser Art gibt, kann es auch einfach ein defekter RAM sein.

My bash history file has a size of 3 kB after 3 month. It's impossible to kill a flash drive by that.

Sorry, ich meinte SWAG. Warten wir lieber noch was ab bis ein offizieller Release kommt.

I recommend one or two JMB585 (5 port) and ASM1166 (6 port) if power efficiency is a goal. Usual HBA controller need more power, but are doing the job, too (LSI / Broadcam is popular in the unraid world). But all of them are already mentioned in the above link and in the Wiki: https://wiki.unraid.net/Hardware_Compatibility