Bräuchte Rat

[Monitor]

Hallo Zusammen,

 

ich habe nun seit geraumer Zeit meinen UnraidServer am laufen.

Eigentlich bin ich ganz zufrieden. Allerdings würde ich gerne meine Konfig mit den Experten teilen. Zur Absicherung, ob ich korrekt

eingerichtet habe.

Ich habe einen Rechner mit dem Mainboard Supermicro X11SCL-F und einen CPU Intel Core i3 9100 mit 16GB Kingston DDR4-2666 DIMM ECC.

Mein Array besteht aus 2x HDSA 4000GB Toshiba N300 und dem Cache Samsung_SSD_970_EVO_Plus_500GB.

Ich schalte nach 30min Stillstand meine HDs in den Spindown. Dann liegt der Stromverbrauch bei 17W 24/7.

 

Ich möchte ECC nutzen und unraid bestätigt 16 GiB DDR4 Single-bit ECC. Damit ist das soch auch aktiv?

Mein Cache ist als btrfs und mein Array als xfs eingebunden. 

 

Wie ist Eure Einschätzung? Passt das so?

 

Gruß

[mgutt]

4 minutes ago, Monitor said:

unraid bestätigt 16 GiB DDR4 Single-bit ECC. Damit ist das soch auch aktiv?

Ja

 

4 minutes ago, Monitor said:

Ich schalte nach 30min Stillstand meine HDs in den Spindown. Dann liegt der Stromverbrauch bei 17W 24/7.

Das Board ist durch IPMI ein Stromschlucker. Ist leider so.

 

5 minutes ago, Monitor said:

Mein Cache ist als btrfs

Ich würde XFS nehmen und Docker auf Pfad umstellen. Schont die SSD.

 

Denk an ein Backup des Caches. Wenn die SSD kaputt geht, sind die Daten im Cache futsch. Oder einen PCIe auf M.2 Adapter holen und eine zweite NVMe für ein RAID1 installieren.

 

[Monitor]

Hi mgutt,

 gibt es da was zu beachten oder kann ich das einfach umstellen auf xfs?

[mgutt]

3 hours ago, Monitor said:

gibt es da was zu beachten oder kann ich das einfach umstellen auf xfs?

Ja, erstmal Daten verschieben. Ist ja neu formatieren.

[Monitor]

Hi,

dann kann ich das nicht machen. Ich habe schon Daten drauf.

Gruß

[alturismo]

Vorher die Daten auf das Array verschieben (Backup)

Festplatte formatieren, wieder als Cache einbinden, Daten Retoure, alles starten, fertig

Gesendet von meinem SM-G981B mit Tapatalk

[Monitor]

Sagt mal. Mit dem Programm FixCommonProblems bekomme ich in den Results diese Meldung:

The following files exist within the same folder on more than one disk.  This duplicated file means that only the version on the lowest numbered disk will be readable, and the others are only going to confuse unRaid and take up excess space:

/mnt/user/system/docker/docker.img   disk1 cache
/mnt/user/system/libvirt/libvirt.img   disk1 cache

Directories Scanned: 1188  Files Scanned: 65019

 

 

Was kann ich da machen?

[alturismo]

entweder deine shares richtig konfigurieren und die dubletten entfernen ...

 

das ist "murks"

 

stop vm und docker, schieb mal die "disk1" versionen in einen backup ordner deiner wahl, starte dann ob noch alles läuft, wenn ja überdenke woher die dubletten kommen (backup ?) und passe das entsprechend an, wenn Nein dann austauschen, sprich, nochmal vm und docker stoppen, die vom array (disk) in cache schieben usw ... wobei ich davon ausgehe das ersteres bereits hilft

[Bigbrother]

21 hours ago, mgutt said:

Ich würde XFS nehmen und Docker auf Pfad umstellen. Schont die SSD.

Bin verwirrt, in den FAQ hast du BTFRS für den Cache empfohlen, hier XFS. Bin noch Unraid Newbi, hab ich da was falsch verstanden? 

 

Edited August 6, 2021 by Bigbrother

[alturismo]

Nein, aber auch ich würde immer nur xfs empfehlen bei single Drive Cache(s)

Gesendet von meinem SM-G981B mit Tapatalk

[Monitor]

@alturismo

ich muss dir mitteilen, dass da meine Linuxfähigkeiten und meine Unraidkenntnisse übersteigt.

Also eine Backuplösung habe ich noch nicht.

Wie schiebe ich Dateien im Unraid hin und her? Sorry.

 

[mgutt]

1 hour ago, Bigbrother said:

Bin verwirrt, in den FAQ hast du BTFRS für den Cache empfohlen, hier XFS. Bin noch Unraid Newbi, hab ich da was falsch verstanden? 

 

Ich habe die FAQ angepasst. Pools mit mehr als einen Datenträger.

[alturismo]

1 hour ago, Monitor said:

Wie schiebe ich Dateien im Unraid hin und her? Sorry.

 

naja, irgendwie hast du die Dateien ja kopiert

 

ich gehe jetzt mal davon aus das die images auf disk1 (hoffentlich) nicht aktiv sind.

 

wir benennen jetzt einfach mal hart um

 

alles im Terminal

 

mv /mnt/disk1/system/docker/docker.img /mnt/disk1/system/docker/docker.img_backup

mv /mnt/disk1/system/libvirt/libvirt.img /mnt/disk1/system/libvirt/libvirt.img_backup

 

das benennt die 2 images einfach um, sollte noch alles laufen (reboot) ist das erstmal erledigt, wenn was fehlt, Fehler passieren, was auch immer, dann müssten wir die images "tauschen"

 

sprich die aus /mnt/cache/system/.... ersetzen mit den backups, aber erstmal Test ob alles nach Schritt 1 ok ist

 

Schritt 2 wäre dann bei Fehlern ...

 

dazu settings, docker, AUS, settings, vm, AUS

 

mv /mnt/cache/system/docker/docker.img_back /mnt/cache/system/docker/docker.img_backup

mv /mnt/disk1/system/docker/docker.img_backup /mnt/cache/system/docker/docker.img

 

mv /mnt/cache/system/libvirt/libvirt.img /mnt/cache/system/libvirt/libvirt.img_backup

mv /mnt/disk1/system/libvirt/libvirt.img_backup /mnt/cache/system/libvirt/libvirt.img

 

dann settings, docker, A, settings, vm, AN

 

am Ende (je nachdem) können die ..._backup gelöscht werden Bsp.

rm /mnt/disk1/system/libvirt/libvirt.img_backup

entfernt die Datei (also wirklich weg ... kein Papierkorb )

 

für deinen Wechsel der cache Platte

 

auch wieder, docker und vm dienst aus, dateien vom cache kopieren

cp -R /mnt/cache/* /mnt/disk1/backup ... als Beispiel

 

array aus, runter fahren, Platte physisch tauschen, starten, cache definieren und als xfs formatieren (kann auch gerne in UAD gemacht werden), Dateien wieder retour per

mv /mnt/disk1/backup/appdata /mnt/cache/

mv /mnt/disk1/backup/system /mnt/cache/

...

 

array start, docker dienst start, vm dienst start, fertig

[Monitor]

17 hours ago, alturismo said:

naja, irgendwie hast du die Dateien ja kopiert

 

ich gehe jetzt mal davon aus das die images auf disk1 (hoffentlich) nicht aktiv sind.

 

wir benennen jetzt einfach mal hart um

 

alles im Terminal

 

mv /mnt/disk1/system/docker/docker.img /mnt/disk1/system/docker/docker.img_backup

mv /mnt/disk1/system/libvirt/libvirt.img /mnt/disk1/system/libvirt/libvirt.img_backup

 

das benennt die 2 images einfach um, sollte noch alles laufen (reboot) ist das erstmal erledigt, wenn was fehlt, Fehler passieren, was auch immer, dann müssten wir die images "tauschen"

 

sprich die aus /mnt/cache/system/.... ersetzen mit den backups, aber erstmal Test ob alles nach Schritt 1 ok ist

 

Schritt 2 wäre dann bei Fehlern ...

 

dazu settings, docker, AUS, settings, vm, AUS

 

mv /mnt/cache/system/docker/docker.img_back /mnt/cache/system/docker/docker.img_backup

mv /mnt/disk1/system/docker/docker.img_backup /mnt/cache/system/docker/docker.img

 

mv /mnt/cache/system/libvirt/libvirt.img /mnt/cache/system/libvirt/libvirt.img_backup

mv /mnt/disk1/system/libvirt/libvirt.img_backup /mnt/cache/system/libvirt/libvirt.img

 

dann settings, docker, A, settings, vm, AN

 

am Ende (je nachdem) können die ..._backup gelöscht werden Bsp.

rm /mnt/disk1/system/libvirt/libvirt.img_backup

entfernt die Datei (also wirklich weg ... kein Papierkorb )

 

für deinen Wechsel der cache Platte

 

auch wieder, docker und vm dienst aus, dateien vom cache kopieren

cp -R /mnt/cache/* /mnt/disk1/backup ... als Beispiel

 

array aus, runter fahren, Platte physisch tauschen, starten, cache definieren und als xfs formatieren (kann auch gerne in UAD gemacht werden), Dateien wieder retour per

mv /mnt/disk1/backup/appdata /mnt/cache/

mv /mnt/disk1/backup/system /mnt/cache/

...

 

array start, docker dienst start, vm dienst start, fertig

Können wir das bitte durchgehen?

 

mv /mnt/disk1/system/docker/docker.img /mnt/disk1/system/docker/docker.img_backup   ....................hier benennst du das docker.img in docker.img_backup um welche auf disk1 ist.

mv /mnt/disk1/system/libvirt/libvirt.img /mnt/disk1/system/libvirt/libvirt.img_backup          ....................hier benennst du das libvirt.img in libvirt.img_backup um welche auf disk1 ist.

 

Sollten die Docker auf die Img Dateien auf dem Cache zugreifen sollten die jetzt noch laufen. OK. Bei Probleme alles wieder rückgängig?

Heute habe ich aber gesehen, dass die Dateien im cache größer und von heute sind.

 

 

mv /mnt/cache/system/docker/docker.img_back /mnt/cache/system/docker/docker.img_backup   ....hier hast du vermutlich versehentlich "_back" in der Befehlszeile eingebaut?

mv /mnt/disk1/system/docker/docker.img_backup /mnt/cache/system/docker/docker.img

   aber was hier gemacht wird ist, die Datei docker.img im cache in docker.img_backup unzubenennen, und die vorherige docker.img_backup von der disk1 in den cache kopiert

   ohne diese "_backup" erweiterung.

   Gleiches mit libvirt.img.

 

mv /mnt/cache/system/libvirt/libvirt.img /mnt/cache/system/libvirt/libvirt.img_backup

mv /mnt/disk1/system/libvirt/libvirt.img_backup /mnt/cache/system/libvirt/libvirt.img

 

Bis hier geht es um mein Problem mit den 2 Dateien welche mir das FixCommonProblems gemeldet hat.

Vielen Dank.

 

Wenn ich aber meine Cacheplatte nicht ausbauen möchte sondern nur btrfs in xfs tauschen.

 

 

[alturismo]

wenn die ersten beiden Befehle schmerzfrei durch sind und nach reboot alles ok ist (Schritt 1), dann wäre das Thema deiner "Dubletten" soweit klar und könntest die von disk1 löschen da die images vom cache die "Aktuellen" sind

 

rm /mnt/disk1/system/docker/docker.img_backup

rm /mnt/disk1/system/libvirt/libvirt.img_backup

 

damit entfernst du die unnötigen dubletten welche umbenannt wurden

 

18 minutes ago, Monitor said:

Wenn ich aber meine Cacheplatte nicht ausbauen möchte sondern nur btrfs in xfs tauschen.

 

 

dann ist der Weg der Gleiche nur ohne "physischen" Umbau, ich würde die Dienste stoppen (Docker und VM), dann NACH BACKUP Array stoppen, die Platte schnell in UAD mounten, als xfs  formatieren, wieider als cache mounten, Array starten, Backup Dateien wieder retour moven, Docker und VM Dienst starten.

Edited August 7, 2021 by alturismo
Reihenfolge angepasst um sicher zu gehen

[Monitor]

8 minutes ago, alturismo said:

wenn die ersten beiden Befehle schmerzfrei durch sind und nach reboot alles ok ist (Schritt 1), dann wäre das Thema deiner "Dubletten" soweit klar und könntest die von disk1 löschen da die images vom cache die "Aktuellen" sind

 

rm /mnt/disk1/system/docker/docker.img_backup

rm /mnt/disk1/system/libvirt/libvirt.img_backup

 

damit entfernst du die unnötigen dubletten welche umbenannt wurden

 

 

dann ist der Weg der Gleiche nur ohne "physischen" Umbau, ich würde die Dienste stoppen (Docker und VM), dann NACH BACKUP Array stoppen, die Platte schnell in UAD mounten, als xfs  formatieren, wieider als cache mounten, Array starten, Backup Dateien wieder retour moven, Docker und VM Dienst starten.

 

Hi,

alles klar danke soweit.

Eins noch. Ich habe im Cache also unter mnt/cache/ die Ordner appdata, domains und system.

Mit cp -r kopier ich alles im Ordner Cache mit in einen anderen Ordner auf Disk1 der Backup heißt.

Von dort hole ich dann diese Dateien wiederzurück.

 

Sorry musst verstehen, ich habe mit Linux noch nie was zu tun gehabt.

Dos schon mal eher. Ist ja im weitesten Sinn ähnlich.

 

Gruß

 

[alturismo]

Genau

Gesendet von meinem SM-G981B mit Tapatalk

[Monitor]

1 hour ago, alturismo said:

Genau

Gesendet von meinem SM-G981B mit Tapatalk
 

 

So, ich habe jetzt meine SSD als xfs laufen.

Aber, ich habe neben den docker.img_backup wieder eine docker.img auf meiner disk1.

Wie geht das jetzt?

 

[alturismo]

womit wir wieder beim Anfang wären

 

 

schau Dir deine Einstellungen an ... 

[alturismo]

2 hours ago, Monitor said:

 

Aber, ich habe neben den docker.img_backup wieder eine docker.img auf meiner disk1.

Wie geht das jetzt?

 

wie sieht das bei Dir aus ?

 

[Monitor]

17 hours ago, alturismo said:

 

wie sieht das bei Dir aus ?

 

 Ah, hier ist der Hund begraben. Das steht auf Prefer und einmal pro Woche läuft der Mover auf das Array.

Kann das das Problem sein?

[alturismo]

12 minutes ago, Monitor said:

Kann das das Problem sein?

 

normal nicht unbedingt für die "Dublette", aber gesund ist das so oder so nicht, du willst doch die Dinge permanent auf dem "schnellen" cache lassen und nicht ins array schieben.

 

system, appdata, ... wären shares welche ich immer cache only laufen lassen würde und regelmäßig ein backup mache (mit was auch immer)

 

Beispiel wie mein setup aussieht (vms ist mein 2. cache drive)

[mgutt]

On 8/7/2021 at 4:42 PM, Monitor said:

Aber, ich habe neben den docker.img_backup wieder eine docker.img auf meiner disk1.

Wie geht das jetzt?

Naja du hast die docker.img auf disk1 umbenannt und danach doch die docker.img mit CP von der SSD auf disk1 kopiert. Also völlig logisch, dass jetzt beide auf der SSD sind oder nicht?

 

Ich muss da leider auch was reingrätschen. Die Kommandozeile ist völlig unnötig, wenn man die SSD unformatieren will. Die einzig richtige Vorgehensweise wäre gewesen:

- Docker und VM deaktivieren

- appdata etc von Prefer auf Yes umstellen

- den Mover starten (alle Dateien werden nun von SSD auf Array verschoben)

- prüfen ob die SSD wirklich leer ist

- SSD unformatieren

- appdata etc zurück auf Prefer

- Mover starten (alle Dateien werden zurück auf die SSD verschoben)

- prüfen ob die Shares aus dem Array raus sind

- Docker und VM aktivieren 

 

Der Mover macht extra Checks ob Dateien noch in Verwendung sind. Außerdem gibt er in den Logs Fehler aus. Wer selber mit der Kommandozeile rumfummelt, riskiert nur Fehler, die man nachher nicht mehr behoben bekommt.

 

On 8/6/2021 at 8:56 PM, alturismo said:

naja, irgendwie hast du die Dateien ja kopiert

Zu 99% hat er mal an der Cache Einstellung herumgespielt und System auf Cache Only oder No gestellt.

 

6 hours ago, alturismo said:

system, appdata, ... wären shares welche ich immer cache only laufen lassen würde

Und schon killst du seine Docker und er bekäme auch gleich ein drittes docker.img. Sorry, aber niemand sollte Cache Only oder No nehmen, wenn er nicht versteht was sie bewirken. Nur Yes oder Prefer.

 

Wenn er zb jetzt auf Cache Only setzt finden die Docker keine Dateien mehr, da seine SSD leer ist und installieren sich alle neu. Damit wäre das Chaos perfekt.

 

Außerdem hat Cache Only nichts auf einem Pool verloren, wo andere Shares über Yes draufschreiben. Es braucht nur einen großen Upload, der die SSD vollschreibt und alle Docker Container stürzen mangels Speicherplatz ab.

 

Bei Prefer passiert das alles nicht. Prefer leitet neue Dateien auf das Array um, wenn die SSD voll ist. Und der Mover holt sie zurück, wenn die SSD wieder leer ist. Außerdem kann bei Prefer das mit den Dubletten nicht passieren.

 

On 8/7/2021 at 3:15 PM, Monitor said:

Mit cp -r kopier ich alles im Ordner Cache mit in einen anderen Ordner auf Disk1 der Backup heißt.

Von dort hole ich dann diese Dateien wiederzurück.

In welchem Pfad liegen jetzt die Dateien, die vorher auf der SSD waren?

[alturismo]

@mgutt daher auch meine Anmerkungen, docker und vm Dienst AUS, das dies eben nicht passiert ... und wieder AN wenn alles dort ist wo es hingehört ... aber lassen wir das wenn das die "einzig richtige Vorgehensweise ist"  und andere (zum Beispiel ich) dann anscheinend keine Ahnung haben.

 

den Mover zu nutzen ist sicher auch eine Variante, ob das gut ist wenn bereits Daten als Dublette vorliegen wage ich zu bezweifeln, was auch immer da rauskommt, egal.

 

yes oder prefer bei system oder appdata zu nehmen, naja ... lasse ich jetzt auch unkommentiert stehen.

[Monitor]

... jetzt bin ich raus. Keine Ahnung ob's noch passt.

Meine Docker laufen. Ein Backup habe ich im Array. Wenn ich den Mover starte könnte ich durchs Backup alles wieder auf den Stand von gestern setzen.

Mal eine zum Abgleich:

In meinen Shares habe ich

 - appdata only/cache

 - Sohn yes/cache

 - Tochter yes/cache

 - meine Ablage yes/cache

 - system prefer/cache

Ist das jetzt gut? Oder besser gesagt in Ordnung.

 

Meine Dateiablage und die meiner Kinder möchte ich primär im Array haben. Das sind Fotos, Videos, Schulsachen, Scans, usw.

 

Diese Systemdateien sind die Img. der Docker. OK. Da habe ich noch nicht viel am laufen. Plex und Photoprism.

Sollten diese Fotos nicht mehr da sein, habe ich diese noch. Ich lerne das ja erst noch kennen.

 

Gruß