hawihoney Posted February 11, 2022 Share Posted February 11, 2022 (edited) 1 hour ago, MartinG said: Darum gings doch nicht. Wenn Dateien von einem Datenträger weg verschoben werden dann passt unraid die parity an. Doch genau darum ging's. Durch das Verschieben von Dateien wird die Party aktualisiert, aber nicht in dem Maße, dass die Platte entfernt werden könnte. Fürs Entfernen muss sie zusätzlich gecleared werden. Und dieser Clearing Prozess muss ebenfalls die Parity aktualisieren. Deshalb umfasst der oben von mir verlinkte Prozess zum Entfernen von Festplatten gefühlt 30 Schritte. Nachtrag: Ich weiß nicht wie ich das besser erklären soll. Ich vermute, dass Du das Löschen auf Dateisystem-Ebene als ausreichend betrachtest. Das ist es aber nicht. Die Parity kennt keine Dateisysteme. Deshalb kannst Du XFS-, BTRFS- und ReiserFS-formatierte Datenplatten im selben Array durch die selben Parity-Platten hochverfügbar halten. Zum Entfernen einer Datenplatte muss (!!!) die Datenplatte, unter gleichzeitigem aktualisieren der Parity, komplett gecleared werden. Nur so ist die Parity zu jedem Zeitpunkt sauber. Jede andere Vorgehensweise bricht die Hochverfügbarkeit. Edited February 11, 2022 by hawihoney Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 Ok - Danke Martin..... aber ich will Dich nicht aufhalten von Deinen dringenderen Dingen.... Auf der Disk3 waren alle Share-Ordner leer übriggeblieben - ich hatte es jetzt (mit der gleichen Procedure von Spaceinvader) erreicht jeweils immer nur einen Ordner von Disk3 nach Disk 1 zu verschieben.... sozusagen die Reste eingesammelt... Nach dem UnBalance tool sind jetzt alle Files von Disk3 nach Disk1 verschoben - warum hat das Plug-in das nicht gleich gemacht Begreif ich nicht bei einem Plugin, was seit 6Jahren von der Community gebraucht wird... Dann hatte ich mal Calibri (einen meiner Docker) neu installiert... (hatte Deine Mail noch nicht gelesen) Die Parameter des Dockers sind aber offenbar jetzt anders... er findet u.a. die Datenbank auch nicht mehr... Die Daten sind aber auf Disk1 vorhanden - also werde ich suchen müssen welche Parameter ich neu einstellen muss, jetzt wo alle Daten verschoben sind.... Mann, mann, mann..... ist das normal, dass ein Plug-in solche Faxen macht ?!? Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 @hawihoney "...Zum Entfernen einer Datenplatte muss (!!!) die Datenplatte, unter gleichzeitigem aktualisieren der Parity, komplett gecleared werden. Nur so ist die Parity zu jedem Zeitpunkt sauber. Jede andere Vorgehensweise bricht die Hochverfügbarkeit...." Wichtige Anmerkungen ! Allerdings bin ich soweit ja gar nicht gekommen, denn das Verschieben der Daten selbst mit dem UnBalance Plug-in verursacht massive Probleme... s.o. Muss jetzt erstmal reparieren, aber weiss gar nicht wo ich zuerst anfangen soll... Quote Link to comment
mgutt Posted February 11, 2022 Share Posted February 11, 2022 Ist die Parity eben einen Tag kaputt und wird neu aufgebaut. Klar, kann natürlich in die Hose gehen, aber da wären wir wieder beim Thema Backup. Kann ja schließlich genauso gut ein Blitz reinhauen oder irgendwas anderes die Daten zerlegen. Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 Das Problem mit dem UnBalance Plugin ist aber aktuell ein anderes: - In dem Video von Spaceinvider (s.o.) ist die Rede von einer Anpassung der Permissions vor dem Verschieben der Daten. Das soll man machen durch Installieren des neuen Plug-in "Fix common problems"... - Diese rot unterlegte Meldung habe ich NIE bekommen beim ausführen der Planung vor dem Verschieben. Ich nehme an, weil das Plug-in "Fix common problems" bereits seit langem installiert ist... - Resultat ist jetzt aber, das die Daten nicht komplett verschoben wurden - ich musste das Verschieben mehrmals veranlassen, bis die Daten wirklich von Disk3 nach Disk1 verschoben sind... Docker sind weg - Neuinstallation bringt nix, weil auf Webgui und Datenbanken der Docker kein Zugriff ist... Ich mache gerade einen extended Test mit dem "Fix-common-problems" plug in, um festzustellen was hier jetzt alles faul ist... die Liste dürfte lang sein... Was ich auch inzwischen festgestellt habe: UnBalance plug-in kann offenbar/möglicherweise keine Hardlinks - die ganzen Backups (MGutt script) verschoben von Disk3 nach Disk1 dürften also wertlos sein...... Quote Link to comment
mgutt Posted February 11, 2022 Share Posted February 11, 2022 15 minutes ago, ullibelgie said: Docker sind weg - Neuinstallation bringt nix, weil auf Webgui und Datenbanken der Docker kein Zugriff ist... Wenn die Container während dem Verschieben liefen, ist das auch nicht verwunderlich. Hatte das keiner gesagt, dass man die Container erstmal stoppen muss? Ist natürlich Scheiße. Hast du Backups von appdata? Das Problem ist nämlich unter anderem, dass du 2x verschoben hast. Damit hast du 100pro die ersten Originaldateien mit korrupten überschrieben, denn wenn der Container weiter in eine offene Datei schreibt, die bereits verschoben wurde, verbleibt auf der Quelle eine korrupte Mini-Datei. Deine Tests kannst du dir daher sparen. Die erkennen keine korrupten oder falsch positionierten Dateien. Du musst dir das so vorstellen, dass du quasi während Windows lief die komplette C Platte auf Platte D verschoben hast. Das überlebt kein laufendes System. 15 minutes ago, ullibelgie said: UnBalance plug-in kann offenbar/möglicherweise keine Hardlinks Unbalance nutzt rsync. Allerdings muss die Option "-H" gesetzt sein. Kann gut sein, dass das bei Unbalance nicht gemacht wird. Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 Fix-Common Problems mit jede Menge Permission errors nach dem extended check... Offenbar hätte beim Ausführen des UnBalance plugin die Meldung kommen müssen, daß ich unter in Unraid unter Tools das Script "Docker Safes new Perms" hätte ausführen müssen - diese Warnmeldung oder auch irgendetwas rot unterlegtes wie im Video KAM ABER NICHT !! Also habe ich die Daten verschoben.... Jetzt massenhaft Permission errors... Das nachträgliche Ausführen des "Docker safes new Perms" -script bringt ja nix... Oder mache ich irgendwas falsch ? Quote Link to comment
jj1987 Posted February 11, 2022 Share Posted February 11, 2022 29 minutes ago, mgutt said: Wenn die Container während dem Verschieben liefen, ist das auch nicht verwunderlich. Hatte das keiner gesagt, dass man die Container erstmal stoppen muss? Ist natürlich Scheiße Eigentlich schrieb ullibelgie die wären beendet gewesen: 3 hours ago, ullibelgie said: Alle Docker weg ! Ich hatte diese vor dem Moven alle beendet - Spaceinvader erklärt das ja auch. Mover habe ich ja gar keinen, weil keine Cache disk. Es war garantiert kein Zugriff von irgendwo her auf irgendwelche Dateien während des Moves... Quote Link to comment
hawihoney Posted February 11, 2022 Share Posted February 11, 2022 1 hour ago, ullibelgie said: Allerdings bin ich soweit ja gar nicht gekommen, denn das Verschieben der Daten selbst mit dem UnBalance Plug-in verursacht massive Probleme... s.o. Du meinst, dass Du nun ggfs. globale Docker, individuelle Container, globale VM oder indivduelle VM Settings anpassen musst? Wenn ja, das hätte klar sein müssen. Oder meinst Du das nackte Verschieben von Daten mit dem Unbalance Plugin? Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 @mgutt Selbstverständlich habe ich alle Docker gestoppt - doppelt gecheckt - wie im Video Mover auf monatlich am 1sten... (dabei habe ich gar keine Cache oder Pooldrives) Ja, ich habe Backups... (mit plug-in gemacht in einen Backup-share, der danach per Luckybackup auf eine USB disk gebracht wurde) Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 @hawihoney Ich habe einfach gemacht was Spaceinvaderone in seinem Video gemacht hat. Verschieben von allen shares auf disk3 nach disk1 Vorher: Alle Docker ausgeschaltet - Mover aus und alles was irgendwie Zugriff auch Daten oder Ordner haben könnte - VM's habe ich keine (das kann mein alter server ja gar nicht) Dann habe ich mich gewundert, dass ich keine Warnmeldung kriege wegen der Permissions..... aber es war keinerlei hinweis - nur eben, dass Planning der Verschiebungs-Procedure fertig ist und bereit zum Moven (alles schwarz unterlegt und nicht etwa irgendwas von Warnmeldungen rot unterlegt !) Klar waren auf Disk3 auch system und Docker und Domein und was weiss ich alles drauf..... Das sollte eben verschoben werden. Hat niemand gesagt, daß nur ganz bestimmte Daten verschoben werden können und ganz bestimmte andere eben nicht ! Dafür ist doch der Planning - test vor dem Moven !!! Also nochmal: Docker waren ausgeschaltet und alles andere auch! Keine VM's, keine SMB disks, keine Pools/Cachedisks.... nix - hab ich alles nicht Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 Alles nur das nackte verschieben mit dem UnBalance Plug in - nix weiter versucht. Hat mir jetzt offenbar den Server zerschossen! Quote Link to comment
mgutt Posted February 11, 2022 Share Posted February 11, 2022 29 minutes ago, ullibelgie said: Offenbar hätte beim Ausführen des UnBalance plugin die Meldung kommen müssen, daß ich unter in Unraid unter Tools das Script "Docker Safes new Perms" hätte ausführen müssen Unsinn. Die Dateien der Container behalten ihre Rechte, wenn Unbalance sie verschiebt. Die meisten Container haben eigene Rechte, die mit Unraid nichts zu tun haben. Die darf man gar nicht ändern. Das Skript was du benennst kenne ich auch nicht. Was soll das sein? 25 minutes ago, ullibelgie said: Selbstverständlich habe ich alle Docker gestoppt - doppelt gecheckt Bliebe aber immer noch das Problem, dass der Docker-Dienst gelaufen ist, korrekt? Also du hast nicht Docker auf "Nein" gestellt, sondern nur die Container gestoppt? 29 minutes ago, ullibelgie said: Oder mache ich irgendwas falsch ? Ich denke mal schon. Ich verstehe nicht mal wo du Permission Errors siehst. Wie wäre es, wenn wir mal bei einem Container anfangen oder du mal irgendwas inhaltliches postest. zB Screenshots. Ganz grundlegend würde ich Docker beenden und das docker.img löschen lassen. Danach schaust du über Shares > System rechts das Ordnersymbol ob das docker.img wirklich weg ist und wo eigentlich das system-Share liegt. Ist die LOCATION nur eine bestimmte Disk? Ok, dann weiter. Shares -> appdata rechts das Ordnersymbol. Sind alle Dateien aus appdata auf einer bestimmten Disk oder verteilt? Falls sie verteilt sind: Kannst du ausschließen, dass es Dopplungen gibt? Also eine Datei auf Disk1 UND Disk2 liegen? Das darf auf keinen Fall sein. Prüfe so viele Dateien wie möglich. Ist dagegen LOCATION nur eine Disk. Wie sind die include-Disk-Einstellungen beim Share appdata. Darf appdata auf alle Disks schreiben oder nur auf ausgewählte? Sollten alle sein. Falls nein. Ändern und Array neu starten. Docker starten. Das erstellt nun ein neues docker.img. Jetzt Docker > Add Container und einen Container auswählen, der ohne Abhängigkeiten zu anderen Containern läuft. Wie sehen da die Pfade aus? Steht da überall /mnt/user oder sind gar Disk-Pfade hinterlegt wie /mnt/disk1 oder so? Wenn überall /mnt/user steht kannst du den Container starten. Läuft er? Wenn nein, warum nicht? Was sagen die Logs des Containers. Solange dieser eine Container nicht läuft, würde ich erst mal gar nicht weiter machen. Quote Link to comment
hawihoney Posted February 11, 2022 Share Posted February 11, 2022 3 minutes ago, ullibelgie said: Alles nur das nackte verschieben mit dem UnBalance Plug in - nix weiter versucht. Hat mir jetzt offenbar den Server zerschossen! 6 minutes ago, ullibelgie said: Klar waren auf Disk3 auch system und Docker und Domein und was weiss ich alles drauf Beides widerspricht sich. Wie schon @mgutt geschrieben hat, hast Du System-Bestandteile verschoben - nicht nur nackte Daten. Das Konsolidieren und Entfernen von Festplatten ist nicht gerade einfach. Meiner persönlichen Meinung nach gehört das nicht in User Hände. Und nur weil man unter Unraid Administrator spielen kann ist man noch lange keiner. Für manche Tasks halte ich die ganzen Videos für sau gefährlich, denn sie suggerieren, dass man das Hirn abschalten kann. Die Container selbst bekommst Du mit allen Settings zurück. Was ggfs. problematisch ist, sind die Daten außerhalb des appdata Verzeichnis. Über welche Container reden wir? Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 @mgutt Unsinn. Die Dateien der Container behalten ihre Rechte, wenn Unbalance sie verschiebt. Die meisten Container haben eigene Rechte, die mit Unraid nichts zu tun haben. Die darf man gar nicht ändern. Das Skript was du benennst kenne ich auch nicht. Was soll das sein? Unter Docker OS oben Docker Safe new Perms Bliebe aber immer noch das Problem, dass der Docker-Dienst gelaufen ist, korrekt? Ja, Spaceinvaderone stoppt im Video oben auch nur die Docker und controlliert dann nochmal, ob Sie wirklich alle gestoppt sind. (im Dashboard) Da wird weiter nix abgeschaltet - ausser der Mover "...ich verstehe nicht mal wo du Permission Errors siehst. Wie wäre es, wenn wir mal bei einem Container anfangen oder du mal irgendwas inhaltliches postest. zB Screenshots...." Results vom "fix common problems" plug in... Ich sehe aber auch, daß es hier ausschliesslich um Backup Files geht aus Deinem MGutt Backup script. Gerade controlliert - UnBalance setzt das -H für rsync nicht ! Wenn die Files weg wären wäre es nicht so schlimm - kann ich neu anlegen, denn sind extern auf anderen Rechnern - das sind die Backups von den Clients, die am Server hängen - die Originaldaten sind ja noch da... Wo kommt denn der .Trash-99 EIntrag her ?? Hab ich noch nie gesehen... Der vDisk Fehler kommt wohl aus meine Unraid Anfangszeit als ich mal versucht habe mit einer VM während der Testphase - unwichtig und kann weg - nie installiert und gebraucht... So - dann werde ich mich jetzt mal mit Docker beschäftigen... (Die Liste abarbeiten und schauen was los ist) Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 @hawihoney Was Dein Kommentar zu den Videos angeht, muss ich Dir jetzt beipflichten.... leider ist das Kind schon in den Brunnen gefallen.... Meine Docker: - Binhex/Krusader (Der Docker läuft sogar noch, zumindest startet das Webgui mit der üblichen Ubersicht der Folder/Files) Ich werde aber auch den Docker löschen wie MGutt das vorgeschlagen hat - calibre - calibri Web - Paperless-ng - Postgresql (in Gebrauch für Paperless anstelle sqllite) - Redis Quote Link to comment
mgutt Posted February 11, 2022 Share Posted February 11, 2022 13 minutes ago, ullibelgie said: Unter Docker OS oben Docker Safe new Perms Du meinst unter "Unraid OS die Option New Permissions"? Wenn du das ausgeführt hast, hast du dir mit aller Wahrscheinlichkeit nach ein paar oder alle deine Container zerschossen. Es gibt sogar einen Hinweis dafür, wobei ich das schon länger kritisiere warum appdata bei diesem Tool überhaupt ausgewählt werden kann bzw nicht von vorneherein in einem separaten Dropdown oder so ist (mit fetter roter Warnung): Du siehst bei Fix Problems Logs auch, dass das Plugin bewusst appdata überspringt: Auch das weil in diesem Verzeichnis unterschiedlichste Rechte gelten und Fix Common Problems würde dir sonst tausende "Fehler" anzeigen. 13 minutes ago, ullibelgie said: Ja, Spaceinvaderone stoppt im Video oben auch nur die Docker und controlliert dann nochmal, ob Sie wirklich alle gestoppt sind. (im Dashboard) Da wird weiter nix abgeschaltet - ausser der Mover Auch spaceinvader ist nicht unfehlbar. Durch die "Korrektur" der Rechte würde ich sagen, dass jetzt nur noch ein Backup von appdata hilft. Doppelt doof: Die Backups hast du auch zerschossen, weil du ja auch da die Rechte "korrigiert" hast. Ich hoffe du hast noch welche in einem TAR oder außerhalb des Servers. Wenn nein: Arschkarte. Entweder bei Null anfangen oder jeden Container einzeln neu installieren und Rechte notieren. Dann die Rechte des Backups entsprechend anpassen (viel Handarbeit) und das bei jedem Container einzeln. Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 42 minutes ago, mgutt said: Ganz grundlegend würde ich Docker beenden und das docker.img löschen lassen. Danach schaust du über Shares > System rechts das Ordnersymbol ob das docker.img wirklich weg ist und wo eigentlich das system-Share liegt. Ist die LOCATION nur eine bestimmte Disk? Ok, dann weiter. @mgutt Alle Docker gelöscht incl. docker.img file (wie auch beschrieben in häufig gestellte Fragen und Punkt 1): Allerdings finde ich das Docker img file immer noch, aber nur auf Disk1 (wo ich ja auch alles hin verschieben will/wollte) Also nicht ok ! Wieso ist das docker.img da noch ? Was ist hier los ?! Quote Link to comment
mgutt Posted February 11, 2022 Share Posted February 11, 2022 18 minutes ago, ullibelgie said: Wieso ist das docker.img da noch ? Was ist hier los ?! Settings > Docker > docker.img löschen Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 @mgutt Bei dem Plugin wird Appdata explizit ausgeschlossen (Excluded) Auch bei dem Fix-common-problems Plugin ist bei dem Permission Check der Folder appdate EXCLUDED ! Steht ja oben auch in dem Screenshot... Ich hoffe es ist nicht so schlimm wie Du es jetzt annimmst... Muss ich zum Docker.img löschen hier in den Docker settings Delete vDisk file ankreuzen ? Das hatte ich nicht gemacht: Quote Link to comment
mgutt Posted February 11, 2022 Share Posted February 11, 2022 Just now, ullibelgie said: Bei dem Plugin wird Appdata explizit ausgeschlossen (Excluded) Ach so. Das ist ein optionales Plugin. Dann schreib doch nicht Skript ^^ Ok, dann besteht absolut Hoffnung, dass zumindest appdata in Ordnung ist. Aber die Rechte deiner Backups sind in jedem Fall kaputt. 1 minute ago, ullibelgie said: Muss ich zum Docker.img löschen hier in den Docker settings Delete vDisk file ankreuzen ? Das hatte ich nicht gemacht: Jo Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 shares > appdata: Ausschliesslich auf Disk1, wo Sie auch hin verschoben werden sollten... das ist also ok ?! Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 Ok - Docker.img File ist jetzt weg: Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 Ich habe die Appdata-Folder als Backup auf externen PCs/ HDDs exportiert ... das musste also zu restoren sein aus Luckybackup: - ich hatte auf dem Unraidserver mit dem Plug-in "Appdata backup/restore" in ein Unraid share "Backup" geschrieben und dann regelmässig mit Luckybackup diesen Backup folder mit exportiert auf andere Rechner... Quote Link to comment
ullibelgie Posted February 11, 2022 Author Share Posted February 11, 2022 Hier noch diese Ubersicht Nicht verändert seit Installation des servers - standardeinstellungen: (ich habe ja kein Cache oder Pool - arme Leute Server....) Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.