Die selbe Datei auf zwei Festplatten, frage zur Berreinigung.

[yasirrisay]

Hallo,

 

kurze Frage, ich habe nach einem Fehler beim Verschieben mit unbalanced nun 300 GB der selben Daten wild gemischt auf zwei Platten, löscht man eine Datei, kommt sie wieder da sie doppelt vorhanden ist.

 

Gibt es eine Möglichkeit, dass Unraid diese Daten automatisch löscht? Wenn nicht, gibt es ein Plugin um das zu erledigen? Händisch wäre dies in meinem Fall sehr aufwendig.

 

Grüße

Yasir

[Amane]

Hallo

Mit dem Dynamix File Manager Plugin siehst du auch wo die Daten liegen und wenn du diese manuel umsortieren möchtest kannst du das dort ziemlich gut machen:

 

anschliessend wählst du die Zielplatte aus..

Achtung, wenn du den inhalt von disk1 in meinem fall nach cache verschieben willst, musst du nur wie oben gezeigt disk1 move und dann die Zielplatte auswählen:

 

Schau einfach gut auf die Pfade..

 

Hilft das?

[Amane]

Falls du mir dein genauen Zustand der Daten aktuell schildern kannst, könnte man evtl. besser helfen und ein (find mv) Befehl basteln oder so, je nach ausmass.. 😅

[hawihoney]

4 hours ago, yasirrisay said:

Händisch wäre dies in meinem Fall sehr aufwendig.

 

Ich werfe ebenfalls ein Werkzeug in den Ring.

 

In den Unraid Apps gibt es den "Double Commander" als Docker Container. Das ist ein 1:1 Clone des "Total Commander" - und der ist unfassbar mächtig im Funktionsumfang. Das ist ein Norton 2-Fenster Dateimanager.

 

1. Dem gibst Du in der Konfiguration einen zusätzlichen r/w Pfad /mnt/ <-> /data/.

2. Stell Dich im linken Fenster auf die Quelle (z.B. /data/disk1/)

3. Stell Dich im rechten Fenster auf das Ziel (z.B. /data/disk2/)

4. Menu Commands, Synchronize Dirs aufrufen

5. Compare starten

--> Nun hast Du li/re die verschiedenen Inhalte.

5. Über Show steuerst Du was Du sehen willst (welche Seite, Duplikate, etc)

 

Spiel mal ein wenig damit rum ohne direkt das Synchronsieren auszuführen.

 

Fragen an mich. Ich bin eher der visuelle Mensch bei solchen Aktivitäten. Deshalb nutze ich in solchen Fällen eher solche Werkzeuge als find/rm/mv.

 

 

 

Edited April 13 by hawihoney

[yasirrisay]

2 hours ago, Amane said:

Falls du mir dein genauen Zustand der Daten aktuell schildern kannst, könnte man evtl. besser helfen und ein (find mv) Befehl basteln oder so, je nach ausmass.. 😅

Danke, ich werde erst mal den Tipp von hawihoney nachgehen. Zur Einordnung, so sieht es bei mir aus und das überall in meinen Daten, welche ich gerade sortiere:

[yasirrisay]

1 hour ago, hawihoney said:

Spiel mal ein wenig damit rum ohne direkt das Synchronsieren auszuführen.

 

Fragen an mich. Ich bin eher der visuelle Mensch bei solchen Aktivitäten. Deshalb nutze ich in solchen Fällen eher solche Werkzeuge als find/rm/mv.

 

Ich habe mit einem nicht so wichtigen Ordner experimentiert. Funktioniert sehr intuitiv.

 

Wenn ich es richtig verstehe, wäre dein Vorschlag, alles inkl. "subdirs" zu synchronisieren und dann die Daten von einer Festplatte zu löschen? Das ist auf jeden Fall ein Weg, wird aber dauern, da ca. 1,5 TB an kleinen Daten nicht doppelt sind und nur ca. 0,3 TB an Daten doppelt.

[yasirrisay]

Ich glaube ich habe es verstanden, ich schalte die "subdirs" an, wähle nur "duplicates", markiere nach dem klicken auf "compare" alles mit strg+a und klicke mit der rechten Maustaste und markiere ale zum löschen links, dann "synchronize".

[hawihoney]

37 minutes ago, yasirrisay said:

wird aber dauern, da ca. 1,5 TB an kleinen Daten nicht doppelt sind und nur ca. 0,3 TB an Daten doppelt.

 

Wird es immer. Es kommt beim Compare auch nicht auf die Größe der Dateien an sondern deren Anzahl.

 

37 minutes ago, yasirrisay said:

Wenn ich es richtig verstehe, wäre dein Vorschlag, alles inkl. "subdirs" zu synchronisieren und dann die Daten von einer Festplatte zu löschen?

 

Schalte einfach mal Subdirs für einen Unterordner wie Daten oder Daten/Sortiert an. By content würde ich bis zum tatsächlichen Sync abschalten. Du siehst dann wie viele Dateien wo sind. Dann klickst Du auf Synchronize. Auf dem folgenden Dialog wählst Du die Aktion aus nach links, nach rechts, links löschen. Etc. Einfach mal gucken ohne es zu starten.

 

Beispiel:

 

Edited April 13 by hawihoney

[hawihoney]

Nachtrag.

 

Offensichtlich geht es um die kompletten Platten disk2 und disk4. Zielplatte ist dann natürlich die auf der am meisten drauf ist.

 

Nehmen wir an disk4 ist voller als disk2. Dann wird disk4 zur Zielplatte. disk2 links, disk4 rechts. Compare. Synchronize. Nur Copy links nach rechts aktivieren. Keine Löschungen, kein Copy nach links.

 

Danach nochmal vergleichen. Er darf kein Copy nach rechts mehr anbieten.

 

Wenn Du glücklich bist kannst Du links löschen - nicht formatieren.

 

Hmm, denk bitte auch mal drüber nach. Hab ich was vergessen?

 

Edited April 13 by hawihoney

[Amane]

Und wieso jetzt nicht einfach ein rsync von platte disk2 nach disk4 oder umgekehrt und dann source löschen ?

[yasirrisay]

Just now, Amane said:

Und wieso jetzt nicht einfach ein rsync von platte disk2 nach disk4 oder umgekehrt und dann source löschen ?

Ich habe versucht mit unbalanced die Daten von 2 auf 4 zu verschieben aber das funktioniert nicht. Der Vorgang dauert wenige Sekunden und wird als erfolgreich abgeschloßen beendet, die Daten sind dann weiterhin so wie vorher auf beiden Platten.

 

Mit doublecommander kann ich jetzt die Daten vergleichen, die die doppelt vorhanden sind auf Disk2 markieren und löschen. Es bleiben am Ende nur leere Ordner auf Disk2 übrig, die werde ich dann löschen kann. Wenn sich doch eine Datei auf Disk2 befindet, welches nicht auf Disk4 war, dann sehe ich sie jetzt, da genau diese auch übrig bleiben werden.

[hawihoney]

6 minutes ago, Amane said:

Und wieso jetzt nicht einfach ein rsync von platte disk2 nach disk4 oder umgekehrt und dann source löschen ?

 

Hab ich oben erklärt. Ich will das sehen. Blind auszuführen mache ich nicht, nie. Oft fällt mir dabei etwas auf und ich lösche oder verschiebe noch was.

 

Ist mein Vorschlag an den OP. Jeder kann machen was ihn glücklich macht. Hatte vor der Rente 42 Jahre in der IT gearbeitet. Ich habe so viele Pferde koxxxn sehen. Dieses kleine bisschen zusätzliche Kontrolle hat mir extrem oft den Hintern gerettet.

 

Nur meine 0.0 Cent.

 

Edited April 13 by hawihoney

[Amane]

Ok versteh ich..

Na dann zumindest noch ein Befehl der leere Ordner löscht:

find /mnt/disk2/ -type d -empty -delete

 

[hawihoney]

On 4/13/2024 at 11:49 PM, Amane said:

Na dann zumindest noch ein Befehl der leere Ordner löscht

 

In seinem konkreten Fall kann er nach Erfolg disk2 komplett löschen. Macht rsync das rekursiv? Hab ich noch nie dafür genutzt. Hätte rm genommen. Und nur der Vollständigkeit halber: Die beiden Optionen empty/delete genau in dieser Reihenfolge ...

 

Der OP kannte rsync, find, etc nicht sonst hätte er sie verwendet. Also befindet er sich in einer anderen Blase als wir. Der Linux Weg ist "Nimm doch das" ohne weitere Anleitung.

 

So funktioniert das im Endbenutzer Bereich nicht. Diese holt man in ihrer Blase ab und geht mit ihnen gemeinsam in unsere. So bildet man aus, so lehrt man. Wenn dann das Vertrauen und die Kenntnis weiter gereift ist wird er selbst eigenen Schritte unternehmen.

 

Das ist seit fast 2 Dutzend Jahren so, dass man Linux Kennern Arroganz vorwirft. Die Diskussionen hierzu sind wirklich uralt. Das wollte ich nie. Ich wollte Wissen transportieren. Leute anleiten, richtig helfen. Nicht zuviel Geschwafel, nur genau dosiert. Dabei startet man mit bekannten, klaren Umgebungen, stellt sie kurz vor und zeigt mit Beispielen dem Endbenutzers wie es gehen könnte. Den Rest muss er trotzdem selbst machen. Und daran reift er.

 

Edited April 15 by hawihoney

[Amane]

4 hours ago, hawihoney said:

Macht rsync das rekursiv?

Ja ist wie "cp -a" (archive) einfach mit mehr möglichkeiten.. (rsync -av --ignore-existing /mnt/disk4/ /mnt/disk2/)

Z.B. mit "rsync --dry-run ..." kannst du vorgängig prüfen was er machen würde und wenn du zufriden bist lass den --dry-run weg.

 

4 hours ago, hawihoney said:

Das ist seit fast 2 Dutzend Jahren so, dass man Linux Kennern Arroganz vorwirft.

Sry wenn das so rüber kam..

Das Problem was ich halt hatte, Ich versteh bis jetzt noch nicht wieso man nicht einfach alles auf platte 2 nach platte 4 kopiert (mit oder ohne überschreiben), das wäre mit dem ersten Angegebenem möglich gewesen. Oder mit einem einfach cp, rsync.. wie auch immer, dann ist alles auf platte 4 und vorhandene daten auf platte 4 bleiben ja bestehen..

 

..ein Befehl - fertig.. Ist die Ordnerstruktur der beiden Platten nicht gleich? - Ich vermute ich missverstehe hier grundlegend etwas..

Edited April 14 by Amane

[hawihoney]

19 minutes ago, Amane said:

Ist die Ordnerstruktur der beiden Platten nicht gleich?

 

Das ist halt die Frage. Deshalb lieber mit interaktiver Kontrolle.

 

[yasirrisay]

9 hours ago, Amane said:

Das Problem was ich halt hatte, Ich versteh bis jetzt noch nicht wieso man nicht einfach alles auf platte 2 nach platte 4 kopiert (mit oder ohne überschreiben), das wäre mit dem ersten Angegebenem möglich gewesen. Oder mit einem einfach cp, rsync.. wie auch immer, dann ist alles auf platte 4 und vorhandene daten auf platte 4 bleiben ja bestehen..

 

..ein Befehl - fertig.. Ist die Ordnerstruktur der beiden Platten nicht gleich? - Ich vermute ich missverstehe hier grundlegend etwas..

Genau das mit den Befehlen konnte ich nicht, weil es für mich nur die Möglichkeit gab das über unbalanced zu erledigen. Dieser hat mein Prolbem aber nicht lösen können. @hawihoney hat das durchschaut und mir so geholfen, dass ich erst mal voran komme. So wird es vielen Einsteigern gehen und ich hoffe das Thema wird auch ihnen helfen hineinzufinden. Danke an beide Seiten. Ich habe ganz ähnliche Einstiegshürden mit Linux Mint aktuell. Wenn man knapp 30 Jahre mit Windows gearbeitet hat, ist das wohl normal.

 

Ich weiß nicht ob das hierher gehört, eine Grundsatzdiskussion: Wenn man Begriffe wie sudo, rsync, top, cp und so weiter sich merken muss, fällt mir das nicht nur schwer ich empfinde es sogar als unnötig kompliziert. Grafisch prägt man sich Funktionen besser ein, z.B. wüsste ich genau wie man einen Datenträger defragmentiert, auch noch unter Win95/98, obwohl ich dies schon über 15 Jahre nicht mehr mache. Wie sehe dies aus mit Befehlen, die ich so lange nicht genutzt habe?

[Amane]

49 minutes ago, yasirrisay said:

Wie sehe dies aus mit Befehlen, die ich so lange nicht genutzt habe?

Na ganz einfach, die werden nicht so lange nicht genutzt 😁

Also grundlegend auf der Befehlszeile, weiss man was nicht - nicht schlimm (überhaupt nicht). Man sollte aber wissen wie ich mir meien Infos beschaffe.

Also <Befehl> --help | alles weitere wird einem ja angezeigt.. Jedoch muss man natürlich die Befehle wissen, vorallem das es sie gibt. Alles weitere kommt von selbst.

Hier mal das wichtigste zuzammengefasst, ich habe mir das anfänglich auch in eine TXT Datei geschrieben und die immer auf abruf gehalten - Viel Erfolg!:

Spoiler

ls - Zeigt eine Liste der Dateien und Verzeichnisse im aktuellen Verzeichnis an. Mit verschiedenen Optionen kann man mehr Details anzeigen lassen, wie z.B. ls -l für detaillierte Informationen.

cd - Wechselt das Verzeichnis. Zum Beispiel cd /home wechselt in das Verzeichnis /home.

pwd - Zeigt das aktuelle Verzeichnis, in dem man sich befindet.

cp - Kopiert Dateien oder Verzeichnisse. Zum Beispiel cp source.txt destination.txt kopiert source.txt zu destination.txt.

mv - Verschiebt oder benennt Dateien um. Zum Beispiel mv oldname.txt newname.txt benennt die Datei um.

mkdir - Erstellt ein neues Verzeichnis. Zum Beispiel mkdir new_dir erstellt ein Verzeichnis namens new_dir.

rmdir - Löscht ein leeres Verzeichnis.

rm - Löscht Dateien oder Verzeichnisse. Zum Beispiel rm file.txt löscht die Datei file.txt. Mit der Option -r können auch Verzeichnisse und deren Inhalt gelöscht werden.

touch - Ändert die Zugriffs- und Modifikationszeiten einer Datei oder erstellt eine leere Datei, falls sie nicht existiert.

chmod - Ändert die Berechtigungen einer Datei oder eines Verzeichnisses. Zum Beispiel chmod 755 file.txt setzt die Berechtigungen so, dass der Eigentümer lesen, schreiben und ausführen kann, während andere nur lesen und ausführen dürfen.

chown - Ändert den Eigentümer und/oder die Gruppe einer Datei oder eines Verzeichnisses.

find - Sucht nach Dateien in einem Verzeichnisbaum, die bestimmte Kriterien erfüllen. Zum Beispiel find . -name "*.txt" findet alle .txt Dateien im aktuellen Verzeichnis und allen Unterverzeichnissen.

grep - Durchsucht den Inhalt von Dateien nach einer bestimmten Zeichenkette. Zum Beispiel grep "suchtext" file.txt sucht nach „suchtext“ in „file.txt“.

cat - Zeigt den Inhalt einer Datei auf der Konsole an oder verbindet mehrere Dateien zu einer.

echo - Gibt Text oder Variablen auf der Konsole aus. Nützlich für Skripting und einfache Ausgaben.

ps - Zeigt aktive Prozesse an. Mit verschiedenen Optionen kann man detaillierte Informationen über die Prozesse erhalten.

kill - Sendet ein Signal an einen Prozess, meistens um diesen zu beenden.

df - Zeigt die Belegung der Festplatten an.

lsblk - Listet alle verfügbaren Blockgeräte (wie Festplatten und Partitionen) mit Informationen zu Größe und Montagepunkten auf.

 

Edited April 14 by Amane