BTRFS Deduplication

[domrockt]

Hallo und Frohe Weihnachten euch allen,

 

Ist es Möglich die BTRFS Deduplication für Laufwerke hier im Unraid zu aktivieren und zu nutzen?

 

 

Edited December 24, 2022 by domrockt

[jj1987]

Deduplikation hatte ich bisher nicht auf dem Schirm, klingt aber schon interessant. Damit muss ich mich Mal in einer freien Minute intensiver auseinander setzen.

Habe bei einer schnellen Forumssuche im internationalen Bereich folgendes gefunden:

https://forums.unraid.net/topic/115902-solvedhelp-with-de-duplication-hardlinking/?do=findComment&comment=1056059

 

[mgutt]

Laut der BTRFS Doku gibt es nur die so genannte Offline Deduplizierung:

https://btrfs.readthedocs.io/en/latest/Deduplication.html

 

Dh eine Applikation muss die Daten auswählen, die nicht mehrfach geschrieben werden sollen. Dann werden "Extents", da identische Daten enthalten, verlinkt.

 

Das macht zb nachträglich diese Applikation, die nicht in unRAID enthalten ist und die man entsprechend erstmal für unRAID kompilieren und installieren müsste:

https://github.com/markfasheh/duperemove

 

Aber selbst wenn man sich diese Mühe machen würde, bringt das in unRAID nichts, denn das Array enthält individuell formatierte Partitonen. Eine Deduplizierung funktioniert dagegen nur innerhalb einer einzigen Partition. Dh es funktioniert wenn nur bei Pools, also einem RAID, das nur eine Partition enthält.

 

Aktivieren muss man dafür übrigens nichts und XFS kann das von Haus aus ebenfalls. Siehe:

 

 

Wenn du also nicht gerade vor hast alle deine HDDs in einen großen Pool zu packen, wirst du von einer Deduplizierung wenig haben. Ich nutze es zb nur um extrem schnell Backups von VMs und Container zu machen. Kopiere ich das Backup allerdings woanders hin, geht dies verloren.

[domrockt]

Also, ich hab mir mal nen Schwung von den Patriot 210 2 TB SSDs besorgt 2 davon sind schon da und weitere 3 aufm weg. Da ist mir etwas aufgefallen, ich bin gerade dabei meinen Steamcache von einer Samsung 860 Evo 4tb auf die beiden 2TB zu verschieben und habe jetzt ingesammt 3 Laufwerke im BTFRS Steamcache.

 

 

Jetzt geh ich da rein und habe auf einmal ne ganze menge an neuen Anzeigen, kann mir da jemand auf die Sprünge helfen?

Wie sind diese 4 mir neuen btrfs filesystem df's zu verstehen?

Erstellt Unraid diese einfach im BTFRS Verbund? Selbständig? Wenn ja gut von mir aus. 

[mgutt]

1 hour ago, domrockt said:

Wie sind diese 4 mir neuen btrfs filesystem df's zu verstehen?

Es läuft ein Balance. Den würde ich erstmal abwarten. Kann gut sein, dass BTRFS noch Daten von A nach B verschiebt und daher mehrere Partitionen vorhanden sind.