Revan335 Posted March 13, 2023 Share Posted March 13, 2023 (edited) Hallo, da ich ebenfalls kein Bock mehr auf die Zuverlässigkeit von btrfs im RAID 1 hatte, läuft es nun ebenfalls per xfs und Single Disk. Wie macht ihr das Backup von diesem Single Cache? Es läuft der Cache, Docker/System, Appdata, libvirt, VMs drauf. Nur per Backup App (Für VMs und Docker/Appdata) und Mover für den Cache einmal am Tag/Stunde, mgutts Script, luckyBackup, ...? Dann auf ne zweite NVME oder USB Platte, Array, NAS ....? Vielen Dank! Viele Grüße Revan335 Edited March 13, 2023 by Revan335 Quote Link to comment
cz13 Posted March 14, 2023 Share Posted March 14, 2023 Servus, ich lass das Script von mgutt täglich auf ein UD laufen. Am Wochenende fährt eine NAS hoch und da wird‘s dann auch nochmal draufgepackt. 1 Quote Link to comment
alturismo Posted March 14, 2023 Share Posted March 14, 2023 7 hours ago, Revan335 said: Wie macht ihr das Backup von diesem Single Cache? So oft wie DU im Notfall auf eine Backupdatei verzichten könntest ... 10 Leute, 10 Meinungen ... direkt, 1/4 stündlich ... stündlich ... monatlich ... nie 3 Quote Link to comment
hawihoney Posted March 14, 2023 Share Posted March 14, 2023 (edited) 7 hours ago, Revan335 said: Wie macht ihr das Backup von diesem Single Cache? So mache ich es: 1.) rsync einmal täglich komplett von der aktiven NVMe M.2 zur zweiten NVMe M.2. Da dieser Backup heiß ist (Container werden nicht gestoppt) ... 2.) ... zusätzlich einmal täglich relevante Container (z.B. Datenbanken) runterfahren und per rsync ins Array sichern. Im Katastrophenfall die zweite NVMe ins Spiel bringen und die Datenbanken drüber legen. Der Grund liegt in der Differenz der Größe und der damit verbundenen Laufzeit. Komplett ist ~250 GB, relevantes unter 10 GB. Edited March 14, 2023 by hawihoney Quote Link to comment
Revan335 Posted March 18, 2023 Author Share Posted March 18, 2023 Nutzt ihr für euer Docker Directory oder File ebenfalls xfs oder wird dort btrfs genutzt? Das kann man ja unabhängig vom Cache Filesystem in den Docker Settings definieren. Quote Link to comment
Ford Prefect Posted March 18, 2023 Share Posted March 18, 2023 On 3/13/2023 at 11:56 PM, Revan335 said: da ich ebenfalls kein Bock mehr auf die Zuverlässigkeit von btrfs im RAID 1 hatte, läuft es nun ebenfalls per xfs und Single Disk. Wie macht ihr das Backup von diesem Single Cache? ....ich hab auch die Nase voll aber mir das nicht angetan und bin auf 6.12rc1 und nutze nun zfs mirror auf nem pool...cache Umstellung von BTRFS auf ZFS kommt morgen dran. Quote Link to comment
Revan335 Posted March 18, 2023 Author Share Posted March 18, 2023 36 minutes ago, Ford Prefect said: ....ich hab auch die Nase voll aber mir das nicht angetan und bin auf 6.12rc1 und nutze nun zfs mirror auf nem pool...cache Umstellung von BTRFS auf ZFS kommt morgen dran. Da bin ich mächtig gespannt. Berichte bitte! Mit ZFS hab ich noch nicht so viel Berührung/Erfahrung gehabt. Gut, das inzwischen RC2 raus ist. Da wurde auch was am ZFS geändert/gefixt. Quote Link to comment
mgutt Posted March 18, 2023 Share Posted March 18, 2023 1 hour ago, Revan335 said: Nutzt ihr für euer Docker Directory oder File ebenfalls xfs oder wird dort btrfs genutzt? Das kann man ja unabhängig vom Cache Filesystem in den Docker Settings definieren. Nein das kann man nicht separat einstellen. Entweder hat man das docker.img und das dafür definierte Dateisystem oder man nutzt den Cache Pool und dessen Formatierung. Letzteres kann man nicht ändern, außer man macht den ganzen Pool platt und formatiert ihn neu. Quote Link to comment
Revan335 Posted March 18, 2023 Author Share Posted March 18, 2023 6 minutes ago, mgutt said: Nein das kann man nicht separat einstellen. Entweder hat man das docker.img und das dafür definierte Dateisystem oder man nutzt den Cache Pool und dessen Formatierung. Letzteres kann man nicht ändern, außer man macht den ganzen Pool platt und formatiert ihn neu. OK, mir wurde auch beim Docker Directory die Frage nachdem Dateisystem gestellt. Das hatte mich schon verwundert, da es aufgrund des Directory gar keinen Sinn macht das einzustellen, weil es vom Ziel abhängt wo es abgelegt wird. Quote Link to comment
hawihoney Posted March 19, 2023 Share Posted March 19, 2023 7 hours ago, Revan335 said: Das hatte mich schon verwundert, da es aufgrund des Directory gar keinen Sinn macht das einzustellen, weil es vom Ziel abhängt wo es abgelegt wird. Schau mal in die docker.cfg. Dort steht der Storage Driver für Images. Das läuft bei mir auf XFS: DOCKER_IMAGE_TYPE="folder" DOCKER_OPTS="--storage-driver=btrfs" 1 Quote Link to comment
alturismo Posted March 19, 2023 Share Posted March 19, 2023 oder um zu sehen was läuft, overlay2 auf xfs root@AlsServer:~# docker system info Client: Context: default Debug Mode: false Server: Containers: 22 Running: 22 Paused: 0 Stopped: 0 Images: 22 Server Version: 20.10.23 Storage Driver: overlay2 Backing Filesystem: xfs Supports d_type: true Native Overlay Diff: true userxattr: false Logging Driver: json-file ..... 1 Quote Link to comment
Revan335 Posted March 19, 2023 Author Share Posted March 19, 2023 2 hours ago, hawihoney said: Schau mal in die docker.cfg. Dort steht der Storage Driver für Images. Das läuft bei mir auf XFS: DOCKER_IMAGE_TYPE="folder" DOCKER_OPTS="--storage-driver=btrfs" Docker OPTS fehlt bei mir. 1 hour ago, alturismo said: oder um zu sehen was läuft, overlay2 auf xfs root@AlsServer:~# docker system info Client: Context: default Debug Mode: false Server: Containers: 22 Running: 22 Paused: 0 Stopped: 0 Images: 22 Server Version: 20.10.23 Storage Driver: overlay2 Backing Filesystem: xfs Supports d_type: true Native Overlay Diff: true userxattr: false Logging Driver: json-file ..... Ja, steht auf xfs bei mir. Vielen Dank! Quote Link to comment
mgutt Posted March 19, 2023 Share Posted March 19, 2023 Ich denke nicht, dass man bei Folder das Dateisystem ändern kann. Dann gilt einfach das, was der Datenträger selbst hat. Quote Link to comment
Milongero Posted March 20, 2023 Share Posted March 20, 2023 Darf man Mal fragen welche Probleme es mit BTRFS gibt? Und ist XFS überhaupt für SSD's geeignet? Quote Link to comment
hawihoney Posted March 20, 2023 Share Posted March 20, 2023 (edited) 34 minutes ago, Milongero said: Darf man Mal fragen welche Probleme es mit BTRFS gibt? 1.) RAID5/6 Systeme mit BTRFS sind noch nicht ausgereift. Single Device FS z.B. im Array mag kein Thema sein. Ein Multi-Device BTRFS Pool käme mir aber nicht ins Haus - auch wenn es ein angeblich fertiges BTRFS RAID-1 ist: https://btrfs.readthedocs.io/en/latest/btrfs-man5.html#raid56-status-and-recommended-practices Quote There are some implementation and design deficiencies that make it unreliable for some corner cases and the feature should not be used in production, only for evaluation or testing. The power failure safety for metadata with RAID56 is not 100%. Als persönliche Anmerkung hierzu noch Folgendes. Wenn in einem RAID Verbund aus zwei Platten (z.B. der typische Unraid Cache) eine Platte ausfällt, dann geht das normalerweise so: (Stoppen), Platte austauschen, (Starten), Sync, fertig. Bei BTRFS kommt noch dazu, dass unter Volllast die verbliebene gesunde Platte mit den Metadaten rumspielt. Das sind bei BTRFS somit zwei Volllast Szenarien beim Ausfall einer Platte statt nur einem bei anderen RAID Systemen. Ich habe das einmal erlebt und war weg. Das mag sich vielleicht geändert haben, ich glaube das aber nicht. Jeder Sync ist IMHO eine kritische Situation. Bei BTRFS genehmigt man sich zwei davon. Ich kann nicht verstehen, dass BTRFS allen Ernstes für solche Szenarien eingesetzt wird. 34 minutes ago, Milongero said: Und ist XFS überhaupt für SSD's geeignet? Wie kommst Du darauf? Im Gegenteil. Laut der oben verlinkten Status Seite vom BTRFS Team gibt es auch bei SSDs die sich zwischen 50 % und 100 % ihres Lebenszyklus befinden massive Probleme durch die Write Amplication von BTRFS und der Metadaten Duplizierung. Auch hier ist XFS unverdächtig. Als interessierter Nutzer verfolge ich die Entwicklung beider FS im Kernel und auch außerhalb. Meiner bescheidenen persönlichen Meinung nach verfolgen beide Fraktionen unterschiedliche Entwicklungsansätze. M.M.n. haut das BTRFS Team alle Features gleichzeitig raus und beginnt dann mit dem Fixen. Das XFS Team setzt einzelne kleine Schritte als Ziel und macht sie fertig. Erst dann kommen sie ans Licht und das nächste Ziel wird ausgerufen. Nur meine 0.02 Cent. Jeder kann machen was er will, aber guck Dir mal die hunderte Fehlermeldungen an. Es ist fast immer der BTRFS Cache (nach einem Crash oder Stromabriss o.ä.). Edited March 20, 2023 by hawihoney Quote Link to comment
jj1987 Posted March 20, 2023 Share Posted March 20, 2023 1 minute ago, hawihoney said: Jeder kann machen was er will, aber guck Dir mal die hunderte Fehlermeldungen an. Es ist fast immer der BTRFS Cache. Wobei ich mir nicht sicher bin ob in letzter Konsequenz BTRFS der Auslöser ist. Denn ebenso häufig sieht man ja zb die fragen zu AER Fehlern im Forum. Ich könnte mir vorstellen, dass ein (schlecht implementierter) Stromspar-Mechanismus das RAID1 stört, man dann aber nur als Endeffekt den BTRFS Fehler sieht. Ich zb nutze BTRFS Cache seit über 2 Jahren und außer ganz am Anfang (durch eben einen solchen Stromspar-Mechanismus auf einem anderen Board) hatte ich nie irgendwelche Probleme. Wobei ich natürlich auch einen recht entspannten usecase für meinen UNRAID Server habe (was bei zickigen Stromspar-Mechanismen dann allerdings wieder stärker zum tragen kommen würde). Da werden andere User ihre Maschinen ganz anders knechten Quote Link to comment
hawihoney Posted March 20, 2023 Share Posted March 20, 2023 19 minutes ago, jj1987 said: Ich könnte mir vorstellen, dass ein (schlecht implementierter) Stromspar-Mechanismus das RAID1 stört, man dann aber nur als Endeffekt den BTRFS Fehler sieht. Das genau meine ich doch. Ein Dateisystem muss mit einem Crash - egal ob durch Strom oder etwas anderes - klar kommen. Das kommt BTRFS einfach nicht. Ich hatte Ende 2021 zwei selbst verschuldete Abstürze. Beide Male hat der BTRFS Mirror Pool (2x NVMe M.2) nicht überlebt und jedes mal durfte ich manuell reparieren und sogar den Rechner aufschrauben um an die M.2 Riegel zu kommen. Zu dem Zeitpunkt habe ich alles was BTRFS im Namen hat eliminiert. Ob ich jetzt auf ZFS springe oder nicht weiß ich noch nicht. BTRFS lasse ich aber auf jeden Fall links liegen. Das ist bei mir verbrannte Erde. Quote Link to comment
Milongero Posted March 20, 2023 Share Posted March 20, 2023 Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen. Quote Link to comment
alturismo Posted March 20, 2023 Share Posted March 20, 2023 7 minutes ago, Milongero said: Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen. naja, das ist jetzt aber weit am Thema vorbei ... und ne SSD ins Array hängen und dank Parity immer mit angezogener Bremse fahren und immer mit laufender disk ... macht wohl eher 0 Sinn auch hier, btrfs ... never ever again ... 2 x meine Erfahrung damit gemacht, ich bin damit auch schon lange fertig und ja, es gibt x threads hierzu (wo vermeintlich nicht mal klar ist was schuld ist), Beispiele zuhauf ... kaputte Docker Images ... und ... siehe da, btrfs aber ja, es gibt einige wo das schmerzfrei durchläuft, nur halt auch einige wo das Thema beerdigt ist ... und jetzt sollte das genug #offtopic gewesen sein bitte. Quote Link to comment
Revan335 Posted March 20, 2023 Author Share Posted March 20, 2023 9 minutes ago, Milongero said: Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen. Ne Mischung aus HDD und SSD halte ich jetzt nicht so sinnvoll abseits davon ob das überhaupt funktioniert/supported ist und man verliert den Cache und dessen Funktion. Quote Link to comment
Milongero Posted March 20, 2023 Share Posted March 20, 2023 Den Unterschied zwischen Pool und Array kennst du? Array: eine Datei eine Platte plus Party auf einer anderen. Pool: eine Datei gesplittet auf mehrere Platten plus Party auch verteilt auf mehrere Platten oder eine Einzelne ja nach RAID Typ. Warum gibt es Pools mit RAID systemen? Performance plus Sicherheit. Das kann man sich im RAID konfigurieren wie man es braucht. Ein Array ist einfach nur ein Cluster (Haufen) von Platten die hintereinander geschaltet sind und jede für sich selbständig arbeitet. Vorteil: Altmetall Verwertung, stromsparend Nachteil: Performance. Einen Pool so zu verbiegen das er wie ein Array funktioniert ohne Party finde ich dagegen etwas merkwürdig. Quote Link to comment
jj1987 Posted March 20, 2023 Share Posted March 20, 2023 45 minutes ago, Milongero said: Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen. 9 minutes ago, Milongero said: Den Unterschied zwischen Pool und Array kennst du? 9 minutes ago, Milongero said: Einen Pool so zu verbiegen das er wie ein Array funktioniert ohne Party finde ich dagegen etwas merkwürdig. Deine Aussagen widersprechen sich aber auch... Und ins Array gehören (für mich) keine SSDs, schon gar nicht wenn da auch noch HDDs drin sind. Und selbst bei SSD-only Array sollte man genau wissen was man tut. Stichworte TRIM und Overprovisioning werfe ich da Mal in den Raum Quote Link to comment
alturismo Posted March 20, 2023 Share Posted March 20, 2023 35 minutes ago, Milongero said: Den Unterschied zwischen Pool und Array kennst du? ich weiß jetzt nicht auf wen oder was du anspielst ... 1 hour ago, Milongero said: Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen. meine Antwort bezog sich auf diese Aussage von Dir und jetzt mal ganz entspannt, hier bei Unraid reden wir über das Array oder Pools, und ja, ich kenne den Unterschied und wenn du sagt die SSD ins Array hängen ... dann, siehe meine Antwort oben zum "Unraid" Array, wenn du meinst ne SSD in einen Pool setzen (sei es single drive, multi drive) dann reden wir von was anderem hier ... und jetzt bitte wenn ... dann zurück zu #topic wenn Bedarf, cache Backup ... Quote Link to comment
hawihoney Posted March 20, 2023 Share Posted March 20, 2023 58 minutes ago, Milongero said: Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen. Du scherzt, oder? Was soll denn eine SSD in einem x-disk Unraid Array bestehend aus Harddisks. Das ist die schlechteste aller Lösungen. Die meisten hier nutzen ein stromsparendes Unraid Array (RAID-4 mit P+Q Parity) bestehend aus günstigen Harddisks als Cold-Storage und nehmen dafür die reduzierte Performance in Kauf. Die Pools sind dann für die weiteren Unraid Subsysteme wie Docker, KVM, Schreib-Cache, etc. vorgesehen. In diese Hot-Storages wandern dann teurere Disks mit erheblich besserer Performance. Wenn Du allerdings immer die beste Performance benötigst oder der Strompreis kein Thema ist oder Disk Preise kein Thema sind, ja dann hält niemand Dich davon ab ein SSD Array zu betreiben. Das ist hier aber eher nicht so oft vertreten. Denn die Kernfunktion von Unraid war und ist das Array. Quote Link to comment
i-B4se Posted March 20, 2023 Share Posted March 20, 2023 3 hours ago, hawihoney said: Das genau meine ich doch. Ein Dateisystem muss mit einem Crash - egal ob durch Strom oder etwas anderes - klar kommen Das Dateisystem ist doch nicht direkt Schrott nur weil mal das System abstürzt. Ich hatte schon etliche crashes und bisher keinerlei Probleme. Oder ist das normalerweise so und ich hatte bisher "glück". Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.