Backupmethoden


Tiras

Recommended Posts

12 minutes ago, Tiras said:

In Plex würde ich dann aber nicht auf den Share, sondern auf die Disk verweisen, damit ich CPU Last nicht so hoch ist, oder?

Die CPU Last wäre geringer, aber du verkomplizierst dir das Setup ein bisschen, weil innerhalb des Plex Containers hast du dann ja nicht einen Ordner "Filme", sondern "disk1/Filme", "disk2/Filme" usw. Kommt dann eine weitere Disk dazu, müsstest du dem Container einen weiteren Pfad "disk3/Filme" hinzufügen usw. Sollte sich das nun irgendwann ändern, weil du zB von 5 auf 20TB Platten aufrüstest und alle Filme passen nun auf "disk1/Filme", dann ist die Frage was mit der Indexierung von Plex passiert. Weil für Plex sind dann in dem Moment ja gerade zwei Drittel der Filme gelöscht worden (weil "disk2/Filme" und "disk3/Filme" nun leer ist) und zwei Drittel neue dazu gekommen (auf "disk1/Filme").
 

Ähnliches gilt natürlich, wenn die Filme in Zukunft auf "disk8" oder so liegen sollen. Für dieses Szenario gäbe es sogar extra Schritte zu beachten:

https://support.plex.tv/articles/201154537-move-media-content-to-a-new-location/

 

Oder vielleicht findest du irgendwann Unraid doof und wechselst das Betriebssystem. In dem Fall hast du dann ein RAID und keine einzelnen Disks mehr. "disk1/Filme" usw gäbe es dann nicht mehr. Auch da müsste man dann oben genannte FAQ beachten, damit man keine Daten verliert.

 

Hat man dagegen nur "Filme" als Ordner hinterlegt und überlässt Unraid die Arbeit, hat man zwar etwas mehr CPU-Last, aber eben ein einfacheres Setup.

 

Also man kann das so machen, aber du solltest wissen was du tust. Und natürlich sollte man vom Plex Container regelmäßig Backups machen (also vom appdata Share).

 

 

Link to comment
11 hours ago, mgutt said:

dann ist die Frage was mit der Indexierung von Plex passiert. Weil für Plex sind dann in dem Moment ja gerade zwei Drittel der

 

Oh, das löst Plex sehr geschickt. Passiert bei mir täglich ...

 

Metadaten sind vom Content abgekoppelt. Das hängt Plex einfach um. Wenn sich ein Ordner-/Dateiname ändert und Plex aus Versehen Duplikate erzeugt, musst Du höchstens den Papierkorb löschen.

 

Man darf den Papierkorb nur nicht löschen wenn ein Ordner, eine Datei oder gar eine komplette Platte mit Content vorübergehend weggefallen ist. Ansonsten verliert man die Metadaten (z.B. Gesehen-Markierung).

 

Edited by hawihoney
  • Thanks 1
Link to comment

Ich verschiebe gerade von Disk 2 auf Disk 3. Warum ist ein Read von Disk 1 und Disk 4 und wieso ist der Write auf Disk 3 so niedrig?

image.thumb.png.0a5bc82527cc1c8760cdeccef6e2f075.png

 

Ich habe es so gemacht, wie du es empfohlen hast @hawihoney und habe einzelne Shares angelegt. Auch Die GUI hängt sich auf. Ist das normal oder wieso kann ich bspw. die Plex App nicht mehr editieren, weil er zu lange läd?

Edited by Tiras
Link to comment
59 minutes ago, Tiras said:

Warum ist ein Read von Disk 1 und Disk 4

Du hast Reconstruct Write aktiviert. Dann liest er immer von allen Disks um die Parität zu erstellen.

 

1 hour ago, Tiras said:

wieso ist der Write auf Disk 3 so niedrig?

Beim Verschieben bei Reconstruct Wrote, liest und schreibt er von einer der Disks. Die bildet dann den Flaschenhals. Ist so.

Link to comment
2 hours ago, Tiras said:

Kann man das irgendwie umgehen?

Du kannst Reconstruct Write zurück auf Auto stellen, aber dann ist die Parity der Flaschenhals. Das sind Dinge in denen Unraid langsam ist, weil HDDs extrem mies beim parallelen Lesen und Schreiben sind.

 

Und du hast den Effekt noch verstärkt, in dem du parallel von einer SMR Platte liest und schreibst. Du hast sogar die SMR als Parity. Das ist von der Performance her sogar katastrophal, weil die Parität bei unRAID immer zu 100% gefüllt ist und SMR Platten bei 100% auf einstellige MB/s fallen können.

 

Daher wird es echt Zeit, dass du eine CMR als Parity bekommst. Dann stellst du von Reconstruct Write wieder auf Auto und du solltest bei 60 bis 70 MB/s rauskommen. Mehr wird es nur mit noch schnelleren Platten wie einer 12TB oder noch größeren Ultrastar. Mit meinen 18TB bin ich jetzt bei 90 MB/s. Die komplette Bremse bekommt man aber erst mit einer SSD als Parity raus, aber wer kann sich schon eine 8TB SSD leisten ;)

Link to comment
6 hours ago, mgutt said:

Du kannst Reconstruct Write zurück auf Auto stellen, aber dann ist die Parity der Flaschenhals. Das sind Dinge in denen Unraid langsam ist, weil HDDs extrem mies beim parallelen Lesen und Schreiben sind.

 

Und du hast den Effekt noch verstärkt, in dem du parallel von einer SMR Platte liest und schreibst. Du hast sogar die SMR als Parity. Das ist von der Performance her sogar katastrophal, weil die Parität bei unRAID immer zu 100% gefüllt ist und SMR Platten bei 100% auf einstellige MB/s fallen können.

 

Daher wird es echt Zeit, dass du eine CMR als Parity bekommst. Dann stellst du von Reconstruct Write wieder auf Auto und du solltest bei 60 bis 70 MB/s rauskommen. Mehr wird es nur mit noch schnelleren Platten wie einer 12TB oder noch größeren Ultrastar. Mit meinen 18TB bin ich jetzt bei 90 MB/s. Die komplette Bremse bekommt man aber erst mit einer SSD als Parity raus, aber wer kann sich schon eine 8TB SSD leisten ;)

Guten Morgen mgutt,

danke für deine ausführliche Erklärung. Ich habe hier noch eine WD60EFRX liegen, aber da warte ich ja noch auf das Board. Woran erkennt man, ob es sich um eine SMR oder CMR Platte handelt? 

Ich weiß, dass Unraid ohne RAIDS arbeitet, aber m.M.n wäre eine Lösung, wenn es auch in Unraid möglich wäre, ein zuvor erstelltes Hardware RAID 0 als Parität einbinden zu können. Oder man auswählen kann, wie viele Paritäten man nutzen möchtest und zumindest dort ein RAID 0 möglich wäre. 

Somit ist das Problem gelöst, dass die Parität min. so groß sein muss, wie die größte Platte im Array. Zusätzlich hat man einen enormen Performance Boost der Parität.

 

Ein kurzes Beispiel dazu:

Du hast 4 Paritätsslots ausgewählt: 

  • 2 x 6 TB (mit SMR) als RAID 0 in Slot 1
  • 2 x 6 TB (mit SMR) als RAID 0 in Slot 2

Ich behaupte jetzt mal, dass man mit dieser Konstellation auf die Performance eine normalen SSD kommt, aber trotzdem noch unter den Kosten einer einzelnen SSD bleibt.

 

Eine 4 TB SSD kostet zwischen 450 € und 500 Euro. In meiner Testphase von Unraid habe ich 2 x 1 TB NVMe genutzt. Die eine als Parität und die andere im Array. Dort kam ich ebenfalls nur auf 800 MB/s, obwohl ich bspw. im Windows Umfeld mit den gleichen Platten auf 2,2 GB/s kam, weil die beiden Platten auf eine QNAP Card am PCIe x 16 Slot installiert sind.

Man könnte auch bei normalen 2 TB SSDs bleiben und seine gewünschte Kapazität mit nur diesen SSD Platten erstellen, aber wer hat schon ein Board mit 24 SATA-Schnittstellen in seinem Home NAS 😃

Link to comment
13 minutes ago, Tiras said:

Ich behaupte jetzt mal, dass man mit dieser Konstellation auf die Performance eine normalen SSD kommt,

 

Ohne jetzt allzu sehr in Details zu gehen:

 

Parity arbeitet Bit-/Blockweise. Die Parity-Platte kennt kein Dateisystem (siehe Link unten). Ein Bit-/Block befindet sich somit bei RAID-0 genau auf einer Platte des RAID-0 - in Deinem Fall auf einer SMR Platte. Du gewinnst m.E. nichts.

 

https://wiki.unraid.net/Parity#How_parity_works

https://wiki.unraid.net/Parity#Performance

 

Edited by hawihoney
Link to comment
7 minutes ago, Tiras said:

Sollte ich das auf "read/modify/write" stellen?

 

Aus dem Hilfe Text:

Quote

Auto selects read/modify/write.

 

Und jetzt wird es interessant. Wieso wurden im Screenshot oben alle Platten gleichzeitig gelesen und zwei Platten gleichzeitig beschrieben? Und das bei Auto-Modus. Was machst Du?

 

Edited by hawihoney
  • Haha 1
Link to comment
5 minutes ago, hawihoney said:

Was machst Du?

Sorry, ich habe keine Ahnung was da passiert.

Ich habe ganz normal "New Config" ausgewählt. Dann habe ich eine 5 TB als Parity, 3 x 5 TB und 2 x 4 TB im Array hinzugefügt.

Es läuft derzeit nur 1 Docker (auf Shares im Array) der aber zurzeit keine Daten abfragt. Die VMs sind eh auf die NVMe gemappt, die sich derzeit ausruhen.

 

Was genau sollte ich machen, um herauszufinden wieso 2 Platten gelesen und 2 geschrieben werden?

 

Derzeit:

image.thumb.png.f2e53fd52cf01b386afc3b8fc7e160ed.png

 

Ich verschiebe immer noch von Disk 1 auf Disk 3. Disk 1 reads und Disk 3 Writes. Soweit alles super, aber ich konnte mir gestern schon nicht erklären, wieso das Read von Disk 1 höher ist als das Write der Disk 3. Und vorallem wieso Disk 2 und Disk 4 Read und die Parity Write hat?

Edited by Tiras
Link to comment
13 minutes ago, Tiras said:

Ich verschiebe immer noch von Disk 1 auf Disk 3. Disk 1 reads und Disk 3 Writes. Soweit alles super, aber ich konnte mir gestern schon nicht erklären, wieso das Read von Disk 1 höher ist als das Write der Disk 3. Und vorallem wieso Disk 2 und Disk 4 Read und die Parity Write hat?

 

Du schreibst von Disk1 auf Disk3. Das bedeutet, dass Parity, Disk1 und Disk3 involviert sind. Bei "Auto" muss es auch READ auf der Parity geben - ist bei Dir aber nicht der Fall. Hier stimmt etwas von Deinen Ausführungen nicht #1.

 

Die anderen Daten-Disks (Disk2, Disk4) haben READ. Das würde nur bei Reconstruct Write passieren. Hier stimmt etwas von Deinen Ausführungen nicht #2.

 

Es gibt nur drei Szenarien: 1.) Du hast nach dem Umstellen auf "Auto" nicht neu gebootet. 2.) Du sammelst aus einem User-Share und schreibst auf eine Disk (Datenverlust!). 3.) Du veräppelst uns.

 

Edited by hawihoney
Link to comment
2 minutes ago, hawihoney said:

Es gibt nur zwei Szenarien: 1.) Du hast nach dem Umstellen auf "Auto" nicht neu gebootet. 2.) Du veräppelst uns.

Ich habe da nie irgendeine Änderung gemacht. Es steht seit Unraid Installation auf auto.

Würdest du die Personen veräppeln die weitaus mehr Erfahrung haben und von denen du Dir Hilfe erhoffst? Also nein, ich veräppel dich/euch nicht. Ich bin absolut neu im Linux/Unraid Umfeld. Ich nutze es zwar seit Februar, aber nicht mit der derzeitigen Konfiguration und Anforderungen.

Link to comment
11 minutes ago, Tiras said:

Ich habe da nie irgendeine Änderung gemacht.

 

Dann bin ich raus. Mir fällt nichts mehr dazu ein. 

 

11 minutes ago, Tiras said:

ich veräppel dich/euch nicht.

 

Deine "HaHa" Reaktion auf mein "Was machst Du" hat mich dazu verleitet.

 

MOMENT!!!

 

Quote

New Config

 

Das läuft noch? Und Du schreibst gleichzeitig von Disk1 auf Disk3? Die Parity wird erzeugt!

 

Edited by hawihoney
Link to comment
5 minutes ago, hawihoney said:

Deine "HaHa" Reaktion auf mein "Was machst Du" hat mich dazu verleitet.

Ok sorry, ich habe dein "Was genau machst Du" als Joke aufgefasst. Mein "HaHa" war nicht so gemeint.

 

6 minutes ago, hawihoney said:

MOMENT!!!

Das läuft noch? Und Du schreibst gleichzeitig von Disk1 auf Disk3? Die Parity wird erzeugt!

 Nein, dass ist gestoppt.... Die 6 TB Platte wird wieder eingebaut, sobald das Board dafür da ist. Die war zuvor als Parity.

Link to comment
4 hours ago, hawihoney said:

Die Parity wird erzeugt!

Ja, das wäre auch mein nächster Tipp. Es gibt ja auch ein Ausrufezeichen bei der Parity. Die ist also nicht valide. Wenn man abbricht, dann muss man ja anklicken, dass sie bereits valide ist. Dann sollte das Ausrufezeichen verschwinden. Oder könnte man auch pausieren?

 

5 hours ago, hawihoney said:

Woran hast Du das erkannt? Hast Du das aus dem gleichzeitigen Lesen aller Platten geschlossen?

Ja dachte ich, aber es wird wohl eher die Parity gerade neu erstellt.

Link to comment
Just now, mgutt said:

Oder könnte man auch pausieren?

 

Bei Dual Parity: Ja, bei Single-Parity weiß ich das nicht. Könnte aber sein. Wenn er aber abgebrochen hat ...

 

Deshalb nur mit Screenshot der Array Operations. Der OP hat jetzt ein völlig ungeschütztes Array bei dem sogar die hinzugefügte Platte #5 nur bis zum Abbruch gecleared ist.

 

Link to comment

Dann ist das Verhalten normal. Beim Schreiben neuer Daten berechnet unRAID denke ich die Parität trotzdem weiter, wenn die Daten in einem Bereich landen, wo die Parität bereits berechnet wurde. Sonst müsste der ja wieder von vorne anfangen.

 

Also wenn der Schutz gerade nicht wichtig ist, würde ich die Parity komplett weglassen oder zumindest anklicken, dass sie bereits valide ist. Wenn man dann fertig ist, macht man einen Parity Check mit Korrektur. Aber wie gesagt ist eine SMR Platte als Parity ausgewählt. Das wird niemals schnell sein.

Link to comment
2 hours ago, Tiras said:

Ja, man kann auch nur mit einer Parity den Sync abbrechen. Das die Parity bereits valide ist habe ich nicht aktiviert.

 

Das war nicht die Frage. Es ging ums Pausieren. Egal.

 

Der Sync ist abgebrochen, Dein Array ist gestartet, Dein Array ist ungeschützt, Parity ist zugewiesen, Deine o.g. Platte #5 ist noch nicht zugewiesen. Dein Array wartet darauf, dass Du die Parity erzeugst.

 

Du schreibst auf dieses halbgare Array gerade (Disk2 > Disk3). Also erzeugt Unraid während des Schreibens aus dem Produkt aller Daten-Disks die Parity auf den beschriebenen Bits/Blocks. Das würde Unraid nicht machen, wenn es die Parity für korrekt halten würde. Unraid geht also davon aus, dass man der Parity nicht vertrauen kann.

 

Jetzt ergibt alles einen Sinn. Die Aktion ist aber sinnlos ... Unraid erzeugt Parity Informationen für Deine Aktivitäten auf einer noch nicht sauber erzeugten Parity Disk. In diesem Zustand bringt das nichts. Du hast den Schutz ausgehebelt.

 

Ich würde das Verschieben stoppen und schnellstens die Parity aufbauen. Aber ich bin Paranoiker, andere gehen sehr gerne Risken ein ...

 

Edited by hawihoney
Link to comment

Wenn es dir erst mal nur um das befüllen des Servers geht, du ein Backup deiner Daten hast (!) und die Parity während des Befüllens nichts brauchst (du hast gerade eh keine), kannst du auch bei der Erstbefüllung das Array ohne Prity Disk konfigurieren. Somit hast du erst mal besseren Datendurchsatz, weil keine Parität berechnet werden muss.

 

Sobald das durch ist, die Parity Disk dem Array hinzfügen und die Parität aufbauen lassen. So, wie du jetzt arbeitest, hast du nur die Nachteile des Array Systems aber keine Vorteile.

 

Wenn du des Englischen halbwegs mächtig bist, würde ich dir auch gerne dieses Video ans Herz legen:

 

 

Der Gute hat noch eine ganze Menge mehr an Videos, in denen es nur um Unraid und dessen Funktionen geht.  Bei Fragen natürlich Fragen. :)

 

Nachtrag: Im Gegensatz zu den Cache Einstellungen für Filme und Co. rate ich entegen dem Video von den Einstellungen "No" und "only" ab. Hierbei kann viel schief gehen, was einen Anfänger nur noch unötig verwirren kann.

 

Den Cache also am besten auf "Yes" stellen, wenn deine Daten druch den Mover im Array laden sollen oder auf "Prefer", wenn diese im Cache liegen bleiben sollen, solange es genug freien Platz im Cache gibt (z.B. Cloud oder Dokumente).

 

Edited by Gorosch
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.