Umzug von Synology zu UnRaid


OO7

Recommended Posts

hi all,

 

ich habe mir nun einen Server via unraid aufgesetzt mit der aktuellen  v6.10.x.x (rc)

Konfig: i5 10400 / 64GB Ram / MSI Board - Platten: 2x ssd's zu je 500gb + 2x hdd's zu je 4tb

 

Fragen generell :

 

Momentan gibt es auf der Synology 2 array's via raid1. 500gb und 4tb.

also 4 phys. laufwerke, 2x ssd tb 500gb und 2x hhd je tb.

 

wie bilde ich das auf unraid ab ?

 

->wenn ich das richtig sehe, dann genügt ein 500gb  + ein 4tb laufwerk,

->dazu ein >4.5tb laufwerk als " parität "

 

dies soll nun einem raid1 ebenbürtig sein, richtig ?

 

was passiert wenn einer der beiden datenträger fehlerhaft wird ?

-> austausch dessen und via LW parität wird das wieder hergestellt ?

-> wie, genau passiert das ?

 

was passiert im fehlerfall, wenn LW parität fehlerhaft wird ?

-> ich denke mal, erstmal nichts, nur sind dann die beiden datenträger solo, ohne absicherung (parität) ?

-> auch hier austausch und via der beiden datenträger wird die parität wieder hergestellt ?

-> wie, genau passiert das ?

 

Fragen VM's :

 

ich nutze mehrere VM auf der synology

einzelne die ab und an zu testzwecken hochgefahren + genutzt werden dann wieder abgeschaltet ...

eine die permanent unter last steht, smarthome + Video Surveillance + DB + WEB server

2 die permanent laufen, aber nur zeitweise genutzt werden, surfstation + development

 

diese werden per snapshot laufen gesichert.

->wie kann ich das unter unraid bewerkstelligen ?

 

thx im vorfeld

 

 

Edited by OO7
Link to comment
12 minutes ago, OO7 said:

Fragen generell :

 

Momentan gibt es auf der Synology 2 array's via raid1. 500gb und 4tb.

also 4 phys. laufwerke, 2x ssd tb 500gb und 2x hhd je tb.

 

wie bilde ich das auf unraid ab ?

...hast Du die FAQ mal durchgearbeitet?

Das Array und "Raid" in unRaid funktioniert anders als ein klassisches Raid.

 

Wenn Du 2x ein Raid1 wieder "nachbauen" willst, dann kannst zu je 2 Disks einen Raid1 Pool erstellen.

Das Array nutzt Du dann nicht, musst es aber zum aktivieren irgendwie bereitstellen, mit minimum 1 Laufwerk (das kann auch ein oller USB-Stick sein).

 

12 minutes ago, OO7 said:

->wenn ich das richtig sehe, dann genügt ein 500gb  + ein 4tb laufwerk,

->dazu ein >4.5tb laufwerk als " parität "

 

dies soll nun einem raid1 ebenbürtig sein, richtig ?

Nein, ein raid1 hat keine Parität.

 

12 minutes ago, OO7 said:

was passiert wenn einer der beiden datenträger fehlerhaft wird ?

-> austausch dessen und via LW parität wird das wieder hergestellt ?

-> wie, genau passiert das ?

Wenn Du eine Parität im Array hast, kannst Du eine defkte Disk zunächst damit emulieren, bis Du diese austauschst und diese dann wiederhergestellt werden kann.

Geht über das GUI

 

12 minutes ago, OO7 said:

was passiert im fehlerfall, wenn LW parität fehlerhaft wird ?

-> ich denke mal, erstmal nichts, nur sind dann die beiden datenträger solo, ohne absicherung (parität) ?

-> auch hier austausch und via der beiden datenträger wird die parität wieder hergestellt ?

-> wie, genau passiert das ?

Geht über das GUI...wenn Du die Daten auf den Daten-Disks als OK bestätigst, baut unraid die neue Parity dann neu auf.

 

12 minutes ago, OO7 said:

Fragen VM's :

diese werden per snapshot laufen gesichert.

->wie kann ich das unter unraid bewerkstelligen ?

garnicht...ein Snapshot feature für VMs gibt es nicht.

Link to comment
55 minutes ago, Ford Prefect said:

Wenn Du 2x ein Raid1 wieder "nachbauen" willst, dann kannst zu je 2 Disks einen Raid1 Pool erstellen.

Das Array nutzt Du dann nicht, musst es aber zum aktivieren irgendwie bereitstellen, mit minimum 1 Laufwerk (das kann auch ein oller USB-Stick sein).

 

nachbauen muss ich das nicht, wichtig ist nur die sicherheit die mir ein raid1 gibt, wenn das via 1 datenLW + dazugehörige parität

das gewährleistet ist alles gut

 

55 minutes ago, Ford Prefect said:

...hast Du die FAQ mal durchgearbeitet?

 

ja, sind zumindest für mich dort nicht alle fragen abgedeckt

 

55 minutes ago, Ford Prefect said:
1 hour ago, OO7 said:

dies soll nun einem raid1 ebenbürtig sein, richtig ?

Nein, ein raid1 hat keine Parität.

 

ja, keine parität ist klar. die frage ist, ob es bezügl. der daten sicherheit ebenbürtig ist

 

55 minutes ago, Ford Prefect said:

garnicht...ein Snapshot feature für VMs gibt es nicht.

 

kein snapshot, ok. gibt es denn eine mögl. ein backup zu erstellen ?

vielleicht sogar zeitlich gesteuert ?

 

55 minutes ago, Ford Prefect said:

Wenn Du 2x ein Raid1 wieder "nachbauen" willst, dann kannst zu je 2 Disks einen Raid1 Pool erstellen.

Das Array nutzt Du dann nicht, musst es aber zum aktivieren irgendwie bereitstellen, mit minimum 1 Laufwerk (das kann auch ein oller USB-Stick sein).

 

wie genau erstelle ich das ?

 

Edited by OO7
Link to comment
5 hours ago, OO7 said:

gibt es denn eine mögl. ein backup zu erstellen ?

vielleicht sogar zeitlich gesteuert ?

ja, als plugin, als script(s), ... kein Problem

 

5 hours ago, OO7 said:

wie genau erstelle ich das ?

da du aktuell nur die 2 x 250 ssd drin hast wird das nichts.

 

entweder du setzt auf unraid array mit parity (wie erwähnt, lies dir das durch), damit hast du je nach setup eine Ausfallsicherheit

oder

du setzt auf "pools" (cache pools, nur mit hdd's) wo du klassisch raid 1 konfigurieren kannst, dafür müssten jetzt aber Platten im System sein

 

hier "Standard" unraid array mit 1 parity

image.thumb.png.755cf36528646668feaada376d7dec77.png

 

4 Platten, davon 1x parity, sprich EINE Platte (egal welche) darf ausfallen und ich kann diese wieder restoren ... wenn ich 2 parity nutzen würde dürften parallel 2 ausfallen, usw ...

 

4 x 8 = 32, davon 1 x 8 als parity, macht 24 nutzbar ...

 

wenn du jetzt auf NUR pools im raid setzen möchtest und unraid OHNE array nichts macht (dockers, vm's, ...) MUSS ein array laufen, daher dann ein mini array mit einem USB stick erstellen ;) das sollte der Hinweis sein ...

Link to comment
6 hours ago, OO7 said:

->wenn ich das richtig sehe, dann genügt ein 500gb  + ein 4tb laufwerk,

->dazu ein >4.5tb laufwerk als " parität "

 

dies soll nun einem raid1 ebenbürtig sein, richtig ?

Nein. Du brauchst ein 4TB Laufwerk als Parität und hast dann etwas ähnliches wie ein RAID4, aber auch das erklärt immer noch nicht das unRAID Array. Einfach mal hier lesen:

https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?do=findComment&comment=1021986

 

 

Ansonsten ist es so wie du es willst. Entweder packst du alle Laufwerke ins Array oder du machst es wie jetzt mit zwei RAID1 über die Pools. Du brauchst dann aber noch irgendein Laufwerk für das Array. Da muss mindestens eines dein sein. Egal ob man es braucht oder nicht.

 

Link to comment
1 hour ago, mgutt said:

Ansonsten ist es so wie du es willst. Entweder packst du alle Laufwerke ins Array oder du machst es wie jetzt mit zwei RAID1 über die Pools. Du brauchst dann aber noch irgendein Laufwerk für das Array. Da muss mindestens eines dein sein. Egal ob man es braucht oder nicht.

...genaugenommen, in diesem Fall kann @007 auch 1x nur zwei Disks ins Array packen. Denn in nur diesem Fall macht unraid ja da einen Mirror (Raid1, auch wenn es wie 1x Parity, 1x Daten aussieht) draus....spart den USB-stick, einen "Lizenz-Slot" und bereitet das Array auf Weiteres vor (gegen "Verlust" des Raid1 Aufbaus im Array, weil ab der 2ten Daten Disk dann mit echter Parity).

Link to comment
On 12/14/2021 at 6:35 AM, alturismo said:
On 12/14/2021 at 1:15 AM, OO7 said:

gibt es denn eine mögl. ein backup zu erstellen ?

vielleicht sogar zeitlich gesteuert ?

ja, als plugin, als script(s), ... kein Problem

 

ginge das auch, im laufenden betrieb der VM, oder nur im abgeschalteten zustand ?

 

On 12/14/2021 at 6:41 AM, mgutt said:

Nein. Du brauchst ein 4TB Laufwerk als Parität und hast dann etwas ähnliches wie ein RAID4, aber auch das erklärt immer noch nicht das unRAID Array. Einfach mal hier lesen:

 

ziel ist es, 2 datenlaufwerke zu haben, eine mit 500GB für die VM's, eine mit 4TB für sonstige daten.

in der summe 4.5TB an storage. ich dachte man benötigt mindestens die selbe menge an *parität wie es storage gibt !?

 

 

Link to comment
2 minutes ago, OO7 said:

ginge das auch, im laufenden betrieb der VM, oder nur im abgeschalteten zustand ?

Ich denke nicht....die VM sollte mindestens schlafen, damit die vdisk "stabil" bleibt.

 

2 minutes ago, OO7 said:

ziel ist es, 2 datenlaufwerke zu haben, eine mit 500GB für die VM's, eine mit 4TB für sonstige daten.

in der summe 4.5TB an storage. ich dachte man benötigt mindestens die selbe menge an *parität wie es storage gibt !?

Nein, das hast Du missverstanden.

Die Parität muss mindestens so gross sein wie die grösste Datenplatte, da die Prüfsumme Hardware-blockweise abgespeichert wird.

Deshalb ist die Parität, anders as die Datenplatten, nicht mit einem Dateisystem formatiert, sondern bleibt "roh".

Es werden im Fehlerfall dann nicht die Daten-Dateien, sondern die ganze defekte Daten-Festplatte inkl. Dateisystem simuliert bzw. wieder hergestellt.

 

Wenn die 500GB für die vdisks der VMs sein soll, ist es besser diese nicht ins Array zu legen, sondern als ein Pool-Laufwerk zu verwenden.

Ansonsten wird, wenn die VM Daten ändert immer die Parity aktiv werden müssen....und die grosse Parity-HDD ist langsamer als die SSD.

Wenn Du dieses Pool-Laufwerk absichern willst, kannst Du ein zweites Laufwerk in Raid1 Konfig dazunehmen.

 

...Wenn Du die FAQ und den Link von oben wirklich schon gelesen hast, lies sie einfach nochmal und lege sie unters Kopfkissen ;-)

 

Link to comment
25 minutes ago, Ford Prefect said:
39 minutes ago, OO7 said:

ziel ist es, 2 datenlaufwerke zu haben, eine mit 500GB für die VM's, eine mit 4TB für sonstige daten.

in der summe 4.5TB an storage. ich dachte man benötigt mindestens die selbe menge an *parität wie es storage gibt !?

Nein, das hast Du missverstanden.

Die Parität muss mindestens so gross sein wie die grösste Datenplatte, da die Prüfsumme Hardware-blockweise abgespeichert wird.

Deshalb ist die Parität, anders as die Datenplatten, nicht mit einem Dateisystem formatiert, sondern bleibt "roh".

Es werden im Fehlerfall dann nicht die Daten-Dateien, sondern die ganze defekte Daten-Festplatte inkl. Dateisystem simuliert bzw. wieder hergestellt.

 

gut, dann in meinem fall die 4TB als parität.

 

es geht vornehmlich um die performance der VM's die laufen sollen, deshalb die 500GB SSD.

wenn es einen bessere mögl. geben sollte, wie ich auch mit HDD's das hinbekommen kann mit der perfomance, dann gerne einen tip

 

wie wäre denn die perfomance mit 2x 4TB HDD's, also 1 disk+ 1 parität dazu eine M2 mit xxxGB als cache ?

die VM's würden auch auf den HDD's liegen, ist hier die erreichte geschwindikeit die der M2 ?

 

 

 

Edited by OO7
Link to comment
39 minutes ago, OO7 said:

ginge das auch, im laufenden betrieb der VM, oder nur im abgeschalteten zustand ?

 

 

gehen, ja, empfohlen, auf gar keinen Fall ;)

 

so Typen wie ich machen das so ... bisher auch ohne Schwierigkeiten (musste auch nur 2 x ne VM wiederherstellen), aber wie @Ford Prefect sagte, richtiger Weg, VM aus, Sicherung, VM an ... alles gut ohne Risiko.

10 minutes ago, OO7 said:

wie wäre denn die perfomance mit 2x 4TB HDD's, also 1 disk+ 1 parität dazu eine M2 mit xxxGB als cache ?

die VM's würden auch auf den HDD's liegen, ist hier die erreichte geschwindikeit die der M2 ?

 

wenn du die VM's eh sicherst, mach Sie nicht auf HDD's ... lass Sie seperiert auf SSD, nvme, ... mach deine Sicherungen und hab Spaß mit einem "ruhenden" Array und schnellen VM's

 

Bsp hier, liegen die VM's auf einer separaten nvme und alles ist Top, du siehst mein array ist im spindown, VM's (3x) laufen (2x Nvidia, 1x gvt-g).

 

image.thumb.png.a8e046969c4b0084f22c0c18ee944741.png

 

image.thumb.png.96e482890faf2aa5c6ee6951891aff23.png

 

im Bild oben siehst du auch das Thema array und parity nochmals (wie bereits erwähnt), 4 x 8 tb Platten, 1 x parity, 3 x Daten (24 tb Platz)

Link to comment
17 minutes ago, OO7 said:

es geht vornehmlich um die performance der VM's die laufen sollten, deshalb die 500GB SSD.

wenn es einen bessere mögl. geben sollte, wie ich auch mit HDD's das hinbekommen mit der perfomance dann gerne ...

Nein, das Konzept wird eigentlich genau andersherum genutzt.

Das Array, mit Parity für Daten die man im Zugriff haben will, aber die sich langsam/selten ändern.

Typisch für Media-Daten usw.

 

Der Cache ist zum "abfedern" der geringen Performance des Arrays.

Im besten Fall bekommst Du die Performance *einer* Disk...beim schreiben noch weniger, daher kommt der Cache davor und ein Mover-Prozess schiebt die Daten, wenn die nicht mehr im Zugriff sind, regelmässig vom Cache weg aufs Array. Das ist alles transparent, weil dieser "Stack" trotzdem nur ein Dateisystem / ein Share ist.

 

Für VMs und Docker nimmt man den Cache (seit v6.9 kannst Du mehr als einen Cache Pool haben).

Du stellst im Share ein, ob/ dass der Cache verwendet werden soll. Bei den Verzeichnissen/Shares, wo die VMs liegen sollen stellt Du die auf "Cache = prefer" und wählst den zugehörigen Pool aus. Solange dieser Cache-Pool  nicht vollläuft werden die VMs (die vdisks) dann immer auf dem Cache bleiben und nie aufs Array geschrieben.

 

...das ist die performanteste (für die VMs) und energiesparenste (Disks im Array können lange, lange schlafen) Weise.

 

17 minutes ago, OO7 said:

wie wäre denn die perfomance mit 2x 4TB HDD's, also 1 disk+ 1 parität dazu eine M2 mit xxxGB als cache ?

die VM's würden auch auf den HDD's liegen, ist hier die erreichte geschwindikeit die der M2 ?

Nein, siehe oben.

Performance des Array wäre das einer Disk, auch beim schreiben, da hier die Parity einfach nur gespiegelt wird (wie raid1).

Die Performance der M2 bekämst Du nur solange die Dateien nicht ds Array erreichen. Also beim Neu-Anlegen und solange der Mover diese nicht "mitnimmt", weil sie noch im Zugriff/geöffnet sind.

Sind die vdisks erst auf dem Array, wirkt der Cache nicht mehr.

Also, beim "Herstellen" auf die Konfig und richtige Reihenfolge der Schritte achten.

Im Zweifel die vdisks wieder auf den cache "herauf locken" (durch Einstellen der Cache-Strategie von "yes" auf "prefer" oder gar "only".

Beachte, dass diese Strategie immer auf ganze Verzeichnisse/Shares  wirkt und nicht für einzelne Dateien.

 

Edited by Ford Prefect
...ich glaub meine Tastatur ist kaputt oder hat Krümel
  • Thanks 1
Link to comment

so, hier mein erster versuch, meine 2x 250gb ssd's zu einem raid1 zu führen:

 

grafik.thumb.png.75646317ea858e0da7d80cdf9d3ab459.png

 

mir ist nicht klar, wie ich dem DT1 den cache mit dem cache *verbinde, also so das dieser cache wirklich nur für DT1 zuständig sein soll.

momentan bei nur 2LW ist das ja nicht anders mögl., aber wenn noch 2LW hinzukommen, was dann . wo/wie ersehe ich das ?

Link to comment
1 hour ago, OO7 said:

so, hier mein erster versuch, meine 2x 250gb ssd's zu einem raid1 zu führen:

....Pool ist Pool und Array ist Array.

Der Cache hat nix mit dem Raid-Level der Pool-Devices zu tun....der Cache wirk auf Dateisystem/Share Ebene.

 

Die beiden SSDs haben auch unterschiedloche Grösse....davon würde ich abraten, die in einem Pool zusammenzuführen.

1 hour ago, OO7 said:

mir ist nicht klar, wie ich dem DT1 den cache mit dem cache *verbinde, also so das dieser cache wirklich nur für DT1 zuständig sein soll.

siehe oben...so wie Du denkst funktioniert es wirklich nicht.

 

1 hour ago, OO7 said:

momentan bei nur 2LW ist das ja nicht anders mögl., aber wenn noch 2LW hinzukommen, was dann . wo/wie ersehe ich das ?

Du brauchst mindestens 1 LW, eines im Array, damit das System überhaput "läuft" (aber das kann auch ein doofer USB-Stcik sein)...und dann 2 LW als Raid1 im Pool.

Sobald Du 3+ LW im System hast, wirst Du das hoffentlioch erkennen, wie das läuft....probier es also aus....oder lies mal hier: https://wiki.unraid.net/Manual/Storage_Management

 

Wie Du den Cache aktivierst und die einzelen Pool(s) dann den Shares zuordnest steht auch in der Anleitung.

 

Link to comment
15 hours ago, Ford Prefect said:

Du brauchst mindestens 1 LW, eines im Array, damit das System überhaput "läuft" (aber das kann auch ein doofer USB-Stcik sein)...und dann 2 LW als Raid1 im Pool.

Sobald Du 3+ LW im System hast, wirst Du das hoffentlioch erkennen, wie das läuft....probier es also aus....

 

ich kann zum ersten test 3 LW bereitstellen:

 

  • 1x  USB Stick 8gb
  • 2x SSD mit 240/250gb

 

daraus soll eine raid1 entstehen mit 240GB, wie nun vorgehen ?

 

was muss wo hin ?

 

 

 

 

Edited by OO7
Link to comment
2 hours ago, OO7 said:

 

so etwa:

...ja, so sollte es passen....denke Du hast es aufgrund der Info von @jj1987nochmal geändert...das Bild sieht jetzt gut aus.

 

Wenn Du jetzt shres erstellst, darauf achten die diese auf cache = "only" oder "prefer" stehen...*nicht* auf cache = "yes", weil sonst der mover den cache leer räumt (der Platz auf dem Stick/im Array aber bestimmt zu klein ist).

 

Link to comment
31 minutes ago, Ford Prefect said:

...ja, so sollte es passen....denke Du hast es aufgrund der Info von @jj1987nochmal geändert...das Bild sieht jetzt gut aus.

ja genau, hatte es geändert

 

31 minutes ago, Ford Prefect said:

Wenn Du jetzt shres erstellst, darauf achten die diese auf cache = "only" oder "prefer" stehen...*nicht* auf cache = "yes", weil sonst der mover den cache leer räumt (der Platz auf dem Stick/im Array aber bestimmt zu klein ist).

 

so sieht das nun aus:

 

grafik.thumb.png.19210bd3728f080261161793134438a1.png

 

das soll nun ein raid1 darstellen, dh. beide datenträger sind gespiegelt ?

 

das dateisystem auf beiden LW ist btrfs ?

 

was passiert wenn der USB Stick flöten geht (Datenträger 1), kann ich den einfach austauschen ?

 

Wie kann ich im fehlerfall eines der beiden LW austauschen, array abschalten, platte tauschen,

array hochfahren -> und dann ?

 

 

 

 

 

 

 

Link to comment
40 minutes ago, OO7 said:

so sieht das nun aus:

 

grafik.thumb.png.19210bd3728f080261161793134438a1.png

....ich sagte doch oben, *nicht* auf YES 🙄

image.png.669be8188ba164369cb3edb9fe85ca9f.png

 

40 minutes ago, OO7 said:

das soll nun ein raid1 darstellen, dh. beide datenträger sind gespiegelt ?

der Pool ist ein raid1, ja....und als cache in die Verzeichnisstruktur als Overlay eingebaut...Daten werden also dorthin zuerst geschrieben und wenn Du die Cache Einstellung auf only oder prefer stellst, bleiben die auch da....bei prefer, so lange wie der cache noch Platz hat.

In Deinem Fall, wo Du das Array nicht brauchst und einen Mini-Stick dran hast, würde ich den Cache of ONLY stellen.

 

40 minutes ago, OO7 said:

 

das dateisystem auf beiden LW ist btrfs ?

ja...weil es eben ein btrfs-raid1 ist. Die Mechanismen raidlevel und Filesystem sind da nicht wirklich getrennt. https://btrfs.wiki.kernel.org/index.php/Using_Btrfs_with_Multiple_Devices

 

40 minutes ago, OO7 said:

was passiert wenn der USB Stick flöten geht (Datenträger 1), kann ich den einfach austauschen ?

Im Prinzip ja...da dort ja in Deinem Fall keine Daten drauf landen werden (cache = only bei *allen* shares) ist es auch egal, dass Du keine Parity hast.

Weil im Fehlerfall der Stick am Irsch und die Daten da drauf weg sind.

Array stoppen, neu bauen/neuen Stick zuweisen, starten

 

40 minutes ago, OO7 said:

Wie kann ich im fehlerfall eines der beiden LW austauschen, array abschalten, platte tauschen,

array hochfahren -> und dann ?

...balance auf dem Pool-Device (Cache) wieder herstellen.

 

image.thumb.png.4ba0598cac9ed2a7c20a633a7478c584.png

 

  • Thanks 1
Link to comment
3 minutes ago, mgutt said:

Platte abklemmen und einfach testen. Learning by doing.

 

nun im meinem fall (baue ein zweites nas...) geht das. normalerweise aber nicht, von daher ist das nicht die antw. die man erwartet.

insofern ist sie noch offen: Wie kann ich im fehlerfall eines der beiden LW austauschen, array abschalten, platte tauschen, array hochfahren -> und dann ?

Link to comment
42 minutes ago, OO7 said:

Wie kann ich im fehlerfall eines der beiden LW austauschen, array abschalten, platte tauschen, array hochfahren -> und dann ?

 

Die Vorgehensweise zwischen Array und Cache/Pool Devices unterscheidet sich. Für ein BTRFS RAID im Cache/Pool:

 

-stop array, remove failing device in the pool

-start array, let BTRFS work

-stop array, add replacement device

-start array, let btrfs work

 

 

Edited by hawihoney
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.