Div. Anfragen

[fiR3W4LL]

Helloooo Zusammen

 

Nun nehme ich dies nochmal in angriff
Ich habe nun mein Backup Server wieder mit Unraid eingerichtet, da dies mir von der Handhabung einfach besser gefällt als Proxmox. Zudem die Einfachheit der Docker usw.

 

Leider stelle ich div. limits oder wurde von mir falsch konfiguriert. Mein Problem:  Ich möchte einen Backup von meinem Hauptserver machen. Beide Server sind an einem 10G Anschluss angebunden. Vorher mit Truenas konnte ich speeds von ca. 400mbs erreichen, mit Rsync sogar bis zu 600mbs also daran liegts nicht. Die Daten werden mit Krusader vom Hauptserver im Backupserver eingespielt, die ersten 10-15 Filme a ca. 1GB zieht er mit ca. 400mbs durch, aber irgendwann bremst er auf 60-80mbs? Warum?

 

2. Frage: Cache

Vorerst mein System:

Mainboard: Asrock X570-D4U-2L2T

Ram: 128GB ECC Ram von Kingston

CPU: Ryzen 3700x

HBA: LSI 9311-8i

6x 8TB Seagate Ironwolf

1x Cache 1TB Ironwolf 530

1x VM-SSD 500GB Ironwolf 530

 

Kann ich den Cache so betreiben oder wird hier eine andere Konfiguration von euch empfohlen? Die Mediathek movies usw. werden ohne Cache aufs System gespeichert, also direkt in die Festplatten.

 

Ich habe das Gefühl, dass mein System viel mehr raus bringt, aber verstehe nicht wo der Flaschenhals ist. 

 

Besten Dank im Voraus.

 

Grüsse

[Ford Prefect]

49 minutes ago, fiR3W4LL said:

Leider stelle ich div. limits oder wurde von mir falsch konfiguriert. Mein Problem:  Ich möchte einen Backup von meinem Hauptserver machen. Beide Server sind an einem 10G Anschluss angebunden. Vorher mit Truenas konnte ich speeds von ca. 400mbs erreichen, mit Rsync sogar bis zu 600mbs also daran liegts nicht. Die Daten werden mit Krusader vom Hauptserver im Backupserver eingespielt, die ersten 10-15 Filme a ca. 1GB zieht er mit ca. 400mbs durch, aber irgendwann bremst er auf 60-80mbs? Warum?

 

[...]

 

Kann ich den Cache so betreiben oder wird hier eine andere Konfiguration von euch empfohlen? Die Mediathek movies usw. werden ohne Cache aufs System gespeichert, also direkt in die Festplatten.

Das Ziel-System hat auch eine Parity?

Die 60MB/s sind typisch für ein Parity-gestütztes Array aus HDDs.

Grundsätzlich schafft unraid im Array nur die Performance einer einzelnen Disk.

Das ist entweder eine HDD oder eine SSD/NVMe (als Cache).

 

...diese Infos gibt es aber auch in den F.A.Q.

Sieht also aus wie "works as designed".

Um das zu erhöhen, zumindest bei der Erstbefüllung des Backup, die Parity nicht ins Array legen.

 

[vakilando]

Da es ein offsite Backup eines parity geschützten Arrays ist würde ich es auf eine UD disk des anderen unRAID Systems machen (also nicht von durch eine Parity geschützt).
Das geht dann flotter...

[fiR3W4LL]

1 hour ago, Ford Prefect said:

Das Ziel-System hat auch eine Parity?

Die 60MB/s sind typisch für ein Parity-gestütztes Array aus HDDs.

Grundsätzlich schafft unraid im Array nur die Performance einer einzelnen Disk.

Das ist entweder eine HDD oder eine SSD/NVMe (als Cache).

 

...diese Infos gibt es aber auch in den F.A.Q.

Sieht also aus wie "works as designed".

Um das zu erhöhen, zumindest bei der Erstbefüllung des Backup, die Parity nicht ins Array legen.

 

Hi Ford Perfect, besten dank für dein Feedback. Somit müsste ich mal eine neue config atarten, keine Parity disk hinzufügen, den Backup durchfüren und danach die Parity disks einfügen?

[fiR3W4LL]

32 minutes ago, vakilando said:

Da es ein offsite Backup eines parity geschützten Arrays ist würde ich es auf eine UD disk des anderen unRAID Systems machen (also nicht von durch eine Parity geschützt).
Das geht dann flotter...

Hoi Vakilando

sorry was meinst du mit UD? Also das andere System ist ein Truenas Server! Ich habe mittels SMB share die Daten auf dem unRaid server transferiert, aber bei dem speed gehts eine Ewigkeit

[Ford Prefect]

...für einen Backup Server würde ich das so machen, ja. Die weiteren sollten dann ja eh inkrementell sein und weniger Zeit brauchen.
Wenn das Array nur eine Daten-Disk hat (und eine parity) dann macht unraid eh einen mirror und man hat die Performance einer Disk. Im Backup also ruhig grössere Disks nehmen....spart beim nächsten Full- Backup diese Fummelei.

Gesendet von meinem SM-G780G mit Tapatalk

[fiR3W4LL]

13 minutes ago, Ford Prefect said:

...für einen Backup Server würde ich das so machen, ja. Die weiteren sollten dann ja eh inkrementell sein und weniger Zeit brauchen.
Wenn das Array nur eine Daten-Disk hat (und eine parity) dann macht unraid eh einen mirror und man hat die Performance einer Disk. Im Backup also ruhig grössere Disks nehmen....spart beim nächsten Full- Backup diese Fummelei.

Gesendet von meinem SM-G780G mit Tapatalk
 

Hmmm......

Die aktuelle config besteht aus 2 Parity Drives und 4x Data disks. 
Alle Festplatten aus dem hause Seagate, modell Ironwolf 8TB. Nun bin ich verwirrt wie ich vorgehen soll

Ich habe 2 baugleiche Server, welche beide mit Unraid versehen möchte. Der Hauptserver ist aktuell noch Proxmox drauf mit Truenas als NAS installiert. Der wird dan auch auf Unraid migriert wenn der Backup Server steht. 

 

Nun soll ich einfach eine neue Config erstellen ohne Parity disks...... Die daten vom Hauptserver auf den unRaid Backupserver migrieren und wieder die 2 Parity Disk hinzufügen richtig? Wichtig bei all dem, dass die Performance gegenüber Truenas mehr oder weniger gleich bleibt

[alturismo]

die "Performance" hängt am setup

 

Netzwerk ..

HDD's ... (schreibend, lesend)

Parity aktiv oder nicht (wenn aktiv, mehrere Vorgänge lesend/schreibend pro bit), dafür parity build im Nachgang ... dauert auch ne Weile  Alternativ, Turbo an (alle HDD's laufen), schneller und kostet mehr Energie ... mit aktiver parity.

 

dann noch, welche Daten ... viele tausende "kleine" Daten dauern länger als Mediendaten (GB große mkv's etc)

 

am Ende limitiert Hardware und setup, Datendurchsatz effektiv kannst du immer haben, auf Kosten von ...

 

dann das Thema cache, zum Befüllen "übergehen" da ansonsten doppelter Aufwand im Hintergrund.

[Ford Prefect]

18 minutes ago, fiR3W4LL said:

Die aktuelle config besteht aus 2 Parity Drives und 4x Data disks. 
Alle Festplatten aus dem hause Seagate, modell Ironwolf 8TB. Nun bin ich verwirrt wie ich vorgehen soll

 

13 minutes ago, alturismo said:

Alternativ, Turbo an (alle HDD's laufen), schneller und kostet mehr Energie ... mit aktiver parity.

 

-> this!

[vakilando]

Hoi Vakilando
sorry was meinst du mit UD? Also das andere System ist ein Truenas Server! Ich habe mittels SMB share die Daten auf dem unRaid server transferiert, aber bei dem speed gehts eine Ewigkeit [emoji20]

UD = unassigned disk
Eine Festplatte, die unRAID zwar kennt und ansprechen kann aber die nicht im Array ist.

[fiR3W4LL]

59 minutes ago, vakilando said:

UD = unassigned disk
Eine Festplatte, die unRAID zwar kennt und ansprechen kann aber die nicht im Array ist.

Ah sorry, dachte du hast was anderes damit beschreiben wollen. Denn UD kenne ich  aber wusste nicht für was das Kürzel war  

Ich habe nun die Parity disks deaktiviert und fahre mit dem Backup fort, danach werde ich diese wieder aktivieren. Hoffe es danach dass alles so funktioniert wie gewünscht. Kann danach ja wieder zu Proxmox und Truenas switchen falls es nicht hinhaut.

 

Aber finde Unraid schon praktischer

[mgutt]

8 hours ago, fiR3W4LL said:

die ersten 10-15 Filme a ca. 1GB zieht er mit ca. 400mbs durch, aber irgendwann bremst er auf 60-80mbs? Warum?

 

 

 

 

[fiR3W4LL]

Hoi Leute, 

Besten Dank für eure Reply's

 

Bin ein ganzes stuck weiter gekommen

Nun bin ich an der Docker konfiguration und stehe leicht an in sachen Network.

Ich habe eine FortiGate Firewall mit div. VLans zudem auch eine DMZ konfiguriert. Irgendwie krieg ich es nicht hin, dass die Docker vom DHCP Server (Fortigate Firewall) eine freie IP beziehen und den Eintrag in der Firewall angezeigt wird.

 

Nun frage ich mich wo der Fehler sein konnte? Hat schon jemand Erfahrung damit?

 

Besten Dank und Grüsse