Newbie mit vielen Anforderungen und keiner Unraid erfahrung

[Timmey85]

On 3/22/2024 at 8:57 AM, EliteGroup said:

Besser wäre zu deinem Server eine mini Firewall mit Intel N100 der hat 6 Watt TDP

Nur als Beispiel: https://www.amazon.de/Firewall-Appliance-HUNSN-Barebone-Storage-H-N100/dp/B0C8J2RT96

Das ding hat 4x Intel 2,5 GbE und Intel N100 CPU, gibts auch welche schon ab 180€
oder ein MikroTik Router für vollen durchsatz und noch bessere energie ersparnis.

 

So ist bestellt mir 16 GB Ram

 

On 3/22/2024 at 8:57 AM, EliteGroup said:

PS: Da du die Software noch nicht gekauft hast:

 

Auch das ist erledigt.

 

Auch hier nochmal Danke.

 

So Testsystem ist eingerichtet und läuft. Hab mir von der Arbeit nen 12100 mitgenommen, der muss aber wieder zurück 🙂

 

Plex im Docker mit HW Transcode läuft und würde meine Anforderungen erfüllen.

 

So das ich vermutlich mir ein neuen i3 oder i5 kaufen oder aber auf den 8700k wechsle. Wie schwer ist es die Plattform zu wechseln bei Unraid?

 

Schönen Sonntag euch 🙂

[Timmey85]

Hallo Leute,

 

so ich habe mal etwas gespielt und vieles gelernt. Aber auch einige Fragen entwickelt.

 

1.  Frage: In den Array einstellungen, kann man ja mehrere Pools hinzugügen, macht es Sinn 2 Pools zu erstellen, einen für appdata usw. und einer der als reiner Cache dient?

2. Frage: Aktuell habe ich in meinem LiveServer (Windows) 3x 12 TB, 2x 16 TB, 1x 18 TB und 1x 20 TB. Ich bekomm mit mehreren Platten ca. 25 TB an Speicher zusammen, die ich als Array mounten würde, dann Daten von der 20 TB auf das Array und dann nach und nach alle anderen Platten in das Array und weiter rauf kopieren.  Wenn ich dann alle meine alten Disk im neuen Array habe, wie bekomme ich die ersten Platten, die zusammen 25 TB ergeben wieder aus dem Array raus?

 

Ich hab noch mehr Fragen, aber vllt erledigen sich diese, wenn die ersten beiden beantwortet sind ja schon selbt^^

 

Danke Tim

[cz13]

25 minutes ago, Timmey85 said:

1.  Frage: In den Array einstellungen, kann man ja mehrere Pools hinzugügen, macht es Sinn 2 Pools zu erstellen, einen für appdata usw. und einer der als reiner Cache dient?

Kommt ganz drauf an dein Pool ist,

wieviel Container du drauf laufen lassen willst,

wieviel Daten diese speichern,

wie groß sind die Daten die du kopierst,

wie oft wird was auf Unraid kopiert,

wie oft du den Mover laufen lässt,

planst du VMs zu betreiben?

…

wie du siehst, hängt das von vielen Faktoren ab.

Mittlerweile nutzen viele, ich auch, min. 1TB als Cache/Pool und für Docker.

Einige sind auch schon bei 2TB.

 

 

[alturismo]

35 minutes ago, Timmey85 said:

Wenn ich dann alle meine alten Disk im neuen Array habe, wie bekomme ich die ersten Platten, die zusammen 25 TB ergeben wieder aus dem Array raus?

so ganz verstanden hab ich das jetzt nicht, aber du bekommst immer Platten

 

/ins array rein, dazu ...

/aus dem Array raus, entfernt ...

 

wenn es Dir um die Befüllung geht mit zusätzlichen Platten welche später gar nicht ins Array sollen, wäre der einfache Weg die nicht ins Array zu nehmen sondern als "Unassigned Disk ..." dann von der ins array kopieren, wenn fertig, entfernen.

[Timmey85]

45 minutes ago, alturismo said:

so ganz verstanden hab ich das jetzt nicht, aber du bekommst immer Platten

 

/ins array rein, dazu ...

/aus dem Array raus, entfernt ...

 

wenn es Dir um die Befüllung geht mit zusätzlichen Platten welche später gar nicht ins Array sollen, wäre der einfache Weg die nicht ins Array zu nehmen sondern als "Unassigned Disk ..." dann von der ins array kopieren, wenn fertig, entfernen.

Ich hasse schreiben, ich kann mich dabei immer nicht richtig aus drücken... War schon immer so.

 

Die 25 TP setzten sich z.b. aus 1x 14tb und 3x4tb zusammen. Wenn ich alle daten vom Windows Server ummgezogen habe, will ich die 4 Platten (25TB) wieder aus dem Array entfernen, da sie nicht mir gehören.

 

Das Array soll dann nur noch aus diesen 3x 12 TB, 2x 16 TB, 1x 18 TB und 1x 20 TB Platten bestehen.

[Timmey85]

54 minutes ago, cz13 said:

Kommt ganz drauf an dein Pool ist,

wieviel Container du drauf laufen lassen willst,

wieviel Daten diese speichern,

wie groß sind die Daten die du kopierst,

wie oft wird was auf Unraid kopiert,

wie oft du den Mover laufen lässt,

planst du VMs zu betreiben?

…

wie du siehst, hängt das von vielen Faktoren ab.

Mittlerweile nutzen viele, ich auch, min. 1TB als Cache/Pool und für Docker.

Einige sind auch schon bei 2TB.

 

 

Ich kopiere Täglich Daten auf das Array, diese Daten werden zwischen 1GB und 100 GB groß sein. Die Anzahl der Docker wird sich wohl so gegen 10 Bewegen. Gesetzt sind Plex, Jdownloader 2, der ein oder andere Gameserver und vllt Virtuel DSM.

[cz13]

11 minutes ago, Timmey85 said:

Die 25 TP setzten sich z.b. aus 1x 14tb und 3x4tb zusammen. Wenn ich alle daten vom Windows Server ummgezogen habe, will ich die 4 Platten (25TB) wieder aus dem Array entfernen, da sie nicht mir gehören.

Wie alturismo schon geschrieben hat, bau dein Array mit den Platten die dir gehören.

die Platten, von denen du die Daten aufs Array kopieren willst, hängst du per UAD (ist ein Plugin aus den Apps) rein.

Damit sind die nicht Bestandteil vom Array und können nach dem erfolgreichen kopieren wieder entfernt werden.

Edited March 28 by cz13

[Timmey85]

1 hour ago, cz13 said:

Wie alturismo schon geschrieben hat, bau dein Array mit den Platten die dir gehören.

die Platten, von denen du die Daten aufs Array kopieren willst, hängst du per UAD (ist ein Plugin aus den Apps) rein.

Damit sind die nicht Bestandteil vom Array und können nach dem erfolgreichen kopieren wieder entfernt werden.

 

Genau das ist ja mein Problem, ich hab keine freie Platte, die groß genug ist damit ich da die ersten Daten drauf kopieren kann.

[alturismo]

6 minutes ago, Timmey85 said:

Genau das ist ja mein Problem, ich hab keine freie Platte, die groß genug ist damit ich da die ersten Daten drauf kopieren kann.

?

 

1 hour ago, Timmey85 said:

Die 25 TP setzten sich z.b. aus 1x 14tb und 3x4tb zusammen. Wenn ich alle daten vom Windows Server ummgezogen habe, will ich die 4 Platten (25TB) wieder aus dem Array entfernen, da sie nicht mir gehören.

 

Das Array soll dann nur noch aus diesen 3x 12 TB, 2x 16 TB, 1x 18 TB und 1x 20 TB Platten bestehen.

du hast vorhandene Platten mit Daten und Platten im Array ... alle anschließen, die "vorhandenen" als Unassigned ... die Array ins ... array

[Timmey85]

Da sind wir wieder bei meinem Proplem mit dem wie drücke ich mich aus.

 

1 hour ago, alturismo said:

?

 

du hast vorhandene Platten mit Daten und Platten im Array ... alle anschließen, die "vorhandenen" als Unassigned ... die Array ins ... array

 

Ich nehme als meine geliehen Platten, packe die ins Array und kopiere die ersten Daten von der größten HDD (20 TB) darauf. Das mache ich immer und weiter und wie bekomme ich die geliehen Platten wieder aus dem Array? Ich hab noch keine Parity Disk 

[DataCollector]

2 hours ago, Timmey85 said:

Ich nehme als meine geliehen Platten, packe die ins Array und kopiere die ersten Daten von der größten HDD (20 TB) darauf. Das mache ich immer und weiter und wie bekomme ich die geliehen Platten wieder aus dem Array? Ich hab noch keine Parity Disk 

 

Ich glaube so langsam zu verstehen, was Du machen willst.

Bitte korrigiere mich, wenn ich falsch liege:

 

a) Du hast ein bestehenden Windows-Server, dessen Festplatten Dir gehören, aber die eben auch voll mit Daten sind (3x 12 TB, 2x 16 TB, 1x 18 TB und 1x 20 TB).

b) Du willst nun unraid aufsetzen und leihst Dir dafür Festplatten um ein Array aufzubauen (ein Gemisch mit zusammen ca. 25TB freier Nutzkapazität).

c) Nun willst Du die Daten erst einer einzelnen Disk aus Deinem Windows System ins Array verfrachten. (Beispielsweise die 20TB Disk)  Dazu schließt Du die Disk einfach an unraid an und mountest sie außerhalb des Array per unassigned Devices (UD).

d) wenn die Daten ins Array kopiert/verschoben wurden, kannst Du diese ehemalige 20TB Windows Disk aus den UD unmounten und ins Array einbinden. unraid löscht die Disk und Du kanst sie dann formatieren lassen. Danach hast Du deren Platz im Array wieder als freie Kapazität.

e) und dann das Spiel mit der nächsten WIndowsDisk (18TB) wiederholen, da ja nun wieder freier Platz im Array vorhanden ist.

f) - x) Das geht dann solange so weiter, bis alle Disk des WindowsServers in unraid sind.

y) Am Ende sollen die geliehenen Festplatten wieder leer geschaufelt werden,

z) damit Du wie aus dem Array entfernen kannst und Deinen Spender zurückgeben kannst.

 

Sehe ich das richtig?

 

Gundlegend funktioniert das gut, ist aber seeeeeeeeeeeeeeeehr zeitaufwändig.

Wenn Du während der "Füllaktion" auf die Sicherheit einer Parity verzichten kannst, geht es etwas schneller, da Parity stark ausbremst.

 

Achtung! Wenn Du später eine Paritydisk in das Array mit den beschrieben Disks einbinden willst: die Paritydisk muß mindestens so groß sein, wie die größter Festplatte mit Nutzdaten im Array.

Da Du nur eine 20TB Festplatte hast, solltest Du dann vielleicht in Punkt c  mit der 18TB beginnen  oder vielleicht sogar von klein nach groß die Daten ins Array migrieren. Denn Deine 20TB würde dann ja die Parity.

 

Ansonsten: das da oben ist eigentlich genau der auszuführende Ablauf.

 

Um später die geliehenen Disks wieder leer zu bekommen ( Siehe Punkt y ) kannst Du dann Tools wie unbalance oder mc oder krusader oder so nutzen um von den betreffenden geliehenen Disks die Dateien auf die Disks zu verschieben, die im Array verbleiben sollen.

 

Um dann die Disks zu entfernen (welche Du Deinem Spender zurückgeben willst) kannst Du einfach dann mit dem Tool "new config" das Array auflösen und mit den Festplatten neu aufbauen, die Du drin lassen willst (das wäre dann Punkt z ).

Und dabei kannst Du dann auch Deine Paritydisk mit festlegen und die Parity erstellen lassen (vermutlich eben auf der 20TB, die dabei komplett überschrieben wird)

 

Und hier eine sehr wichtige Anmerkung: Das wäre dann eine umfangreiche Aktion ohne Netz und doppelten Boden! bei jedem der Schritte kann etwas massiv schief gehen und Du kannst Daten verlieren. Du solltest wirklich darüber nachdenken Dir ein Backup der Dir wichtigen Daten extern anlezulegen.

 

Falls ich etwas falsch verstanden habe: Sorrrrrrrry!  War keine Absicht!

Edited March 28 by DataCollector

[Timmey85]

45 minutes ago, DataCollector said:

Ich glaube so langsam zu verstehen, was Du machen willst.

Bitte korrigiere mich, wenn ich falsch liege:

 

a) Du hast ein bestehenden Windows-Server, dessen Festplatten Dir gehören, aber die eben auch voll mit Daten sind (3x 12 TB, 2x 16 TB, 1x 18 TB und 1x 20 TB).

b) Du willst nun unraid aufsetzen und leihst Dir dafür Festplatten um ein Array aufzubauen (ein Gemisch mit zusammen ca. 25TB freier Nutzkapazität).

c) Nun willst Du die Daten erst einer einzelnen Disk aus Deinem Windows System ins Array verfrachten. (Beispielsweise die 20TB Disk)  Dazu schließt Du die Disk einfach an unraid an und mountest sie außerhalb des Array per unassigned Devices (UD).

d) wenn die Daten ins Array kopiert/verschoben wurden, kannst Du diese ehemalige 20TB Windows Disk aus den UD unmounten und ins Array einbinden. unraid löscht die Disk und Du kanst sie dann formatieren lassen. Danach hast Du deren Platz im Array wieder als freie Kapazität.

e) und dann das Spiel mit der nächsten WIndowsDisk (18TB) wiederholen, da ja nun wieder freier Platz im Array vorhanden ist.

f) - x) Das geht dann solange so weiter, bis alle Disk des WindowsServers in unraid sind.

y) Am Ende sollen die geliehenen Festplatten wieder leer geschaufelt werden,

z) damit Du wie aus dem Array entfernen kannst und Deinen Spender zurückgeben kannst.

 

Sehe ich das richtig?

Genau so ist es 🙂 Ich habe ein Backup aller Dateien auf den Platten, bei meinem Spender. Er hatte lange viele kleine Disks und jetzt nach und nach große gekauft. So das die kleine frei sind.

 

51 minutes ago, DataCollector said:

Und dabei kannst Du dann auch Deine Paritydisk mit festlegen und die Parity erstellen lassen (vermutlich eben auf der 20TB, die dabei komplett überschrieben wird)

Kann ich die auch später zu jeder Zeit hinzufügen?

 

47 minutes ago, DataCollector said:

Falls ich etwas falsch verstanden habe: Sorrrrrrrry!  War keine Absicht!

Liegt nicht an dir, mein Deutschlehrer hat immer gesagt, dass ich das was ich denke nicht vernüftig formuliert aufs Papier bekomme. Darumm in der Schule schriftlicher immer 1,5 Noten schlechter als mündlich.

[DataCollector]

1 hour ago, Timmey85 said:

Genau so ist es 🙂 Ich habe ein Backup aller Dateien auf den Platten, bei meinem Spender. Er hatte lange viele kleine Disks und jetzt nach und nach große gekauft. So das die kleine frei sind.

 

Gute. Theoretisch könntest Du also auch Dein Array einfach mit Deinen Disks erstellen und die Backups in einem Rutsch einspielen.

 

1 hour ago, Timmey85 said:

Kann ich die auch später zu jeder Zeit hinzufügen?

 

klar.

Es macht Sinn eine Parity zuzufügen, wenn Du meinst einen Ausfallschutz zu brauchen.

Du kannst die Parity sogar weglassen (dann schreibt es sich auf das Array schneller) aber dann exististiert bei Dir keine Sicherung gegen Festplattenausfall.

 

[Timmey85]

19 hours ago, Timmey85 said:

Hallo Leute,

 

so ich habe mal etwas gespielt und vieles gelernt. Aber auch einige Fragen entwickelt.

 

1.  Frage: In den Array einstellungen, kann man ja mehrere Pools hinzugügen, macht es Sinn 2 Pools zu erstellen, einen für appdata usw. und einer der als reiner Cache dient?

 

18 hours ago, cz13 said:

Kommt ganz drauf an dein Pool ist,

wieviel Container du drauf laufen lassen willst,

wieviel Daten diese speichern,

wie groß sind die Daten die du kopierst,

wie oft wird was auf Unraid kopiert,

wie oft du den Mover laufen lässt,

planst du VMs zu betreiben?

…

wie du siehst, hängt das von vielen Faktoren ab.

Mittlerweile nutzen viele, ich auch, min. 1TB als Cache/Pool und für Docker.

Einige sind auch schon bei 2TB.

 

 

 

18 hours ago, Timmey85 said:

Ich kopiere Täglich Daten auf das Array, diese Daten werden zwischen 1GB und 100 GB groß sein. Die Anzahl der Docker wird sich wohl so gegen 10 Bewegen. Gesetzt sind Plex, Jdownloader 2, der ein oder andere Gameserver und vllt Virtuel DSM.

 

Hat hier noch jemand einen Tipp für mich. Es kann auch mal sein, dass ich 500GB am Tag auf das Array haben möchte, nicht oft aber es kommt vor.

[Timmey85]

9 hours ago, DataCollector said:

 

Gute. Theoretisch könntest Du also auch Dein Array einfach mit Deinen Disks erstellen und die Backups in einem Rutsch einspielen.

 

 

klar.

Es macht Sinn eine Parity zuzufügen, wenn Du meinst einen Ausfallschutz zu brauchen.

Du kannst die Parity sogar weglassen (dann schreibt es sich auf das Array schneller) aber dann exististiert bei Dir keine Sicherung gegen Festplattenausfall.

 

 

Danke für deine Tipps

 

[DataCollector]

3 hours ago, Timmey85 said:

Hat hier noch jemand einen Tipp für mich. Es kann auch mal sein, dass ich 500GB am Tag auf das Array haben möchte, nicht oft aber es kommt vor.

 

Der Tipp ist: einen groß genugen Pool/Cache ( + etwas Reserve) zu haben, dann speichert man eben nicht direkt ins Array, sondern schreibt erst einmal in den vorgeschalteten Pool/Cache, welcher dann Timergesteuert per Mover in aller Ruhe ins Array übertragen wird.

Wenn Du von 'bis zu 500GB' an einem Tag ausgehst würde ich 1TB im Pool/Cache vorschlagen, wenn Du täglich den Mover (nachts?) laufen läßt. Wenn Du den Mover nur alle 3 Tage laufen lassen willst sind dann eben eher 1,5 bis 2TB zu veranschlagen.

Solltest Du pro Woche nur 500GB speichern wollen (weil es eben nur ab und zu die Menge ist), kannst Du das alles ja anpassen (dann sollte eben wieder eher so 1TB reichen, wenn DUudann in der Woche ein oder 2 mal den Mover anwerfen läßt).

[Timmey85]

7 minutes ago, DataCollector said:

 

Der Tipp ist: einen groß genugen Pool/Cache ( + etwas Reserve) zu haben, dann speichert man eben nicht direkt ins Array, sondern schreibt erst einmal in den vorgeschalteten Pool/Cache, welcher dann Timergesteuert per Mover in aller Ruhe ins Array übertragen wird.

Wenn Du von 'bis zu 500GB' an einem Tag ausgehst würde ich 1TB im Pool/Cache vorschlagen, wenn Du täglich den Mover (nachts?) laufen läßt. Wenn Du den Mover nur alle 3 Tage laufen lassen willst sind dann eben eher 1,5 bis 2TB zu veranschlagen.

Solltest Du pro Woche nur 500GB speichern wollen (weil es eben nur ab und zu die Menge ist), kannst Du das alles ja anpassen (dann sollte eben wieder eher so 1TB reichen, wenn DUudann in der Woche ein oder 2 mal den Mover anwerfen läßt).

Also würdest du appdata, dockercontainer usw. in den normalen "cache" packen oder doch einen pool "daten" und einen pool "cache"?

[DataCollector]

3 minutes ago, Timmey85 said:

Also würdest du appdata, dockercontainer usw. in den normalen "cache" packen oder doch einen pool "daten" und einen pool "cache"?

 

Das ist individuell.

 

Ich spreche hier von meinen Anforderungen:

Ich hantiere auf einem meiner Systeme (1st System Tessa) gerne mit großen Datenmengen (3-4TB an einem Stück auf das unraidsystem über SMB zu schreiben ist dann schon an einigen Tagen üblich).

Da solche Datenmengen dann doch auf die Dauerschreibfestigkeit von Pool/Cache SSDs geht, haben bei mir in diesen Extremfällen die VM/Docker angefangen träger zu reagieren (zeitverzögert).

Da mich das gestört hat und auch zeitkritische Anwendungen in einer der VM liefen (Downloads & Par Berechnungen) habe ich ziemlich früh dazu tendiert die Systemshares (für VM/Docker) auf einen getrennten Pool/Cache/SSD zu legen und meinen Pool/Cache für mein Array dann auf eine andere SSD(s) abzubilden.

 

Das Ergebnis ist, daß ich auf

a) einem unraid, bei dem ich geringere Datenmengen schreibe (2nd System Shipon, siehe Signatur) eine alte Samsung 970 Evo 256GB in einem Pool/Cache für Systemshares nutze und eine AData Legend 960 (max) 4TB in einem anderen Pool/Cache zum Puffern für mein Array (Vorher hatte ich anstatt der AData  3x2TB Samsung 970 Evo Plus per zfs zu einem 6TB Cache zusammengeschaltet).

 

b) einem anderen unraid (1st System Tessa), welches ist eben am Stück auch mal mit 3-4TB voll pumpe) die Systemshares auf einer Samsung 970 Evo Plus 2TB liegen habe und auch hier eine AData Legend 960 (max) 4TB den Pool/Cache für das Array bildet.

Da dieses System auch generel höhere Anforderungen hat, habe ich sogar noch weitere Pools angelegt (3x8TB Samsung QVO zfs raid5ähnlich & 2x 18TB Festplatten zfs raid0ähnlich)

 

[Timmey85]

21 hours ago, DataCollector said:

 

Das ist individuell.

 

Ich spreche hier von meinen Anforderungen:

Ich hantiere auf einem meiner Systeme (1st System Tessa) gerne mit großen Datenmengen (3-4TB an einem Stück auf das unraidsystem über SMB zu schreiben ist dann schon an einigen Tagen üblich).

Da solche Datenmengen dann doch auf die Dauerschreibfestigkeit von Pool/Cache SSDs geht, haben bei mir in diesen Extremfällen die VM/Docker angefangen träger zu reagieren (zeitverzögert).

Da mich das gestört hat und auch zeitkritische Anwendungen in einer der VM liefen (Downloads & Par Berechnungen) habe ich ziemlich früh dazu tendiert die Systemshares (für VM/Docker) auf einen getrennten Pool/Cache/SSD zu legen und meinen Pool/Cache für mein Array dann auf eine andere SSD(s) abzubilden.

 

Das Ergebnis ist, daß ich auf

a) einem unraid, bei dem ich geringere Datenmengen schreibe (2nd System Shipon, siehe Signatur) eine alte Samsung 970 Evo 256GB in einem Pool/Cache für Systemshares nutze und eine AData Legend 960 (max) 4TB in einem anderen Pool/Cache zum Puffern für mein Array (Vorher hatte ich anstatt der AData  3x2TB Samsung 970 Evo Plus per zfs zu einem 6TB Cache zusammengeschaltet).

 

b) einem anderen unraid (1st System Tessa), welches ist eben am Stück auch mal mit 3-4TB voll pumpe) die Systemshares auf einer Samsung 970 Evo Plus 2TB liegen habe und auch hier eine AData Legend 960 (max) 4TB den Pool/Cache für das Array bildet.

Da dieses System auch generel höhere Anforderungen hat, habe ich sogar noch weitere Pools angelegt (3x8TB Samsung QVO zfs raid5ähnlich & 2x 18TB Festplatten zfs raid0ähnlich)

 

 

Danke für die Erklärung, hast mir wieder sehr geholfen.

 

Eine weitere Frage hab ich noch, ist bei Unraid die SATA Port zuordnung zu den HDDs wichtig? Oder kann ich heute SATA 1 für Disk 1 und morgen Sata 3 für Disk 1 nutzen?

 

Grüße

 

Tim

[DataCollector]

16 minutes ago, Timmey85 said:

Eine weitere Frage hab ich noch, ist bei Unraid die SATA Port zuordnung zu den HDDs wichtig?

nein

16 minutes ago, Timmey85 said:

Oder kann ich heute SATA 1 für Disk 1 und morgen Sata 3 für Disk 1 nutzen?

ja

[Timmey85]

40 minutes ago, DataCollector said:

nein

ja

Super danke,

 

dann steht mein Server vor dem inneren Auge. Dann kann ja der Bau beginnen.

 

Ich werde erstmal mit dem i7 8700k anfangen, um dann später auf ein i7 12700 oder so zu wechseln.

 

Das einzige was ich nicht so richtig verstehe, wie ich eine HDD ohne Pool durch zu reichen um auf die Daten darauf zu zuzugreifen.  Das Plugin hab ich installiert.