Hardware für NAS für live Videoschnitt mit Unraid

[AdamCane]

Hallo liebe Community,

Ich habe vor ein paar Wochen angefangen mich mit UNRAID zu beschäftigen. Allerdings geht es mir wie so vielen hier. Wenn man. „genug herumgespielt hat“ und ein konkretes „Problem“ zuhause Lösen will, gibt es nur die 3 Möglichkeiten, langsam immer größer skalieren bis es passt, direkt eine völlig überzogene Höllenmaschine kaufen oder eben sich an die Community wenden.

Ich habe mich, wie ihr ja seht, für letzteres entschieden.

 

Meine „Anforderungen“:

NAS für zuhause

o   Als Netzwerklaufwerke

o   Daten gegen Verlust bei Laufwerksausfall geschützt

o   Daten zusätzlich per Backup in eine externe Cloud

Virtualisierte Systeme(nicht zwingend erforderlich):

o   Adguard oder Pihole

o   VPN Server

o   Ggf. Nextcloud, Zertifikat-Server

 

Klingt für viele sicher nicht sooo spannend. Die kleine Herausforderung ist allerdings, auf den Netzwerklaufwerken soll Foto- und Videomaterial (1080p) liegen. Dieses will ich dann, ohne es vorher lokal auf die Workstation kopieren zu müssen, nutzen. Also die komplette Postproduktion auf dem Netzwerklaufwerk und dem Ram der Workstation bzw. der Cache-Partition des UNRAID.
 

Die Netzwerklaufwerkfunktionalität nutze ich 2-6 Stunden am Tag. Und das auch nicht jeden Tag. Die Heizung bei mir zu Hause ist recht neu und funktioniert problemlos, daher wäre es auch toll, wenn das Gerät nicht als mini Heizung, im Idleprozess, vor sich hin glüht.
 

Leider habe ich wirklich keine Ahnung was das an Hardwareanforderung auf mich zu kommt.

Ich weiß das kostet Geld und auch das es nach oben schlicht keine Grenze gibt.

Aber was brauche ich denn um meine Anforderung zu erfüllen, ohne mir gleich den Bentley oder Ferrari ins Haus zu holen.

Ich wäre also für Tipps wirklich dankbar.

 

Ach ja als Nachtrag ich würde am liebsten SAS Platten verwenden.

Edited February 22 by AdamCane

[jj1987]

14 hours ago, AdamCane said:

ich würde am liebsten SAS Platten verwenden.

Begründung?

Passt zumindest nicht oder nur schwer zu diesem Wunsch:

14 hours ago, AdamCane said:

daher wäre es auch toll, wenn das Gerät nicht als mini Heizung, im Idleprozess, vor sich hin glüht.

SAS Festplatten mögen spin down nicht so wirklich, teilweise ist es mit zusätzlichen Tools möglich teilweise geht es gar nicht (drehende Platten verbrauchen Strom, erzeugen Wärme..). Ohne Spindown geht der Prozessor aber maximal in c3 (oder sogar nur c2?), verbraucht also auch mehr Strom als eigentlich nötig (=mehr abwärme).

 

Ansonsten würde ich sagen brauchst du ausreichend große und schnelle Cache SSD für die Rohdaten, die genaue Größe kannst letztlich nur du selbst bestimmen. Zu "besseren" Zeiten für der künstlichen NAND Verknappung hatte ich wohl direkt die 4TB genommenen. Ob als Mirror-Pärchen oder nicht ist "Geschmackssache"

Und damit du dann auch performant, direkt auf dem System schneiden kannst, braucht es natürlich schnelles Netzwerk. 10GBit wäre da dann das Minimum.

Da kommt dann das nächste "Stromproblem". Günstig zu bekommen sind Mellanox x3, die mögen nur leider auch keinen Stromsparmodus. Da dann eher Intel Karten ins Auge fassen. Allgemein gilt LWL/SFP+ als sparsamer als Kupfer Ethernet, dafür ist für letzteres die Infrastruktur meist schon vorhanden (vom passenden Switch mal abgesehen, aber vielleicht geht ja auch eine Direktverbindung zum PC?).

Ansonsten bei Videobearbeitung gerne viele CPU Kerne, Intel ist im idle sparsamer, AMD hat "obenrum" Vorteile.

Und natürlich RAM. Im Zweifel nicht kleckern sondern klotzen.

Zum Rest kann man noch nicht abschließend etwas sagen denn, wie viel Speicher wird benötigt?

Daraus folgt wie viele, wie große HDDs es sein müssen.

Daraus ergibt sich dann wiederum welches Mainboard in Frage käme oder eben auch nicht.

Ob noch SATA Controller zusätzlich benötigt werden

Etc pp

[AdamCane]

Hallo erstmal vielen Dank für Deine Antwort,

11 hours ago, jj1987 said:

Begründung?

Passt zumindest nicht oder nur schwer zu diesem Wunsch:

SAS Festplatten mögen spin down nicht so wirklich, teilweise ist es mit zusätzlichen Tools möglich teilweise geht es gar nicht (drehende Platten verbrauchen Strom, erzeugen Wärme..). Ohne Spindown geht der Prozessor aber maximal in c3 (oder sogar nur c2?), verbraucht also auch mehr Strom als eigentlich nötig (=mehr abwärme).

Also SAS eigentlich nur wegen der Transferraten, aber da wusste ich nicht das die mit Spindown nicht so klar kommen.

 

11 hours ago, jj1987 said:

Ansonsten würde ich sagen brauchst du ausreichend große und schnelle Cache SSD für die Rohdaten, die genaue Größe kannst letztlich nur du selbst bestimmen. Zu "besseren" Zeiten für der künstlichen NAND Verknappung hatte ich wohl direkt die 4TB genommenen. Ob als Mirror-Pärchen oder nicht ist "Geschmackssache"

Ja ich dachte auch an 4TB Cache / allerdings nicht als Mirror-Pärchen

 

11 hours ago, jj1987 said:

Und damit du dann auch performant, direkt auf dem System schneiden kannst, braucht es natürlich schnelles Netzwerk. 10GBit wäre da dann das Minimum.

Da kommt dann das nächste "Stromproblem". Günstig zu bekommen sind Mellanox x3, die mögen nur leider auch keinen Stromsparmodus. Da dann eher Intel Karten ins Auge fassen. Allgemein gilt LWL/SFP+ als sparsamer als Kupfer Ethernet, dafür ist für letzteres die Infrastruktur meist schon vorhanden (vom passenden Switch mal abgesehen, aber vielleicht geht ja auch eine Direktverbindung zum PC?).

Ich dachte bei den Platten an HDDs, daher würde ich aufgrund der Lautstärke (oder liege ich da falsch), das gern in den Keller packen. Und Als Netzwerkverbindung dachte ich an ne 10GBit, hab das Haus Cat 7 verkabelt und die Wege sind unter 20 Meter.

 

11 hours ago, jj1987 said:

Ansonsten bei Videobearbeitung gerne viele CPU Kerne, Intel ist im idle sparsamer, AMD hat "obenrum" Vorteile.

Und natürlich RAM. Im Zweifel nicht kleckern sondern klotzen.

Das mit dem RAM verstehe ich noch, aber das mit den Kernen nicht,. Ich wollte das Teil als reinen Netzwerkspeicher, also wie ne externe Platte betreiben. Aktuell habe ich hierfür viele SSDs SAMSUNG T5 & T7 oder die so mit 700-900Mbit Schreiben/Lesen.

 

11 hours ago, jj1987 said:

Zum Rest kann man noch nicht abschließend etwas sagen denn, wie viel Speicher wird benötigt?

Daraus folgt wie viele, wie große HDDs es sein müssen.

Aktuell hatte ich an 3x8TB Ironwulfs gedacht. Wobei ich den Vorteil bei Unraid mit der problemlosen Erweiterung gesehen habe.

 

 

 

Soviel erstmal von mir, vorab VIELEN DANK für Deine/Eure Mühe!!

[jj1987]

2 hours ago, AdamCane said:

Ich wollte das Teil als reinen Netzwerkspeicher,

OK, das hatte ich dann falsch verstanden. Dachte du willst dann auch in einer VM die Videos bearbeiten. Gut dann ist soviel Power nicht nötig, RAM kann dann ggfs auch etwas kleiner ausfallen.

[DataCollector]

5 hours ago, AdamCane said:

Also SAS eigentlich nur wegen der Transferraten, aber da wusste ich nicht das die mit Spindown nicht so klar kommen.

 

SAS Festplatten haben intern eigentlich die gleiche Technik wie SATA Festplatten. Da ist kaum signifikanter Unterschied im unraid Betrieb zu sehen.

Aber bei SAS wird alle eher auf anspruchsvolle Belastungen ausgelegt und auch sind da interessante 2,5inch Modelle mit höheren Drehzahlen zu haben, aber das ist wird dann auch ein Lärm- und Stromproblem.

 

5 hours ago, AdamCane said:

Aktuell habe ich hierfür viele SSDs SAMSUNG T5 & T7 oder die so mit 700-900Mbit Schreiben/Lesen.

 

Ich habe nicht so ganz auf dem Schirm, ob Dir der massive Geschwindigkeitsverlust im Array bekannt ist.

Der (SSD) Cache puffert das, was Du kurzfristig geschrieben hast und bietet es dann auch solange flott an, wie es noch nicht auf dem Array liegt. Aber wenn etwas auf dem Array liegt sind die Lesegeschwindigkeiten die einer Festplatte. Das ist weit unter den 700-900MBit/s.

Auch haben hier einige Leute schon mal Geschwindigkeitsprobleme selbst mit 10GBLan gehabt. Deine lokalen SSDs sind möglicherweise somit schneller, als Du es mit unraid hinbekommst.

Ich wollte es nur erwähnen, damit Du nicht später überrascht bist.

 

[AdamCane]

On 2/24/2024 at 1:34 AM, DataCollector said:

 

SAS Festplatten haben intern eigentlich die gleiche Technik wie SATA Festplatten. Da ist kaum signifikanter Unterschied im unraid Betrieb zu sehen.

Aber bei SAS wird alle eher auf anspruchsvolle Belastungen ausgelegt und auch sind da interessante 2,5inch Modelle mit höheren Drehzahlen zu haben, aber das ist wird dann auch ein Lärm- und Stromproblem.

 

 

Ich habe nicht so ganz auf dem Schirm, ob Dir der massive Geschwindigkeitsverlust im Array bekannt ist.

Der (SSD) Cache puffert das, was Du kurzfristig geschrieben hast und bietet es dann auch solange flott an, wie es noch nicht auf dem Array liegt. Aber wenn etwas auf dem Array liegt sind die Lesegeschwindigkeiten die einer Festplatte. Das ist weit unter den 700-900MBit/s.

Auch haben hier einige Leute schon mal Geschwindigkeitsprobleme selbst mit 10GBLan gehabt. Deine lokalen SSDs sind möglicherweise somit schneller, als Du es mit unraid hinbekommst.

Ich wollte es nur erwähnen, damit Du nicht später überrascht bist.

 

 

Guten Abend, erstmal vielen Dank für die Infos.

Das der Cache der schnelle Faktor ist, schneller als das Array war mir klar. Allerdings bin ich  wegen der SAS Platten überrascht, das hab ich wohl völlig falsch verstanden. Ich dachte SAS 3.0 Platten sind schon bei 1.200MB/s. 
 

Vielen Dank dafür!

[alturismo]

13 minutes ago, AdamCane said:

Ich dachte SAS 3.0 Platten sind schon bei 1.200MB/s. 

ja, SAS kann im Verbund schneller sein, macht aber in der Unraid Welt keinen echten Sinn.

 

wenn dir Foto/Videobearbeitung wichtig ist, große nvme cache Platte, 10G Netzwerk, alles gut.

 

wenn die fertig editirten Dateien dann im Datengrab liegen und nur noch zum Lesen geöffnet werden, braucht es kein SAS und du hast

 

1/ die beste performance bei dem workflow

2/ die Kosten im Rahmen gehalten

3/ keine Baustellen im NAS Betrieb geöffnet

4/ keine Heizung und Dauerbrenner laufen

...

 

wenn du jedoch die Dateien immer bearbeitungsfähig haben willst (auch auf den disks), dann ... sieht das anders aus, aber dann wirst du mit den Nachteilen leben müssen die entstehen können, Hochleistung mit mechanischen Platten wird nie so effizient sein wie nvme (oder SSD wenn es günstiger sein soll).

 

Ich schätze jedoch, der normale workflow ist, neues Material kommt rein, wird bearbeitet ... wenn fertig, ab ins Datengrab und bei Bedarf abgespielt. Sollte dann doch mal was nachgearbeitet werden müssen, kann man auch gerne die Datei retour auf den schnellen nvme cache spielen ... nur als Hinweis.

[DataCollector]

7 hours ago, AdamCane said:

Allerdings bin ich  wegen der SAS Platten überrascht, das hab ich wohl völlig falsch verstanden. Ich dachte SAS 3.0 Platten sind schon bei 1.200MB/s.

 

Die Physik gilt für alle Festplatten gleich.

Die Schnittstelle zum PC hin ist vielleicht schneller, aber die mechanischen Arme können die Daten von den drehenden Scheiben dennoch nicht schneller lesen oder schreiben, als es eben auch die mechanischen Arme bei den drehenden Scheiben von SATA Festplatten können.

 

Einzig die Dual-Aktor Festplatten arbeiten mit 2 mechanischen Kämmen gleichzeitig auf ein und derselben Scheibe und können somit die doppelte Geschwindigkeit erreichen, doch auch die gibt es für SATA.

Bei SAS gibt es 2,5inch festplatten mit 10.000 Rpm, aber wie erwähnt: teuer, warm, klein.

 

[AdamCane]

On 2/26/2024 at 8:44 PM, alturismo said:

ja, SAS kann im Verbund schneller sein, macht aber in der Unraid Welt keinen echten Sinn.

 

wenn dir Foto/Videobearbeitung wichtig ist, große nvme cache Platte, 10G Netzwerk, alles gut.

 

wenn die fertig editirten Dateien dann im Datengrab liegen und nur noch zum Lesen geöffnet werden, braucht es kein SAS und du hast

 

1/ die beste performance bei dem workflow

2/ die Kosten im Rahmen gehalten

3/ keine Baustellen im NAS Betrieb geöffnet

4/ keine Heizung und Dauerbrenner laufen

...

 

wenn du jedoch die Dateien immer bearbeitungsfähig haben willst (auch auf den disks), dann ... sieht das anders aus, aber dann wirst du mit den Nachteilen leben müssen die entstehen können, Hochleistung mit mechanischen Platten wird nie so effizient sein wie nvme (oder SSD wenn es günstiger sein soll).

 

Ich schätze jedoch, der normale workflow ist, neues Material kommt rein, wird bearbeitet ... wenn fertig, ab ins Datengrab und bei Bedarf abgespielt. Sollte dann doch mal was nachgearbeitet werden müssen, kann man auch gerne die Datei retour auf den schnellen nvme cache spielen ... nur als Hinweis.

 

Vielen Dank, jetzt hab auch ich das endlich geschnallt und stimme dem völlig zu.
 

Dann sähe meine Konfiguration nun so aus:
3*Exos oder eben IronWulf a 8TB = 16 TB verfügbar + 8TB Parität
1x NVME Cache, da dann ne Samsung 990Pro oder doch ne andere?

Bräuchte dann nur noch nen Tipp geben bezüglich 
Prozessor, board und RAM Menge?

 

Ich würde ja nen 19" Gehäuse bevorzugen, hab aber gesehen das es auch ne Art NAS Barbones gibt.

[AdamCane]

On 2/27/2024 at 3:59 AM, DataCollector said:

 

Die Physik gilt für alle Festplatten gleich.

Die Schnittstelle zum PC hin ist vielleicht schneller, aber die mechanischen Arme können die Daten von den drehenden Scheiben dennoch nicht schneller lesen oder schreiben, als es eben auch die mechanischen Arme bei den drehenden Scheiben von SATA Festplatten können.

 

Einzig die Dual-Aktor Festplatten arbeiten mit 2 mechanischen Kämmen gleichzeitig auf ein und derselben Scheibe und können somit die doppelte Geschwindigkeit erreichen, doch auch die gibt es für SATA.

Bei SAS gibt es 2,5inch festplatten mit 10.000 Rpm, aber wie erwähnt: teuer, warm, klein.

 

Danke für die Erklärung, ja war da umnachtet hab mich von den Schnittstellenwerten verwirren lassen.

[alturismo]

17 minutes ago, AdamCane said:

1x NVME Cache, da dann ne Samsung 990Pro oder doch ne andere?

Samsung sind gut, passt, ob es ne 990 pro sein muss sei dahin gestellt, bei 10G wirst du max 1000 MB/s schaffen ... dir überlassen.

 

nur nimm auf jeden Fall ne vernünftige Größe ... oder auch 2

 

1. nvme für vm, docker, appdata, system data, download cache, ...

2. nvme als "Arbeitscache" für deinen persönlich wichtigen Part, Bild / Video Bearbeitung.

 

20 minutes ago, AdamCane said:

Prozessor, board und RAM Menge?

dazu gibt es ja bereits xyz Threads hier ... entweder nachlesen oder andere sollen sich da austoben