Heyho,

 

ich habe mir nach vielem Lesen hier in den Hardwareempfehlungen einen Server zusammengeschraubt. Mein Anwendungsfall ist recht simpel. Ich brauche einen sicheren Ort um meine Fotos und Videos zu lagern. Bisher hat alles auf 20 TB gepasst aber diese Grenze werde ich bald überschreiten.

Also soll ein Array her.

 

Ich habe 3 mal 20TB wobei ich 1 Parity und 40 TB array machen möchte um dies dann bei Bedarfs zu erweitern. Wenn ich jetzt aber auch auf dem NAS arbeiten möchte, frage ich mich ob das funzt?

 

Ich habe auf dem Mainboard 2 NVME Steckplätze. Sollte ich diese als Cache im Raid 0 nutzen um da Geschwindigkeit zu bekommen oder eher den PCIe 16 zu Bifurication umfunktionieren?

 

Einen PCIe Port werde ich für 10 GB Netzwerkkarte nutzen wollen, um das NAS mit meinem "Arbeitsrechner" per DAC zu verbinden.

 

Ich habe mal ins BIOS geschaut, da kann man was an den PCIe Ports knipsen. Ich weiß aber nicht ob es dann 4x4x4x4 ist?

 

Danke und Grüße

9 hours ago, RWEK said:

Ich habe mal ins BIOS geschaut, da kann man was an den PCIe Ports knipsen. Ich weiß aber nicht ob es dann 4x4x4x4 ist?

 

entweder sehe ich es nicht, aber die Benennung des Mainboards könnte hilfreich sein ... steht aber normal im Handbuch

 

wie du dann ran gehst ... musst du entscheiden, was du für was nutzt ...

auf dem Bild hab ich es mal gesehen, bitfuraction sehe ich mal hier zumindest nicht in der Anleitung.

9 hours ago, RWEK said:

Ich habe 3 mal 20TB wobei ich 1 Parity und 40 TB array machen möchte um dies dann bei Bedarfs zu erweitern.

 

Beachte, daß die Schreibgeschwindigkeit in einem solchen Array bei nur 33-50% dessen liegt, was die Parity selber an der Stelle schreiben könnte.

 

Wenn Du halbwegs kleine Bilder einzeln bearbeitest und dann überschreibst, wird es (wegen dem RamCache) nicht großartig bremsen. Solltest Du aber große Mengen an Bildern oder gar größere GB Mengen an Videos im Array editieren und dann überschreiben wollen, wirst Du schon merken, daß es bremst.

Ich verwende mit Absicht den Begriff überschreiben, weil mir aufgefallen ist, daß Überschreiben einer Datei, welche schon im Array ist anscheinend wirklich auf dem Array stattfindet, anstatt im vorgeschalteten Pool/Cache/SSD.

Solltest Du hingegen Deine Dateien nach dem editieren einfach nur als extra Datei speichern wollen, landet die in dem vorgeschalteten Pool/Cache/SSD und damit erreicht man die native Schreibgeschwindigkeit der dort ansässigen SSD(s).

 

Die Lesegeschwindigkeit vom Array ist auch "nur" so hoch, wie die einer einzelnen Festplatte im Array. Gerade bei dem Lesen großer Videodateien ist das nicht unbedingt rasend flott (wenn man NVMe SSD gewohnt ist).

 

Edit: Wobei auch das Auflisten einer großen Menge an Bildern per SMB (von einer Festplatte/Array) etwas Zeit in Anspruch nimmt. Deshalb verschiebe ich die (große Mengen an) Bilder (n bevor ich daran in großem Umfang arbeite) auf eine SSD, was das Bearbeiten dann doch erheblich beschleunigt (lesend, wie auch schreibend).

 

9 hours ago, RWEK said:

Wenn ich jetzt aber auch auf dem NAS arbeiten möchte, frage ich mich ob das funzt?

 

Technisch: ja. Ob es Dir von der Geschwindigkeit her reicht (für Editing von großen Videos) mußt Du selber prüfen.

 

9 hours ago, RWEK said:

Ich habe auf dem Mainboard 2 NVME Steckplätze. Sollte ich diese als Cache im Raid 0 nutzen um da Geschwindigkeit zu bekommen oder eher den PCIe 16 zu Bifurication umfunktionieren?

 

1. Es ist unabhängig wo Du NVMe SSDs einsetzt. Wenn Dein Mainboard das unterstützen würde (ich schreibe mit Absicht "würde", weil es das anscheinend nicht kann [siehe unten]), könnten NVMe SSD auch in Bifurcation Steckplätzen genau so gut laufen.

2. Ob Du Raid0 brauchst mußt Du entscheiden. Aber selbst 10GbLan ist mit seinen rund 1GByte/s Schreiubgeschwindigkeit so langsam, daß sich eine gute NVMe schnarchend noch etwas aufs Ohr legen kann. Raid0 für Geschwindigkeit macht keinen Sinn, wenn man per (maximal) 10GbLan darauf zugreift.

Raid0 macht nru Sinn, wenn man die Kapaziotät erhöhen will (aktuell sind NVMe SSD mit maximal 4TB erschwinglich/preiswert zu haben. Wnen man einen 8TB flotten NVMe Cache aufbauen will, sind dann 2x 4TB im Raid0 die Lösung ... mit natürlich erhöhter Ausfallgefahr).

 

9 hours ago, RWEK said:

Einen PCIe Port werde ich für 10 GB Netzwerkkarte nutzen wollen, um das NAS mit meinem "Arbeitsrechner" per DAC zu verbinden.

 

Das ist machbar. Das Lesen und Überschreiben im Array wird dadurch aber auch nicht schneller. (280 bis 80MByte/s, je nach Operation)

Nur die SSD Arbeiten werden dann mit maximal 1GByte/s fluppen.

 

9 hours ago, RWEK said:

Ich habe mal ins BIOS geschaut, da kann man was an den PCIe Ports knipsen. Ich weiß aber nicht ob es dann 4x4x4x4 ist?

 

Nein, sieht mir nicht so aus, als wenn das Bifurcation ist. Anscheinend hast Du ein paar PCIe Slots, welche eben elektrisch nur x4 angebunden sind und diese kannst Du dort einstellen.

Welches Mainboard ist es denn?

 

Edited October 20, 20241 yr by DataCollector

9 hours ago, RWEK said:

ich habe mir nach vielem Lesen hier in den Hardwareempfehlungen einen Server zusammengeschraubt

und hierher in den Hardware Bereich verschoben, passt wohl besser ...

5 hours ago, DataCollector said:

 

Beachte, daß die Schreibgeschwindigkeit in einem solchen Array bei nur 33-50% dessen liegt, was die Parity selber an der Stelle schreiben könnte.

 

Wenn Du halbwegs kleine Bilder einzeln bearbeitest und dann überschreibst, wird es (wegen dem RamCache) nicht großartig bremsen. Solltest Du aber große Mengen an Bildern oder gar größere GB Mengen an Videos im Array editieren und dann überschreiben wollen, wirst Du schon merken, daß es bremst.

Ich verwende mit Absicht den Begriff überschreiben, weil mir aufgefallen ist, daß Überschreiben einer Datei, welche schon im Array ist anscheinend wirklich auf dem Array stattfindet, anstatt im vorgeschalteten Pool/Cache/SSD.

Solltest Du hingegen Deine Dateien nach dem editieren einfach nur als extra Datei speichern wollen, landet die in dem vorgeschalteten Pool/Cache/SSD und damit erreicht man die native Schreibgeschwindigkeit der dort ansässigen SSD(s).

 

Die Lesegeschwindigkeit vom Array ist auch "nur" so hoch, wie die einer einzelnen Festplatte im Array. Gerade bei dem Lesen großer Videodateien ist das nicht unbedingt rasend flott (wenn man NVMe SSD gewohnt ist).

 

Edit: Wobei auch das Auflisten einer großen Menge an Bildern per SMB (von einer Festplatte/Array) etwas Zeit in Anspruch nimmt. Deshalb verschiebe ich die (große Mengen an) Bilder (n bevor ich daran in großem Umfang arbeite) auf eine SSD, was das Bearbeiten dann doch erheblich beschleunigt (lesend, wie auch schreibend).

 

 

Technisch: ja. Ob es Dir von der Geschwindigkeit her reicht (für Editing von großen Videos) mußt Du selber prüfen.

 

 

1. Es ist unabhängig wo Du NVMe SSDs einsetzt. Wenn Dein Mainboard das unterstützen würde (ich schreibe mit Absicht "würde", weil es das anscheinend nicht kann [siehe unten]), könnten NVMe SSD auch in Bifurcation Steckplätzen genau so gut laufen.

2. Ob Du Raid0 brauchst mußt Du entscheiden. Aber selbst 10GbLan ist mit seinen rund 1GByte/s Schreiubgeschwindigkeit so langsam, daß sich eine gute NVMe schnarchend noch etwas aufs Ohr legen kann. Raid0 für Geschwindigkeit macht keinen Sinn, wenn man per (maximal) 10GbLan darauf zugreift.

Raid0 macht nru Sinn, wenn man die Kapaziotät erhöhen will (aktuell sind NVMe SSD mit maximal 4TB erschwinglich/preiswert zu haben. Wnen man einen 8TB flotten NVMe Cache aufbauen will, sind dann 2x 4TB im Raid0 die Lösung ... mit natürlich erhöhter Ausfallgefahr).

 

 

Das ist machbar. Das Lesen und Überschreiben im Array wird dadurch aber auch nicht schneller. (280 bis 80MByte/s, je nach Operation)

Nur die SSD Arbeiten werden dann mit maximal 1GByte/s fluppen.

 

 

Nein, sieht mir nicht so aus, als wenn das Bifurcation ist. Anscheinend hast Du ein paar PCIe Slots, welche eben elektrisch nur x4 angebunden sind und diese kannst Du dort einstellen.

Welches Mainboard ist es denn?

 

 

Es ist ein Asus WS C246 Pro. Es hat 2 NVME Slots. Die habe ich jeweils mit 1 TB bestückt, da ich die noch hatte. Leider bin ich kein Hardware Experte. Im Handbuch steht noch Folgendes:

 

Das verstehe ich leider nicht. Ich habe 8 SATA Ports, die ich auch in Zukunft einplane. Hindert mich dieser Hinweis in der Nutzung der SATAs oder in der Nutzung einer NVME im Cache? 

 

Nach eurem Anraten wäre es ja sinnvoll, die beiden NVMEs als Cache im RAID1 zu nutzen und von dort dann in Array zu schieben.

Die Bearbeitung meiner 4K Videos dann lieber auf der NVME auf meinem Arbeitsrechner und dann aufs Array schieben. Die Bearbeitung auf dem Array ist nicht Top Prio. Wichtiger ist ein sicheres Datengrab. Er muss also auch nicht 24/7 laufen.

 

5 hours ago, alturismo said:

entweder sehe ich es nicht, aber die Benennung des Mainboards könnte hilfreich sein ... steht aber normal im Handbuch

 

wie du dann ran gehst ... musst du entscheiden, was du für was nutzt ...

 

11 minutes ago, RWEK said:

Es ist ein Asus WS C246 Pro.

 

Das Mainboard sollte mit der pasenden CPU bestimmt Bifurcation beherrschen. aber nicht auf dem PCIe_4 Slot. Wenn, dann nur auf den CPU nächsten 1 oder 2 Slots.

 

11 minutes ago, RWEK said:

Es hat 2 NVME Slots. Die habe ich jeweils mit 1 TB bestückt, da ich die noch hatte. Leider bin ich kein Hardware Experte. Im Handbuch steht noch Folgendes:

Das verstehe ich leider nicht. Ich habe 8 SATA Ports, die ich auch in Zukunft einplane. Hindert mich dieser Hinweis in der Nutzung der SATAs oder in der Nutzung einer NVME im Cache? 

Nein.

 

Der benannte M.2 Slot ist gleichzeitig mit PCIe 3.0 x2 und SATA verbunden.

Wenn man dort eine SATA M.2 SSD einbaut dann wird der normale SATA Port abgeschaltet, weil die SATA-Datenleitung ja am M.2 benötigt wird.

Sollte man hingegen eine M.2 NVMe (PCIe) SSD einbauen, bleibt der normale SATA port aktiv, weil die SAT Datenleitung am M.2 dort nicht benötigt wird.

 

Beachte: diese fragliche M.2 Port ist eben wirklich mit PCIe 3.0 x2 verbunden, also maximal nur halb so schnell, wie ein normaler M.2 PCIe 3.0 x4 Port liefern könnte.

Das ist aber nur akademisch, da viele SSD sowieso Ihre maximale Geschwindigkeit nur bei sehr kurzzeitigen Operationen schaffen.

 

 

11 minutes ago, RWEK said:

Nach eurem Anraten wäre es ja sinnvoll, die beiden NVMEs als Cache im RAID1 zu nutzen und von dort dann in Array zu schieben.

 

ICH rate nicht unbedingt zu Raid1 im Pool/Cache. Aber es gibt Leute, welche das einer Backuplösung gegenüber bevorzugen.

 

11 minutes ago, RWEK said:

Die Bearbeitung meiner 4K Videos dann lieber auf der NVME auf meinem Arbeitsrechner und dann aufs Array schieben.

 

Bearbeitung meiner 4K Videos: lokal auf dem PC oder auf einer NVMe im unraid. Direkt auf dem Array kann das recht langsam werden.

 

Super, 

 

danke für die schnelle Antwort!

 

Dann lass ich es erstmal so wie ich es habe. Die NVMEs als Cache da dort die Daten vermutlich nicht lange bleiben. Und da es auch nicht die schnellsten WDs sind passt dass auch gut zu deiner Erklärung mit den 2 Lanes.

 

Ohne Festplatten liefert der Server auch ganz ordentliche Verbrauchswerte. Mit der Fritzdose 12 W. Das passt auch für mich.

 

Danke für die Hilfe!

 

Grüße

RWEK

14 minutes ago, RWEK said:

danke für die schnelle Antwort!

 

Habe gerade Langeweile und warte, daß mein Mittagessen warm wird 😄

 

14 minutes ago, RWEK said:

Und da es auch nicht die schnellsten WDs sind passt dass auch gut zu deiner Erklärung mit den 2 Lanes.

 

Die eine NVMe sitzt in dem besagten M.2 Platz und ist eben durch PCIe 3.0 x2 etwas im Maximum limitiert.

Der andere M.2 Platz soll aber x4 beherrschen.

Sofern also beide NVMe SSD doch etwas schneller sein "könnten" bremst die x2 die x4 etwas runter.

Aber selbst die nominell möglichen 16GBit/s = 2GByte/s (eines PCIe 3.0 x2 Anschlusses) sind immer noch ziemlich Flott, wenn man es mit einem normalen 1 oder 2,5 GbLan oder einer Festplatte vergleicht.

 

14 minutes ago, RWEK said:

Ohne Festplatten liefert der Server auch ganz ordentliche Verbrauchswerte. Mit der Fritzdose 12 W. Das passt auch für mich.

 

WD NVMe SSD: Einige Modelle sind dadurch aufgefallen, daß se niedrige C-Staes verhindern und somit das gesamte System mehr Enerighe aufnehmen kann, als eigentlich idle notwendig.

 

Wenn eine davon mal ausfällt (dahin zielt die Frage nach Raid1 ja), dann vielleicht eine andere SSD nehmen (und bitte keine Intenso).

 

Edited October 20, 20241 yr by DataCollector

6 hours ago, DataCollector said:

ch verwende mit Absicht den Begriff überschreiben, weil mir aufgefallen ist, daß Überschreiben einer Datei, welche schon im Array ist anscheinend wirklich auf dem Array stattfindet, anstatt im vorgeschalteten Pool/Cache/SSD.

jaja, wer Speed will, löscht die alte Datei vorher von Hand weg und wartet ein paar Sekunden...

 

Hehe,

 

dann guten Appe!

 

Das mit den WDs habe ich auch schon gelesen. Die Samsungs sollen recht ordentlich laufen. Vllt werden das nochmal welche, die ich ins Auge fasse.

 

Danke und Grüße

RWEK

6 minutes ago, RWEK said:

Die Samsungs sollen recht ordentlich laufen. Vllt werden das nochmal welche, die ich ins Auge fasse.

Aber dann bitte die -PRO! Ein "Cache" hilft nur, wenn er auch eine gesunde Dauerschreibleistung bietet. Die billigen brechen nach ein paar Mb brutal ein und das Ganze kann durchaus langsamer werden, als ohne Cache.

 

Ob man da wirklich 2 von braucht und durch RAID 1 die Schreibleistung halbiert, erschließt sich mir nicht. Eine "ordentliche" NVMe SSD hält schon ein paar Jahre störungsfrei durch und wenn man den Mover öfters anwirft, ist der Cache eigentlich immer überschaubar voll. (Ich habe die System Shares Appdata & Co auf andere SSDs ausgelagert).

 

Ach ja, Deine "zwei NVMe" Plätze sind eh nicht gleich bestückbar, einer davon will nur SATA oder Intel Optane Riegel haben mit nur 2 Lanes, der andere "normale NVMes" mit 4 Lanes

Und Bifurbication gibts auch nicht, zumindest nicht 4x4x4x4.

Die 16er Slots sind:

1: 16X oder 8x/8x

2: 8x

3: 4x

4: 4x oder Sata (wie auf dem Screenshot von Dir)

und die beiden pisseligen 1x Slots

 

Also wenn Du was mit "vielen NVMEs" machen willst, brauchst Du ne teure Karte mit eigenem Switch.

 

Edited October 20, 20241 yr by MAM59

On 10/20/2024 at 1:59 PM, MAM59 said:

Aber dann bitte die -PRO! Ein "Cache" hilft nur, wenn er auch eine gesunde Dauerschreibleistung bietet. Die billigen brechen nach ein paar Mb brutal ein und das Ganze kann durchaus langsamer werden, als ohne Cache.

 

Ob man da wirklich 2 von braucht und durch RAID 1 die Schreibleistung halbiert, erschließt sich mir nicht. Eine "ordentliche" NVMe SSD hält schon ein paar Jahre störungsfrei durch und wenn man den Mover öfters anwirft, ist der Cache eigentlich immer überschaubar voll. (Ich habe die System Shares Appdata & Co auf andere SSDs ausgelagert).

 

Ach ja, Deine "zwei NVMe" Plätze sind eh nicht gleich bestückbar, einer davon will nur SATA oder Intel Optane Riegel haben mit nur 2 Lanes, der andere "normale NVMes" mit 4 Lanes

Und Bifurbication gibts auch nicht, zumindest nicht 4x4x4x4.

Die 16er Slots sind:

1: 16X oder 8x/8x

2: 8x

3: 4x

4: 4x oder Sata (wie auf dem Screenshot von Dir)

und die beiden pisseligen 1x Slots

 

Also wenn Du was mit "vielen NVMEs" machen willst, brauchst Du ne teure Karte mit eigenem Switch.

 

Aloha @MAM59,

 

danke für deinen Input! Das bringt mich ja nochmal ins Grübeln.

 

Also dann wäre es ja so:

 

NVME mit 2 Lanes: System Shares, Appdata und Co. Ist das dann ein eigener Pool?

NVME mit 4 Lanes: Samsung Pro so groß wie möglich als Cache Pool ohne irgendwelches RAID.

PCIe 16x: frei

PCIe 8x: frei

PCIe 4x: 10 GBit Karte

PCIe 4x: Sata Controller ASM11** für die Zukunft

 

DIese Switchkarten sehen eher wenig vertrauenserweckend aus? Ich hab da was von https://www.delock.de/produkt/89044/merkmale.html gefunden. Gibt es da noch was Solides?

Gibt es auch Adapterkarten, die eine NVME in den 16x oder 8x erlauben? Oder müssen es immer 4 Lanes sein?

 

Grüße

RWEK

 

 

28 minutes ago, RWEK said:

danke für deinen Input! Das bringt mich ja nochmal ins Grübeln.

Also dann wäre es ja so:

NVME mit 2 Lanes: System Shares, Appdata und Co. Ist das dann ein eigener Pool?

NVME mit 4 Lanes: Samsung Pro so groß wie möglich als Cache Pool ohne irgendwelches RAID.

 

Alternative: Ich finde die Patriot Viper VP4300L 4TB, Adata Legend 960  4TB und Lexar NM790TB preislich günstiger als deine Samsung 990 Pro und finde sie dennoch als wirklich flott. Die Lexar und AData werden gerne warm, weshalb da ein Kühlkörper sehr zu empfehlen ist.

 

28 minutes ago, RWEK said:

PCIe 16x: frei

Bei Bedarf kann man dort problemlos eine PCIe x4 Adapterkarte für eine weitere NVMe SSD einbauen. (Preislich unter 10 Euro)

 

28 minutes ago, RWEK said:

PCIe 8x: frei

Bei Bedarf kann man auch dort problemlos eine PCIe x4 Adapterkarte für eine weitere NVMe SSD einbauen. (Preislich unter 10 Euro)

 

28 minutes ago, RWEK said:

PCIe 4x: 10 GBit Karte

PCIe 4x: Sata Controller ASM11** für die Zukunft

 

Man könnte auch einen ASM1166 (M.2 Bauform) Kärtchen in den x2 M.2 stecken und hätte diseen PCIe Slot dann auch für eine x4 NVMe frei.

 

28 minutes ago, RWEK said:

DIese Switchkarten sehen eher wenig vertrauenserweckend aus?

 

Zumindest sind PCIe Switchkarten doch recht energieintensiv und teuer (2xx Euro).

Wenn Du die oben gemachten Vorschläge umsetzt kannst Du in Summe auch 4 NVMe SSD mit je PCIe 3.0 x4 ansprechen, hast die Möglichkeit Deine 10GbLan Karte (PCIe 3.0 x4) einzusetzen und ein ASM1166 mit seinen elktrischen x2 ist auch noch drin.

 

PCIe Switchkarten sind eine tolle Sache, aber wenn man es durch simples umsortieren der Steckplätze vermeiden kann, ist das irgendwie besser.

 

28 minutes ago, RWEK said:

Ich hab da was von https://www.delock.de/produkt/89044/merkmale.html gefunden. Gibt es da noch was Solides?

 

Ich habe eine https://www.amazon.de/gp/product/B083SRX7H3  unter Windows mit 4x Samsung 970 Evo 2TB in Betrieb.

Eine weitere PCIe Switchkarte ähnlicher Bauweise hatte ich mal kurz in einem unraid, die ist aber wieder rausgeflogen, weil ich es nicht wirklich brauche.

 

28 minutes ago, RWEK said:

Gibt es auch Adapterkarten, die eine NVME in den 16x oder 8x erlauben? Oder müssen es immer 4 Lanes sein?

 

Siehe oben: x16 (elektrisch x8) für bis zu 4x NVMe M.2 Steckplätze.

Aber wie gesagt: solange Dir die 4 möglichen NVme SSD (4x4TB = 16 TB NVMe Speicherplatz!) reichen, würde ich keien PCie Switchkare nehmen, sondern einfach die Slots (sie oben) umsortierten. Billiger und weniger Strombedarf!.

 

 

9 minutes ago, DataCollector said:

 

Alternative: Ich finde die Patriot Viper VP4300L 4TB, Adata Legend 960  4TB und Lexar NM790TB preislich günstiger als deine Samsung 990 Pro und finde sie dennoch als wirklich flott. Die Lexar und AData werden gerne warm, weshalb da ein Kühlkörper sehr zu empfehlen ist.

 

Bei Bedarf kann man dort problemlos eine PCIe x4 Adapterkarte für eine weitere NVMe SSD einbauen. (Preislich unter 10 Euro)

 

Bei Bedarf kann man auch dort problemlos eine PCIe x4 Adapterkarte für eine weitere NVMe SSD einbauen. (Preislich unter 10 Euro)

 

 

Man könnte auch einen ASM1166 (M.2 Bauform) Kärtchen in den x2 M.2 stecken und hätte diseen PCIe Slot dann auch für eine x4 NVMe frei.

 

 

Deine NVME Alternativen schau ich mir an. Günstiger ist immer gut. Ich meine nur im Forum gelesen zu haben, dass die Samsungs immer gut weggekommen sind.

Aber ich dachte bei den PCIe Adapertkarten müsste das Board die 16 Lanes aufsplitten können? Ich habe eben im BIOS gesucht aber nichts gefunden. Daher wird mein Board das wohl nicht splitten können. Dann würde doch per Slot nur eine NVME erkannt werden, oder?

 

Ja die ASM1166 M.2 Kärtchen hatte ich bei deinen Servern schon gesehen. Stimmt auch eine gute Idee! Harrr es wird nicht einfacher

 

Grüße

RWEK

2 hours ago, RWEK said:

Deine NVME Alternativen schau ich mir an. Günstiger ist immer gut. Ich meine nur im Forum gelesen zu haben, dass die Samsungs immer gut weggekommen sind.

 

Ja, das sind sie, aber das bedeutet nicht, daß andere SSDs nicht auch gut sein können.

Ich habe hier mal ein paar der SSD energetisch betrachtet:

https://forums.unraid.net/topic/156160-gigabyte-b760m-ds3h-ddr4-verschiedene-messungen-werte/

Alle 3 Modelle haben bei mir auch gute Dauerschreibfestigkeit gezeigt.

 

2 hours ago, RWEK said:

Aber ich dachte bei den PCIe Adapertkarten müsste das Board die 16 Lanes aufsplitten können?

 

Vielleicht liegt hier ein Mißverständnis vor.

1. Einige Mainboard/CPU Kombinationen beherrschen Bifurcation. Das bedeutet, daß ein PCIe seine Lanes in kleinere Häppchen aufteilen kann.

   a) Beispielsweise gibt es Mainboards, welche einen x16 Slot auf x8x8 oder x8x4x4 oder sogar in x4x4x4x4 aufteilen können und man somit einen Slot für mehrere Geräte benutzen kann.

   b) Es gibt Mainboards, welche auf diesem Wege die x16 Lanes per x8x8 auf 2 PCIe Slots (welche meist nahe nebeneinander sind) aufteilen könnnen. Das dürfte bei Deinem Mainboard der Fall sein.

2. Dann gibt es Mainboards, welceh PCIe Slots nicht aufteilen können. Wenn man dann einen PCIe Slot für mehrere Gerät ebenutzen will, braucht man einen PCIe Switch. Das ist diese teure und eneergetisch aufwändige Zusatzsteckkarte.

 

Wenn Du in Deinem Fall aber mit bis zu 4 NVMe SSD zu je PCIe x4 auskommen kannst, brauchst Du diese Karte nicht. Natürlich kannst Du dann pro PCIe Port nur eine NVMe SSD einsetzen, aber das sind dann eben schon mal mit dem M.2    4 NVMe SSD. Willst Du wirklich mehr nutzen?

 

M.2 PCIe 3.0 x2: ASM1166 in M.2 Bauform (ggf. erst zukünftig einsetzen)

M.2 PCIe 3.0 x4: eine NVMe SSD (Nummer 1)

PCIe 16x: per ca. 10 Euro Adapterkarte von PCIe 3.0 x4 auf M.2: eine weitere NVMe SSD (Nummer 2)

PCIe 8x: per weiterer ca. 10 Euro Adapterkarte von PCIe 3.0 x4 auf M.2: noch eine NVMe SSD (Nummer 3)

PCIe 4x: 10 GBit Karte

PCIe 4x: per noch einer ca. 10 Euro Adapterkarte von PCIe 3.0 x4 auf M.2: die letzte NVMe SSD (Nummer 4)

 

Alles ohne eine teure PCIe Switchkarte und Deine 10GbLan und ASM1166 sind auch möglich.

Solltest Du dann irgendwann 3 weitere NVMe SSD einbauen wollen, erst dann kommt die von mir verlinkte (oder eine bauähnliche) PCIe Switchklarte für 4 M.2 Slots ins Spiel.

Vorher brauchst Du diese PCIe Switchkarte nicht.

 

2 hours ago, RWEK said:

Ich habe eben im BIOS gesucht aber nichts gefunden. Daher wird mein Board das wohl nicht splitten können.

 

Soweit ich das Handbuch richtig verstanden habe ist der zweite PCIe Slot (elektrisch x8) der Bifurcation Split des ersten x16 Slots. Wenn man beide bestück splittet das Mainboard die 16 Lanes selbstständig auf, so daß beide PCIe Slots je nur x8 bekommen.

 

2 hours ago, RWEK said:

Dann würde doch per Slot nur eine NVME erkannt werden, oder?

 

Korrekt, aber brauchst Du wirklich mehr als 4 NVMe SSD im gesamten Mainboard?

 

9 hours ago, RWEK said:

9 hours ago, RWEK said:

Gibt es auch Adapterkarten, die eine NVME in den 16x oder 8x erlauben? Oder müssen es immer 4 Lanes sein?

NVME mit 2 Lanes: System Shares, Appdata und Co. Ist das dann ein eigener Pool?

Jep! Die sollte dann aber recht groß sein, da VMs & Co reichlich Platz belegen können

9 hours ago, RWEK said:

NVME mit 4 Lanes: Samsung Pro so groß wie möglich als Cache Pool ohne irgendwelches RAID.

Soooviel Cache braucht man nicht, er wird ja etwas überbewertet, denn UNraid benutzt ihn nur beim Schreiben einer NEUEN Datei. Hat der Mover einmal die Daten ins Array verschoben, fällt die Lesegeschwindigkeit zurück auf "Drive Speed" (Snief, leider, seit fast 2 Jahren versuche ich Limetech zu überzeugen, einen Read Cache hinzuzufügen, hab zwar massig Likes inzwischen, aber von denen hat sich noch niemand geäussert, SNIIIEF).

Also mit 1 Tb wirds Du wohl hinkommen, ich hab hier nur 512Mb, und bin auch noch nie an die Grenze gekommen. Füllt sich nur, wenn lange Zeit nicht ins Array überspielt werden kann (z.B. 25 Stunden Parity Check jeden Monat).

9 hours ago, RWEK said:

Gibt es auch Adapterkarten, die eine NVME in den 16x oder 8x erlauben? Oder müssen es immer 4 Lanes sein?

Da passen immer die 4x Karten rein. Also die billigen 10€ Dinger für jeweils EINE NVMe.

Insofern kannst Du bei Deinem Aufbau noch 2 davon hinzupacken bevor man über "teure" Lösungen nachgrübeln muß.

 

Allerdings wirst Du wohl die LAN Karte in den 8x (oder 16x) Slot packen müssen, da die typischen Serverkarten (Mellanox, Intel) immer 8x benötigen. Sollten mal neue rausbringen, bei PCIe 5.0 reicht ja schon eine Lane dafür...

(Ach ja, nimm ja nicht sonne billige 10G Karte von ASUS oder Aquatic, die machen einen Server nur traurig weil sie nicht genug Speicher und Eigenintelligenz mitbringen.)

 

Natürlich sind auch andere Firmen für SSDs & Co möglich. Aber ich war anfangs mal "das gebrannte Kind" und hab lange gesucht und rumgetauscht, bis ich welche hatte, die nicht nach ein paar Gigabyte die Frühstückspause erzwangen. Das mag heute besser geworden sein, aber, keine Experimente mehr.

Und "energetische Betrachtungen" sind auch nicht so in meinem Focus, bei mir kommt der Strom vom Dach, da macht es nur einen marginalen Unterschied, wieviel Überschuß ich erwirtschafte. Von den 8ct/kWh kann niemand ne Currywurst kaufen, da kann ich sie auch an den Rechner verfüttern 🙂

 

Edited October 22, 20241 yr by MAM59

Da ich meine Kiste auch für "Video Editing" nehme, haben wir wohl gleiche Anforderungen, deshalb erklär ich mal kurz den Aufbau hier als Vorschlag:

 

* NVME 1 für Home Verzeichnisse (private Daten / Bilder usw)

* NVME 2 für Systemshares (appdata, System, ISO usw)

* NVME 3 für VMs (+"Spool", s.u.)

* NVME 4 bis 6 derzeit frei (jaja, ich hab ein Mobo mit richtiger Bifurbication und da war auch eine 4* NVME Karte gleich mit im Karton. Davon sind aber nur 3 Ports nutzbar wegen GPU im Prozessor)

* Array mit 4*18Tb + Parity als Datenklo ("Endablage") für Filme und alles andere.

* 10G Lan mit Mellanox 3 SFP+ (und LWL, da ich Twisted Pair ab 10G nicht mehr vertraue)

* 2 * 4x SATA Controller jeweils im 1x Slot. Mit den 8 vom MoBo gibts also maximal 16 SATA Einschübe im 3U Gehäuse. Sind aber eben derzeit nur 5 Platten drin ("->Ausbaufähig" 🙂 )

 

TV Aufnahmen (oder Videos aus "anderen Quellen") landen im "Spool" Verzeichnis (Achtung! "Exklusiver Share" einstellen, volle 10G Geschwindigkeit!!!). Von dort kann ich sie auf meinem Windows PC schneiden und per Handbrake eindampfen. Die fertigen Filme verschiebe ich aufs Array (da sie neu sind, landen sie im Schreib"Cache", halbe 10G Geschwindigkeit, da nicht exklusiv). Nun lasse ich sie von Windows aus scrapen (also Metadaten aus dem Internet holen, Bilder laden, alles schön umbenennen usw.). Nach ein paar Stunden verschiebt sie der Mover dann auf ihre entgültige Parkposition (lahm, aber davon merkt man ja nix mehr).

 

Update: bevor jemand meint, die NVMe Daten wären aber "unsicher" gelagert, es gibt noch einen zweiten Server mit gleicher Plattenausstattung (na ja, statt der NVMes hat er eine normale 18Tb Platte mehr), der wacht jede Nacht auf, kopiert alle Änderungen des Hauptservers runter und schaltet sich wieder ab. Maximaler Datenverlust wären also weniger als 24h.

Edited October 22, 20241 yr by MAM59

On 10/22/2024 at 7:22 AM, MAM59 said:

Da ich meine Kiste auch für "Video Editing" nehme, haben wir wohl gleiche Anforderungen, deshalb erklär ich mal kurz den Aufbau hier als Vorschlag:

 

* NVME 1 für Home Verzeichnisse (private Daten / Bilder usw)

* NVME 2 für Systemshares (appdata, System, ISO usw)

* NVME 3 für VMs (+"Spool", s.u.)

* NVME 4 bis 6 derzeit frei (jaja, ich hab ein Mobo mit richtiger Bifurbication und da war auch eine 4* NVME Karte gleich mit im Karton. Davon sind aber nur 3 Ports nutzbar wegen GPU im Prozessor)

* Array mit 4*18Tb + Parity als Datenklo ("Endablage") für Filme und alles andere.

* 10G Lan mit Mellanox 3 SFP+ (und LWL, da ich Twisted Pair ab 10G nicht mehr vertraue)

* 2 * 4x SATA Controller jeweils im 1x Slot. Mit den 8 vom MoBo gibts also maximal 16 SATA Einschübe im 3U Gehäuse. Sind aber eben derzeit nur 5 Platten drin ("->Ausbaufähig" 🙂 )

 

TV Aufnahmen (oder Videos aus "anderen Quellen") landen im "Spool" Verzeichnis (Achtung! "Exklusiver Share" einstellen, volle 10G Geschwindigkeit!!!). Von dort kann ich sie auf meinem Windows PC schneiden und per Handbrake eindampfen. Die fertigen Filme verschiebe ich aufs Array (da sie neu sind, landen sie im Schreib"Cache", halbe 10G Geschwindigkeit, da nicht exklusiv). Nun lasse ich sie von Windows aus scrapen (also Metadaten aus dem Internet holen, Bilder laden, alles schön umbenennen usw.). Nach ein paar Stunden verschiebt sie der Mover dann auf ihre entgültige Parkposition (lahm, aber davon merkt man ja nix mehr).

 

Update: bevor jemand meint, die NVMe Daten wären aber "unsicher" gelagert, es gibt noch einen zweiten Server mit gleicher Plattenausstattung (na ja, statt der NVMes hat er eine normale 18Tb Platte mehr), der wacht jede Nacht auf, kopiert alle Änderungen des Hauptservers runter und schaltet sich wieder ab. Maximaler Datenverlust wären also weniger als 24h.

Oh mann,

 

vielen Dank für die super Tipps @DataCollector @MAM59! Das sind genau die Dinge, über die ich mir den Kopf zerbreche. Wenn man es macht soll es ja auch gut funktionieren.

Auf jeden Fall sind eure Antworten Gold wert. Der Hinweis mit dem 2 Server kommt auch wie gelegen. Bevor diese Lizenzumstellung war habe ich noch schnell eine Basic für einen Rechner gekauft, den ich noch rumzustehen hatte. Meine Idee war ein entferntes Backup im Haus meiner Eltern. Allerdings bin ich da noch nicht so weit gekommen. Habe diesen Beitrag im Netz zu sowas gefunden. https://unraid.net/de/blog/unraid-server-to-server-backups-with-rsync-and-wireguard Und dann habe ich @DataCollectors Idee mit der Fritz Steckdose geklaut um den Rechner z.B. aus der Ferne zu starten. Weiter bin ich aber noch nicht gekommen.

 

Als Netzwerkkarte habe ich die hier geordert: https://geizhals.de/zyxel-xgn100f-10g-lan-adapter-xgn100f-zz0101f-a2679094.html?hloc=at&hloc=de . Ob das was ist weiß ich allerdings nicht.

 

Jetzt die Frage zu deinen NVMEs. Momentan habe ich eine NVME in meinem Schnittrechner worauf das Projekt kommt und von dort schneide ich auch. Wenn ich diese NVME jetzt in den Server verlagere, müsste ich die Daten aus dem Array wieder auf die Schnitt NVME legen, dort editieren und das fertige Projekt wieder aufs Array schieben.

 

Wie sähe das denn aus in UNRAIDSPRECH. Ich hab mir mal das Schaubild geklaut:

 

Ware das Prefer?

 

Und sind deine Anderen NVMEs eigene Pools aus einer NVME? Oder hast du die im Verbund?

 

Deine 

1.NVME = Yes?

2.NVME= Only?

3.NVME=Yes

 

Grüße

Steffen

Oh ich sehe gerade die Netzwerkkarte gibts nicht mehr im Shop. Dann würde ich die hier gebraucht kaufen:

https://www.ebay.de/itm/142853809836?_skw=Mellanox+ConnectX-3&itmmeta=01JAWX6XCWMV8NVT2PNHN7RAXM&hash=item2142c026ac:g:SMcAAOSwyK9lOlwf&itmprp=enc%3AAQAJAAAA8HoV3kP08IDx%2BKZ9MfhVJKlNFZggw4Axw%2FGytv%2FwaAVhGOnzqKwyv606lUg%2BkafDOhR17KykZo87%2Bw2AmmDI51KwuhvJWZqy9bBH%2BjRMIhdz1wCtWvJpgRds0a8UTGrNcnAss6g9MhIAW%2BuHUcTwSSomZIBlIbkLAQsC%2BsTy7v%2BS7WHFnNqRLAkEdLt5eKzsbjPOUAtTJKnI4hbvccmMTYpS4rbV4IVCslAi50uhUjsLMgtW%2B6Zfogeo4%2BAW9O1pyfxIDXsn0kqQAIjF9vn5eJ6vFe9SeCq%2BoaV1%2FWO7XLp5%2Fh%2FJSeY%2Be1BQH6ugNGJpnQ%3D%3D|tkp%3ABFBMxtabnddk

1 hour ago, RWEK said:

Jetzt die Frage zu deinen NVMEs. Momentan habe ich eine NVME in meinem Schnittrechner worauf das Projekt kommt und von dort schneide ich auch. Wenn ich diese NVME jetzt in den Server verlagere, müsste ich die Daten aus dem Array wieder auf die Schnitt NVME legen, dort editieren und das fertige Projekt wieder aufs Array schieben.

Also mein Schnittrechner hat natürlich eigenen NVMe. Aber ich spar mir den initialen Transfer und schneide direkt vom Aufnahmeverzeichnis auf UNRAID (NVME, eigener Pool).

Das Schnittergebnis ist dann erstmal lokal auf meinem PC, dort vergnügt sich dann Handbrake mit dem Schnitt. Ausgabeverzeichnis für Handbrake ist wieder ein Pool von UNRAID.

Und von dort verschiebe ich die Datei dann in den "korrekten" Ordner der Freigabe "Film" oder "Serien" (die sind auf dem Array, aber mit vorgeschaltetem Cache in Deiner Grafik genannt "Yes". (Ich könnte auch die Filmausgabe lokal machen und dann von da in die Freigaben Film und Serien verschieben, macht keinen Unterschied).

 

Meine Fritz! Steckdose kommt von Shelly 🙂 Ich bin kein Fan von Fritzboxen.

 

Deine erste Netzwerkkartenwahl war nicht so prickelnd, sei froh, dass sie ausverkauft war. Die zweite ist korrekt, vor allen Dingen ist es die Mellanox mit PCIeX4, es gibt auch ältere Versionen mit 8 Lanes, da findet man schlecht freie Slots für... 4 ist besser.

Und der Shop ist auch gut, schnell und verlässlich. Aber warum über Ebay ? ? ? dem Laden traue ich nicht. Kauf direkt in dem Shop oder über Amazon (derselbe Shop, manchmal unterschiedliche Preise)

guckstdu: https://www.haehnlein-it.com/netzwerktechnik/netzwerkkarten/113/10g-kit-2x-mellanox-connectx-3-mcx311a-xcat-pcie-x4-10gbe-nic-sfp-inkl.-3m-cisco-kabel

 

 

Ah danke!

 

Das hilft mir schon mal weiter. Dann muss ich mal ein bisschen mit Pools und den Shares rumfummeln. Ich bin hier blutiger Anfänger. Von daher bin ich immer für Tipps dankbar.

Hatte gar nicht gesehen, dass die auch einen eigenen Shop haben. Ich habs dann wieder bequem gemacht.

 

Ich bin mal gespannt, wie das funzt.

je nachdem was man macht, hier mal ein anderer (mein persönlicher workflow) Ansatz

 

bei mir findet alles auf dem Server statt ... Aufnahme, Schnitt, crop und reencode ...

 

1/ Aufnahmen werden als .ts gespeichert

2/ ich schneide auf dem Server per web app (avidemux), nur auf key frames um einfach in mkv remuxen zu können

3/ Filebot erkennt die mkv und renamed, verschiebt instant in den passenden Medienordner

4/ Filebot sagt den Medienservern (Plex, Emby) das eine neue Datei da ist zum einlesen

5/ täglich läuft mein ffmpeg was die neue/n Videos in mein Format cropped und reencoded (hevc)

>> encode output landet im RAM (kann auch ne 2. disk sein)

>> wenn fertig, vorhandene Original Datei wird verschoben und kommt in einen "temp" Bereich (7 Tage bis delete)

>> encoded File übernimmt den Platz

6/ Danach erneut kurze Meldung an die Medienserver zum scannen da "updated" File

 

das wäre ein Workflow wo alles auf dem Server passiert ohne die Datei/en hin und her schieben zu müssen ...

 

Was mache ich "aktiv" selbst dabei

 

/ Aufnahmen definieren (einmalig oder Serie, TVHeadend)

/ mit avidemux schneiden (key frames) und speichern (remux zu mkv) > Dauer ~ 20 Sek bis 2 Min, je nach Größe und Werbeblöcke ...

/ Rest ist automatisiert ...

 

in meinem Fall folgende Apps auf dem Server involviert

 

/ TVHeadend (TV Backend ...)

/ Avidemux (Schnittprogramm)

/ Filebot zum rename und move (instant, kein copy & del)

/ ffmpeg (ich "missbrauche" dafür den ffmpeg aus dem emby Docker ...)

/ scripts welches das avidemux Einlesen automatisiert durchführen, Medienserver Api Calls durchführen, Encoding nach meinen Vorstellungen, ... usw usw ...

 

mir ging es darum so wenig wie möglich selbst machen zu müssen

 

aber da ich jetzt dein Videoschnitt Vorhaben nicht einschätzen kann ... nur als Denkanstoß gedacht

Oha,

 

das ist ja schon ne ganz andere Hausnummer. Das klingt alles sehr durchdacht. Aber bis ich mir solche Workflows stricken kann, muss wohl noch einiges passieren  .

Der Filebot klingt spannend. Den schaue ich mir an!

 

Tendenziell sind meine Videos eher Homevideos von meiner Family. Die würde ich nur in Davinci in den richtigen Farbraum bringen etwas zusammendampfen und dann für die Erinnerungen lagern.

 

Aber eure Tipps haben mir auf jeden Fall weiter geholfen. Vielen Dank!

 

Grüße

RWEK