2x NVMe Cache - Board+HBA oder NVMe PCie Karte?

[Janne]

Hallo zusammen,

 

ich habe gerade mein erstes Unraid System aufgesetzt und bin soweit begeistert - aber auch dementsprechend unerfahren damit. 

 

Nun zu meiner Frage: Mein System läuft auf einem Mainboard mit 6 SATA-Ports, die alle belegt sind (3 HDD im Array + 2 HDD Parity + 1 SSD als unassigned disk für downloads+.par-Rep+entpacken). Dazu dann eine 250GB NVMe als Cache. Es läuft soweit alles prima, nur ist mir gestern ein ziemlich dämlicher Anfängerfehler unterlaufen, der mich zum nachdenken gebracht hat. Meine Shares laufen grundsätzlich nicht über den Cache, sondern direkt auf's Array, allerdings habe ich einen Share mit vielen kleinen Dateien (Fotos, Videos), so dass ich gestern dachte, es wäre vielleicht sinnvoll hier über den Cache ins Array zu schieben (bzw. schieben zu lassen), wenn ich Daten von draußen hinzufüge. Es kam wie es nicht hätte kommen sollen und ich habe das ganze auf "Prefer" gesetzt. Nachts lief der Cache dank Mover dann randvoll und die Docker wie emby, NzbGet etc. haben die Arbeit eingestellt. Nach kurzer Panikattacke und Suche ist mir der Fehler aufgefallen und wurde gelöst ("YES" - Mover anwerfen - alles wieder gut). Allerdings bin ich ins Überlegen gekommen, was passieren würde, wenn die Cache NVMe mal richtig ausfällt und so hab ich mich entschlossen, eine zweite Cache-"Platte" dazu zu holen.

 

Mein Board hat zwar einen zweiten NVMe-Anschluss, dieser blockt dann allerdings einen SATA Port (die ja alle belegt sind). Mögliche Lösungen sind aus meiner Sicht ein HBA (ich habe hier ein HP H240 zu liegen, wohl schon im IT Modus) oder eine PCie-NVMe-Adapterkarte (die müsste ich noch besorgen, allerdings bekommt man die ja recht günstig). Natürlich liegt es erstmal nahe, den schon vorhandenen HBA einzubauen. Hier drängt sich mir aber die Frage auf, ob nicht die NVMe-PCie Lösung hinsichtlich Stromverbrauch die bessere Wahl wäre...HBA würde erstmal nur mir einer Platte dran laufen. Andererseits wird mit der Zeit auch mein Array wachsen, so dass ich um den Einbau des HBA früher oder später nicht herumkomme. 

 

Ich würde mich über Meinung hierzu freuen. Vielleicht kann mir der ein oder andere für die NVMe-Adapter-Lösung ja auch ein entsprechende Karte empfehlen (ich hatte in einem anderen Thread bereits etwas über die Supermicro AOC-SLG3-2M2 gelesen, aber zwei NVMe Ports sind aus meiner Sicht nicht nötig (oder ich übersehe ein Szenario, für welches sich das anbietet?).

 

Vielen Dank im Voraus und sorry für den -wie ich jetzt sehe- etwas lang gewordenen Text

 

 

[mgutt]

On 3/6/2021 at 4:05 PM, Janne said:

dieser blockt dann allerdings einen SATA Port

Sicher? Normalerweise passiert das nur, wenn man eine SATA M.2 verbaut und keine NVMe M.2.

 

On 3/6/2021 at 4:05 PM, Janne said:

Supermicro AOC-SLG3-2M2

Die funktioniert nur, wenn man im BIOS für einen PCIe Slot x4x4 Bifurcation einstellen kann.

 

Was dagegen immer geht ist ein simpler PCIe x4 auf M.2 Adapter. Also eine M.2 in einen PCIe Slot. Der kostet um die 15 €.

 

Alternativ dazu ginge auch ein zeitversetztes Backup der NVMe. Ich sichere alle paar Stunden inkrementell per rsync auf eine HDD im Array. Man könnte aber auch live mit rsync auf eine SATA oder NVMe SSD synchronisieren.

 

On 3/6/2021 at 4:05 PM, Janne said:

HBA

Hohe Performance, je nach Modell viele SATA Anschlüsse, aber teuer und hoher Verbrauch. Eine SATA Karte mit JMB585 (5 Port) oder ASM1166 (6 Port) Controller reicht meistens, wenn man nicht noch viel mehr SATA Anschlüsse benötigt.

 

 

[Janne]

6 minutes ago, mgutt said:

Sicher? Normalerweise passiert das nur, wenn man eine SATA M.2 verbaut und keine NVMe M.2.

 

Wenn Du so direkt fragst: Nein . Ich hatte das so gelesen zu meinem Mainboard (Gigabyte B460M D3H), aber dabei möglicherweise diese Differenzierung übersehen. Das würde natürlich das Ganze sehr viel einfacher machen. 

 

Danke für den Hinweis zur Supermicro-Karte. Und hinsichtlich des HBA: ja, genau das sind auch meine Bedenken. Für meine Bedürfnisse ist das HBA sicherlich etwas overkill und der damit einhergehende Verbrauch lässt mich auch zu anderen (künftigen) Lösungen tendieren. Von daher danke auch für die von Dir genannten SATA Karten - für mich sicherlich die bessere Lösung.

 

Den Cache sichere ich auch regelmäßig, allerdings mache ich mir einfach Gedanken über die Verfügbarkeit. Wäre der Cache gestern wirklich "zu Bruch" gegangen, hätte ich mit einer weiteren NVMe einfach weitermachen können. Mit nur einer Cache-NVMe müsste ich bis mindestens Montag warten (Geduld war leider noch nie meine Stärke  )

[mgutt]

18 minutes ago, Janne said:

Gigabyte B460M D3H)

Bei dem Board gibt es kein Problem:

[mgutt]

22 minutes ago, Janne said:

Mit nur einer Cache-NVMe müsste ich bis mindestens Montag warten (Geduld war leider noch nie meine Stärke  )

Wenn meine einzelne NVMe stirbt, würde ich Docker und VM deaktivieren, das Backup der Shares auf die entsprechende Disk(s) kopieren und Docker und VM wieder starten. Egal ob die Shares noch bei Cache auf "Prefer" oder "Yes" stehen, wenn die NVMe weg ist, wird Unraid die Dateien dann von den Disks lesen. Der einzige Nachteil ist, dass bis Montag die Performance schlecht ist und ich musste manuell Hand anlegen und die Dateien kopieren. Natürlich habe ich während dem Kopieren auch eine Ausfallzeit zu beklagen. Bei ein paar Hundert GB entsprechend ein paar Stunden. Das würde bei einem RAID natürlich nicht der Fall sein.

[d1ck13]

Moin,

 

ich stand vor dem gleichen Problem und habe mich aus den genannten Gründen gegen einen HBA und für eine SATA-Adapterkarte entschieden. Aufgrund der Empfehlungen hier im Forum ist es eine mit JMB585 Chipsatz geworden. Und zwar diese hier: http://geizhals.de/2365580

 

Viele Grüße,

d1ck13

Edited March 6, 2021 by d1ck13

[mgutt]

1 hour ago, d1ck13 said:

Und zwar diese hier: http://geizhals.de/2365580

Delock kauft die auch nur in China:

https://de.aliexpress.com/item/4000742954395.html

 

Ich bin nicht sicher, aber das könnte der Hersteller sein:

http://www.rongdeson.com/

 

Bieten die hier an:

https://detail.1688.com/offer/601674251960.html

[Janne]

1 hour ago, mgutt said:

Bei dem Board gibt es kein Problem:

Ach, die Tabelle hatte ich sogar noch im Kopf, aber da hab ich einfach nicht richtig hingeschaut. Ich danke Dir für Deine Hilfe. Das macht es natürlich einfacher.

 

Quote

Wenn meine einzelne NVMe stirbt, würde ich Docker und VM deaktivieren, das Backup der Shares auf die entsprechende Disk(s) kopieren und Docker und VM wieder starten. Egal ob die Shares noch bei Cache auf "Prefer" oder "Yes" stehen, wenn die NVMe weg ist, wird Unraid die Dateien dann von den Disks lesen. Der einzige Nachteil ist, dass bis Montag die Performance schlecht ist und ich musste manuell Hand anlegen und die Dateien kopieren. Natürlich habe ich während dem Kopieren auch eine Ausfallzeit zu beklagen. Bei ein paar Hundert GB entsprechend ein paar Stunden. Das würde bei einem RAID natürlich nicht der Fall sein.

Oder (dass mir das erst jetzt einfällt) ich würde mir dann einfach eine zweite NVMe bereitlegen (ohne sie einzubauen). Stirbt die eingebaute, habe ich sofort eine verfügbar, Backup drauf, fertig. Eigentlich die einfachste Lösung bei nur einem NVMe Port. Was sich ja für mich nun aber sowieso erledigt hat.

 

Jaja, wie war das mit dem Wald und den Bäumen?     

 

Danke nochmal für die Anregungen und vor allem die Aufklärung über meine Hardware. 

 

58 minutes ago, d1ck13 said:

Moin,

 

ich stand vor dem gleichen Problem und habe mich aus den genannten Gründen gegen einen HBA und für eine SATA-Adapterkarte entschieden. Aufgrund der Empfehlungen hier im Forum ist es eine mit JMB585 Chipsatz geworden. Und zwar diese hier: http://geizhals.de/2365580

 

Viele Grüße,

d1ck13

Klasse, danke. Hab ich mir "aufgeschrieben".  Wenn das Array erweitert wird, werde ich dann eher zu so etwas greifen.