Welche Cache SSD?


satom

Recommended Posts

Moin,

 

ich möchte mein 500GB NVME Single Laufwerk durch 2 oder 3 SATA 512GB/1TB ersetzen. Entweder

also 3 + 512GB in einer RAID5 Kombi oder 2*1TB in einer RAID1 Konfiguration. Welche Kombi macht

mehr Sinn, insbesondere in Sachen Schreibperformance und vor allem - welche SSD sind heute

empfehlenswert?

 

                   Viele Grüße,

 

                                     Thomas

 

Link to comment

...Schreibperforance heisst was genau...vom Client auf ein unraid Share (inkl. cache, natürlich) übers Netzwerk?

Hast Du in dem Fall da was am Start, was SMB in 10G oder höher schafft (SMB ist was anderes als Tests mt iperf)?

 

....sollen es NVMe mit PCIe Interface sein und wie viele passen rein in Dein System bzw. hast Du einen x8 oder x16 Slot frei PCIe-gen3 oder -gen4?

Link to comment

Schreibperformance vom Client übers Netz auf ein Unraid Share. Das Netz ist 10G, die Clients können deutlich mehr als 1G

liefern - das Unraid ohne Cache genau dafür nicht prädestiniert ist, ist mir schon klar. Es geht schlicht um die Frage, ob

ein RAID5 Cache Verbund mehr bringt - im Verhältnis zum Aufwand als ein RAID1 - und welche _SATA_ SSD man

zweckmäßigerweise nimmt. SATA Ports sind entweder Intel C246 oder via LSI im it-Mode.

 

Wenn ich 2 NVME Slot frei hätte, stellte sich die Frage nach SATA (oder meinetwegen auch SAS) nicht. Zusätzlicher NVME

Adapter im Pci-E Slot kommen ebenfalls nicht in Frage, alle Slots sind belegt durch Connectx-3 und den 9308.

 

 

Link to comment

RAID1 heißt einfache Schreibgeschwindigkeit und doppelte Lesegeschwindigkeit. Bei SATA also nicht genug zum Schreiben über 10G.

 

Allerdings kann man Schreiben mit viel RAM und einem hohen vm.dirty_ratio abfangen. Mache ich mit 64GB und 50% ratio. Das reicht dann für 25 bis 30GB (je nachdem wie viel RAM frei ist), so dass meine einzelne SATA SSD trotzdem 10G "schafft".

 

Wenn man dagegen 10G durchgehend haben will, dann bräuchte es ein RAID5 aus 3 SSDs. Damit hätte man 2-fache Lese- und 2-fache Schreibgeschwindigkeit.

 

Bei einem RAID10 (4 SSDs) wäre die Performance noch besser, weil bei einem RAID10 keine Parität berechnet werden muss. Wenn die CPU stark genug ist, ist das aber denke ich eher zweitrangig. Gerade bei SSDs.

 

Man muss aber anmerken, dass BTRFS nur im RAID0/1/10 als sicher gilt. RAID5/6 gilt nach wie vor als instabil, wobei es sehr viele trotzdem so nutzen.

 

Mein Favorit wäre ein RAID1 mit 128GB RAM und 50-70% dirty_ratio. Ich mag es simpel ;)

Link to comment

....wenn die CPU im unraid auch die 10GBE pro SMB-Stream schafft (braucht dann schon ein paar GHz mehr und ein Kernchen pro gleichzeitigem Stream - SMB ist immer noch single-threaded, oder?) würde ich ja dann, auf der Suche nach Speed auf SSDs mit SAS Schnittstelle am LSI gehen.

Mit klassichen SATA-SSDs bist Du selbst im raid5 begrenzt.

In PCIe-x8 schafft der LSI ja knapp unter 8GB/sec.

Dual SAS SSds gibt es auch: https://geizhals.de/seagate-nytro-3031-series-1dwpd-3331-scaled-endurance-960gb-xs960se70024-a2215197.html?hloc=de

Im raid 5 hast Du zwar striping...ob das bei BTRFS (noch) ein Risiko ist weiss ich nicht.

Evtl. dann eher ans ZFS Plugin denken.

Link to comment
26 minutes ago, Ford Prefect said:

Im raid 5 hast Du zwar striping...ob das bei BTRFS (noch) ein Risiko ist weiss ich nicht.

Alles was mit Parity bei BTRFS zu tuhen hat ist noch ein Risiko da die das 'Write Hole' noch nicht gefixt haben, solange kein Stromausfall ist oder ein unsauberes Herunterfahren sollte alles gut sein. -> Mehr Infos

 

 

Also 10Gbit mittels SMB sollte kein Problem für Unraid darstellen (Standardconfig und keine Anpassung vom MTU):

grafik.png.fce9d64bd8fb7c73e125035bb665d6b6.png

Link to comment
17 minutes ago, ich777 said:

Also 10Gbit mittels SMB sollte kein Problem für Unraid darstellen (Standardconfig und keine Anpassung vom MTU):

 

 

Er hat schon recht. Kommt auf die CPU an. Mein i5-7600K schafft es mit einem Kern gerade so und die Maus ruckelt. Aus dem Grund habe ich damals SMB Multichannel aktiviert:

https://superuser.com/questions/1587290/why-is-smb-client-not-capable-of-using-rss-although-its-enabled

 

Vorher:

728236113_2021-01-1817_21_40.png.717b838db40affec19925d408b9dab3e.png

 

Nachher:

746271209_2021-01-1817_21_48.png.cc53ff4750105c29f2f35f76a47fe8bc.png

 

Aber Multichannel ist bei Linux immer noch instabil. Auch das muss jeder selbst abwägen.

 

47 minutes ago, Ford Prefect said:

Mit klassichen SATA-SSDs bist Du selbst im raid5 begrenzt.

 

 

Du hast bei einem RAID5 mit 3 sehr guten SSDs 2x 560 MB/s lesen und schreiben und durch die Verdoppelung bei RAID5 liegst du dann bei 1120 MB/s. Ok, ist noch nicht 1175 MB/s, aber schnell genug ist das doch?!

 

Ich mein SAS ist natürlich geil, aber entsprechend teuer. Wenn Du viel RAM hast, merkst du davon am Ende meiner Ansicht nach nichts (ist ja nur ein NAS und kein Datenbank-Server).

 

Link to comment
6 minutes ago, mgutt said:

Er hat schon recht. Kommt auf die CPU an.

Ja stimmt natürlich.

 

7 minutes ago, mgutt said:

Multichannel aktiviert

Sollte es nicht genügen wenn du die drei Zeilen in die smb-extra.conf in /config am USB stick einträgst:

server multi channel support = yes
aio read size = 1
aio write size = 1

 

8 minutes ago, mgutt said:

Aber Multichannel ist bei Linux immer noch instabil. Auch das muss jeder selbst abwägen.

Wird wie du richtig sagst noch nicht in Produktivumgebungen empfholen von samba.org

Link to comment
3 minutes ago, ich777 said:

Sollte es nicht genügen wenn du die drei Zeilen in die smb-extra.conf in /config am USB stick einträgst:


 

 

 

Es braucht nur "server multi channel support = yes". Aber das funktioniert nur, wenn man beidseitig mehrere LAN Ports hat.

 

Ansonsten muss man noch RSS aktivieren:

interfaces = "10.10.10.10;capability=RSS,speed=10000000000"

 

Wobei 10.10.10.10 die IP vom Unraid Server ist und "10000000000" die Geschwindigkeit des Unraid 10G Ports. Näheres dazu und wie man das schlussendlich prüft, in meinem Guide unter Punkt 4:

https://forums.unraid.net/topic/97165-smb-performance-tuning/

 

PS Es hat damals viele Recherche gekostet um das herauszufinden. Das war irgendwo beim Bug-Tracker von Samba vergraben. Es wird aber beides irgendwann zum Standard.

  • Like 1
Link to comment
1 minute ago, mgutt said:

Es braucht nur "server multi channel support = yes". Aber das funktioniert nur, wenn man beidseitig mehrere LAN Ports hat.

Alles klar... hab ich auch nicht gewusst.

Ich müsste mal die CPU usage bei mir ansehen client wäre hier ein 6700k und server ist mittlerweile ein 10600.

 

Ich bin einfach fan der Mellanox Karten die funktionieren einfach.

 

 

2 minutes ago, mgutt said:

PS Es hat damals viele Recherche gekostet um das herauszufinden. Das war irgendwo beim Bug-Tracker von Samba vergraben. Es wird aber beides irgendwann zum Standard.

Glaub ich dir manche sachen sind echt nicht gut dokumentiert... Speziell bei samba find ich.

Link to comment

Neben der 10G Verbindung würde es eine 2. mit Gbit geben, aber weiteres Tuning werde ich mir erst ansehen, wenn

die Cache Frage gelöst ist. Zum Verständnis - es ist nicht so, das laufend gigantische Datenmengen verschoben

werden, aber das was geschoben wird, darf dann ruhig zügig gehen. Das Ding ist nicht kritisch, sondern eher

(m)ein Spielplatz und ein Datengrab.

 

Mehr RAM wäre ein weiterer Schritt, nochmal 32GB ECC mehr dürften um die 150€ kosten. Allerdings wäre der

SSD Cache dann immer noch nicht abgesichert (derzeit ja nur eine Single NVME).

 

Die eigentliche Frage war aber: Welche SSD kauft man für diesen Zweck?

 

 

 

Link to comment
21 minutes ago, satom said:

Mehr RAM wäre ein weiterer Schritt, nochmal 32GB ECC mehr dürften um die 150€ kosten. Allerdings wäre der

SSD Cache dann immer noch nicht abgesichert (derzeit ja nur eine Single NVME).

Ich würd da eher auf 2 Cache Platten setzen statt auf den RAM, ich hab selbst 2x Crucial 1TB SSD's drin und die verrichten jetzt schon 1,5 Jahre ihren dienst.

Schreiben kann ich auf die SSD's direkt ca mit 300 bis 400MB/s je was noch so alles im hintergrund läuft.

 

21 minutes ago, satom said:

Die eigentliche Frage war aber: Welche SSD kauft man für diesen Zweck?

Dort scheiden sich die Geister wieder, ich kann dir Samsung, Crucial oder auch WD Red's empfehlen, ob du jedoch den mehrpreis für "NAS" SSD's zahlen willst ist dir überlassen.

Auf jeden fall achte darauf das die einen Cache haben, wenn du wirklich günstige SSD's kaufst die keinen Cache haben und du kopierst mal große Datenmengen dann kann es unter Umständen passieren das du unter die Geschwindigkeit einer konventionellen HDD fällt.

 

Wie gesagt mit Samsung, Crucial oder WD Red's machst du auf jeden Fall nichts falsch.

Interessant wäre auch noch die größe der SSD's bleibst du bein 1TB?

Link to comment
2 hours ago, satom said:

Welche SSD kauft man für diesen Zweck?

 

Die nicht, weil kein DRAM:

- Crucial BX500

- SanDisk Plus

- WD Green

- Kingston A400

 

Sonstige Gründe:

- Silicon Power A55 bricht nach vollem SLC Cache massiv ein

- Intenso.. baut glaube ich nur Müll

- Samsung QVO weil QLC

 

Andere Modelle von einer bekannten Marke sollten gehen. NAS SSDs oder Gaming SSDs sind dagegen finanziell völlig unattraktiv. Qualitativ wäre eine Samsung 860 Pro mit ihren MLC sogar hochwertiger, da MLC doppelt so lange hält wie TLC. Deswegen hatte die 850 Pro (auch MLC) damals sogar 10 Jahre Garantie. Heute sind die SSDs deutlich minderwertiger, allerdings auch günstiger.

 

Stand heute kann man sagen, dass 1TB über 100 € kosten muss, sonst taugt die SSD nichts. Oder es ist zufällig gerade ein Angebot.

Link to comment
  • 3 weeks later...

Es sind übrigens 2 Crucial MX500 1TB geworden, einmal wegen der sofortigen Verfügbarkeit, zum anderen

wegen des Preises - knapp 90€ pro Stück waren dann ein Argument. In der Spitze erreiche ich derzeit rund

450 MB/sec, im Schnitt ewa 300 plus ein bißchen - der nächste Schrit wird dann sein, mit den Samba Optionen

noch ein bißchen zu spielen -

 

ist da ein hervorragender Ansatz.

 

Link to comment
1 hour ago, h0schi said:

Falls Jemand anderes aktuell etwas sucht gibts die PM983 auch als M.2:

 

Ich sage nicht, dass sie schlecht ist, aber eine Evo ist wegen der Garantie der eindeutig bessere Deal, da ich bezweifle, dass hier jemand die TBW überhaupt knackt. Bedenke, dass der Cache bei Unraid deutlich weniger belastet wird als bei Qnap oder Syno. Da musst du schon den ganzen Tag dein NAS neu befüllen um eine Enterprise SSD zu rechtfertigen. 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.