fiR3W4LL Posted June 30, 2022 Share Posted June 30, 2022 (edited) Ich bin nun ca einen Monat mit Unraid unterwegs und bin äußerst positiv Überrascht wie gut es funktioniert. Ich gebe zu ich war ziemlich skeptisch dass ich dass hinkriege War sogar so motiviert, dass ich 2 Container vom DockerHub importieren konnte und im CA zur Verfügung stellen konnte. Back to Topic: Da ich mein System von "analog" wie im Proxmox konfiguriert hatte, sind einige Fragen aufgetaucht, ob die Config so die meisten Useto Case ist. System X570D4u-2L2T R7 3700x Nvidia P2200 LSI 9311-8i HBA 128GB Ram 1x 1TB NVME SSD für Cache Seagate Firecuda 520 1x 500GB NVME VMs Seagate Firecuda 520 2x 8TB Ironwolf Parity 4x 8TB Ironwolf Array Wo ich mir Gedanken mache, sind bei den NVME's. Mir ist es ein wenig unwohl die beide zu konsolidieren. Finde dass der Cache soll nicht mit den VMs/Docker vermischt sein und die Performance beeinträchtigen. Darum die fragen an die Langjährigen und erfahrene Unraid User. Gibt es Verbesserung Potential oder kann man es so belassen? System wird Hauptsächlich für Docker Container, hauptsächlich Plex, Tautuilli, NGINX und GameServer benutzt, evtl kommt noch eine Windows WM aber da wüsste ich noch nicht für was. Freundliche Grüsse Edited July 1, 2022 by fiR3W4LL Quote Link to comment
Solution alturismo Posted June 30, 2022 Solution Share Posted June 30, 2022 44 minutes ago, fiR3W4LL said: Mir ist es ein wenig unwohl die beide zu konsolidieren. also auch ich trenne cache und vm nvme drives nach wie vor 45 minutes ago, fiR3W4LL said: Finde dass der Cache soll nicht mit den VMs/Docker vermischt sein und die Performance beeinträchtigen. jedoch nicht wegen diesem Grund, ich kann mir nicht vorstellen dass du das bei nvme's merken würdest, ich habe eher ein Problem mit btrfs und daher bevorzuge ich nach wie vor single drive xfs cache drive's aus meiner Erfahrung, robust ... btrfs ... unclean shutdown "warum auch immer" führt (leider) immer wieder zu Fehlern. 1 Quote Link to comment
mgutt Posted June 30, 2022 Share Posted June 30, 2022 1 hour ago, fiR3W4LL said: Finde dass der Cache soll nicht mit den VMs/Docker vermischt sein und die Performance beeinträchtigen. Der Cache beeinflusst die Performance quasi Null. Ich meine wie oft lädst du Dateien auf den Server? Wenn würde es nur Sinn machen Docker und VMs zu trennen oder VMs auf mehrere NVMe, aber dafür muss man es auch erstmal schaffen die NVMe zu überlasten bzw dann bliebe immer noch die Option einfach eine NVMe zu kaufen, die besser mit Lesen/Schreiben parallel umgehen kann (WD Black, 980 Pro, etc). Ich habe allerdings auch nur eine NVMe, weil ich wie alturismo BTRFS in unRAID ebenfalls nicht mag. Gestern habe ich zb auf meinem Testserver einen Cache mit einem BTRFS RAID1 aus drei NVMe auf eine NVMe reduziert. War nicht ohne Kommandozeile zu retten (Mount degraded, devices removen, balance, usw) und ich musste bestimmt 30 Minuten recherchieren. Zu allem Übel war es trotzdem jederzeit möglich das Array zu starten und unRAID bot mir an die eine übrig gebliebene NVMe mit den wertvollen Daten zu formatieren. Und das war RAID1. Bei RAID5 kann es ganz andere Probleme in BTRFs geben, insbesondere wenn man Probleme mit AER Fehlern hat (fehlerhafte PCIe Übertragung), was gar nicht mal so selten vorkommt. Ohne das BTRFs RAID hat man aber den klaren Nachteil, dass man zeitnahe Backups braucht und trotzdem mit einem gewissen Datenverlust bei Defekt leben muss. Also egal was man macht. Nicht ohne Backups 🤪 1 hour ago, fiR3W4LL said: LSI 9311-8i HBA Wofür den extra Stromschlucker, das Board hat doch 8x SATA?! Für die Stromersparnis kann man sich eher mal größere HDDs gönnen (10 bis 15W beim HBA gespart plus 2 bis 8W pro HDD). Quote Link to comment
fiR3W4LL Posted June 30, 2022 Author Share Posted June 30, 2022 Kann man nachträglich die NVME's auf XFS umkonvertieren? Denke eher nicht oder? Na gut, dann lasse ich es so entsprechen. Es erleichtert dass ich nicht der einzige bin der dies so hat Quote Link to comment
mgutt Posted June 30, 2022 Share Posted June 30, 2022 Just now, fiR3W4LL said: Kann man nachträglich die NVME's auf XFS umkonvertieren? Nein. Quote Link to comment
fiR3W4LL Posted June 30, 2022 Author Share Posted June 30, 2022 4 minutes ago, mgutt said: Der Cache beeinflusst die Performance quasi Null. Ich meine wie oft lädst du Dateien auf den Server? Wenn würde es nur Sinn machen Docker und VMs zu trennen oder VMs auf mehrere NVMe, aber dafür muss man es auch erstmal schaffen die NVMe zu überlasten bzw dann bliebe immer noch die Option einfach eine NVMe zu kaufen, die besser mit Lesen/Schreiben parallel umgehen kann (WD Black, 980 Pro, etc). Ich habe allerdings auch nur eine NVMe, weil ich wie alturismo BTRFS in unRAID ebenfalls nicht mag. Gestern habe ich zb auf meinem Testserver einen Cache mit einem BTRFS RAID1 aus drei NVMe auf eine NVMe reduziert. War nicht ohne Kommandozeile zu retten (Mount degraded, devices removen, balance, usw) und ich musste bestimmt 30 Minuten recherchieren. Zu allem Übel war es trotzdem jederzeit möglich das Array zu starten und unRAID bot mir an die eine übrig gebliebene NVMe mit den wertvollen Daten zu formatieren. Und das war RAID1. Bei RAID5 kann es ganz andere Probleme in BTRFs geben, insbesondere wenn man Probleme mit AER Fehlern hat (fehlerhafte PCIe Übertragung), was gar nicht mal so selten vorkommt. Ohne das BTRFs RAID hat man aber den klaren Nachteil, dass man zeitnahe Backups braucht und trotzdem mit einem gewissen Datenverlust bei Defekt leben muss. Also egal was man macht. Nicht ohne Backups 🤪 Wofür den extra Stromschlucker, das Board hat doch 8x SATA?! Für die Stromersparnis kann man sich eher mal größere HDDs gönnen (10 bis 15W beim HBA gespart plus 2 bis 8W pro HDD). Besten Dank für dein Feedback. Ich verstehe was du meinst. Meine NVMEs sind auf BTRFs da bei der ersten Konfiguration nicht wusste was ich nehmen soll -.- vor allem lies ich etwas über extremer overhead auf den NVMEs und hab vergessen umzuformatieren. Nun sind die NVMEs weiterhin auf BTRFs ;( Zu deiner Frage: Wie beschrieben, war vorhin Proxmox drauf mit Truenas VM für die NAS Funktion. Und ist im System geblieben. Sehe kein großen Nachteil diesbezüglich. Aber nun frage ich mich, ob ich den Controller doch rausnehmen soll :). Kann ich die Platten normal am MB anschließen und Unraid sollte ja wissen dass die Platten mal drin waren? Quote Link to comment
DataCollector Posted June 30, 2022 Share Posted June 30, 2022 2 minutes ago, fiR3W4LL said: Kann ich die Platten normal am MB anschließen und Unraid sollte ja wissen dass die Platten mal drin waren? Lies Dir das mal durch. Du bist nicht die erste Person, die von SAS Kontroller auf SATA MB umstellt. Quote Link to comment
fiR3W4LL Posted July 1, 2022 Author Share Posted July 1, 2022 Frage nebenbei: Kann das X570 Chipsatz, wenn alle SATA Anschlüsse belegt sind weiterhin mit voller Performance aller Platten arbeiten? Hat jemand den gleichen Board mit allen SATA Steckplätze belegt? Quote Link to comment
DataCollector Posted July 1, 2022 Share Posted July 1, 2022 1 hour ago, fiR3W4LL said: Frage nebenbei: Kann das X570 Chipsatz, wenn alle SATA Anschlüsse belegt sind weiterhin mit voller Performance aller Platten arbeiten? Hat jemand den gleichen Board mit allen SATA Steckplätze belegt? Ich kann nichts zu dem Chipsatz sagen, aber @mgutt erwähnte vor kurzem mal, daß die Intelanbindung der SATA Ports gesamt maximal wohl auf 2GByte/s limitiert sein könnte (ich vermute intern werden da 2 PCIe 3.0 Lanes zu je 1 GByte/s im Chipsatz benutzt). Soweit ich mich recht entsinne fiel es ihm im Rahmen seiner SSD Experimente auf und wurde von jemand anderen auch bestätigt. Wenn Du also mit "Platten" Festplatten heutiger Bauart meinst: Es beherrscht eine wirklich große Festplatte (so ab 14TB aufwärts) heute maximal so. 280MByte/s (wenn man den darauf verbauten Cache weglässt). 280MBye/s * 6SATA ports = 1680MByte/s. Ja 6-7 heutige Festplatten sind kein Problem für eine solche Intel (ICH) Anbindung. Da Festplatten diese Maximalgeschwindigkeit aber nur "kurz" im Außenbereich haben und über die Nutzung weiter innen auf den Plattern immer *'langsamer' Daten ausliefern/schreiben, gehe ich auch bei heutigen Festplatten davon aus, daß 250MByte/s ausreichen. Somit habe ich keine Bedenken bis zu 8 heutige Festplatten über PCIe3.0 x2 zu benutzen. (oder besser gesagt 4 SATA Festplatten über 4 SATA = ASM 1064 Chip auf PCIe 3.0 x1 Zusatzkarten). Bei guten heutigen SATA SSDs hingegen sieht es schon anders aus. In Spitze sind Werte oberhalb von 500MByte/s möglich. SATA selber spezifiziert ja sogar (grob gesagt) ca. 600MByte/s (ca. 6GBit/s) auf einem Port. Hier kann kann man auch sehen, warum Intel auch in der Regel nur bis zu 6 SATA Ports an den Chipsätzen direkt versorgt/ermöglicht. Boards mit mehr SATA Ports bedienen sich meist zusätzlicher Chips, welche dann auch wieder per PCIe Lane(s) angebunden werden. Aktuell nutzt wohl kaum jemand wirklich 6 hoch performante SATA SSD an einem ICH (intel Controller Hub) (vor allem, da auch eher selten wirklich gleichzeitig auf alle Ports maximal zugegriffen wird). Ausnahmen von SATA SSD Experimenten (siehe mgutt) bestätigen die Regel Deshalb fällt die Limitierung meist in der Desktoppraxis nicht auf. (Außer wenn man beispielsweise eine Parität builded/checkt oder so und wirklich alles flotte SSD sind). Aber das ist schon so lange so, seit Intel eben 6 SATA ports mit SATA-III (6GBit/s) ausgerollt hat (Ich glaube seit Haswell). Ich gehe nicht davon aus, daß sich bei Intel beim x570 da irgendetwas verändert hat. Quote Link to comment
fiR3W4LL Posted July 3, 2022 Author Share Posted July 3, 2022 Besten Dank für deine ausführliche Erklärung. Meine Frage hat sich entsprechend gestellt nachdem mgutt mich nach dem HBA gefragt hat warum es im System ist. Nun hab ich mir doch auch überlegt ob ich die Karte raus nehme. Aber weiss leider nicht ob das System mit allen 8 Platten sauber und Performant funktioniert und 2. weiss ich eben nicht ob Unraid die Festplatten danach erkannt. Angeblich soll ein Marvell Controller die Sata bei dem Board drauf sein. Hab irgendwo mal gelesen dass Unraid mit Marvell Controller nicht korrekt damit umgehen kann. Ich lasse mich jedoch gerne von einem besseren belehren. Quote Link to comment
DataCollector Posted July 3, 2022 Share Posted July 3, 2022 2 hours ago, fiR3W4LL said: Meine Frage hat sich entsprechend gestellt nachdem mgutt mich nach dem HBA gefragt hat warum es im System ist. SASS HBA sind allgemein etwas stromverschwendender. Deshalb ist die Kühlung ja auch wichtig. 2 hours ago, fiR3W4LL said: Nun hab ich mir doch auch überlegt ob ich die Karte raus nehme. Das hängt eben stark von der Benutzung und Gesmatbestückung des Systemes ab. Bei nur 8 Festplatten im PC und 8 OnBoard SATA Ports per ICH, hast Du 2GByte/s durch 8 geteilt = 250Mbyte/s. heutige/sehr große Festplatten schaffen es im Außenbereich bei sequentiellem lesen/schreiben etwas schneller zu schreiben, fallen dann aber sehr schnell doch unter 25=MByte/s und sinken mit immer weiter innen liegender Kopfposition weiter ab. Ältere/kleinere Festplatten schaffen nicht einmal die 250MByte/s. Wenn Du also im eher seltenen Fall eines Paritchecks auf allen 8 dort angeschloßenen Festplatten gleichzeitig lesen, dann wirst Du sehen können, daß die Festplatten alle bei ca, 250Mbyte/s liegen sollten (wobei das GUI auch niht wirklich präzise anzeigt). Das ist immer noch sehr nahe am Maximum. Solltest Du hingegen ein Array aus performanten SATA SSDs (je etwas unter 600MByte/s) aufbauen (ich glaube mgutt experimentiert in der Richtung), dann solltest Du maximal 4 dieser Ports gleichzeitig nutzen und wirst immer noch minimal gebremst. 2 hours ago, fiR3W4LL said: Aber weiss leider nicht ob das System mit allen 8 Platten sauber und Performant funktioniert Abgesehen von vielleicht technischen inkompatibilitäten (SAS Festplatten laufen nicht an SATA Ports) oder defekter Hardware sind Onboard SATA Schnittstellen für Festplatten eine weniger stromverschwenderische und empfehlenswerte Anschlußmethode. Erst wenn man eben mehr performance für SSD oder weitere festplatten will, werden Zusatzkontroller sinnvoll. Bei nur wenigen zusätzlichen Festplatten sind SATA Kontroller sparsamer als SAS HBA. Wenn man aber irgendwann eine noch größere Menge an Festplatten nutzen will, sind irgendwann SAS HBA (fast) unumgänglich. 2 hours ago, fiR3W4LL said: und 2. weiss ich eben nicht ob Unraid die Festplatten danach erkannt. Die Festplatten selber wird unraid erkennen. Es kann mt OnBoard SATA Schnittstellen umgehen. Ob der Inhalt aber dann auch weiterhin lesbar ist oder Du evtl aus einem backup die Daten zurückspielen mußt hängt davon ab, ob der SAS HBA die Daten beim Schreiben ungewöhnlich verändert hat. Probiere es aus. Hänge eine der Festplatten vom HBA einfach an einen normalen SATA Port und schau ob es klappt. Wenn nicht, muß Du Dich entscheiden ob du alles umkopieren willst oder den HBA beibehälst. Wenn doch (also die Festplatten problemlos auch am onboard SATA kontroller gelesen werden können): dann kannst Du alle festplatten umverkabeln und den HBA rausnehmen. 2 hours ago, fiR3W4LL said: Angeblich soll ein Marvell Controller die Sata bei dem Board drauf sein. Marvel ist ein Zusatzkontroller. Der hat nichts mit den OnBoardschnittstellen des X570 Schipsatzes zu tun. Sollte der X570 nur 6 Ports und er Mavel 2 Ports haben: Marvel ist nicht unbeding die erste Wahl bei unraid. aber auch dann könntest Du die Marvel gespeisten Ports einfach ignorieren (abschalten?) und eine SATA Steckkarte mit ASM oder JMB Chipsatz einbauen, die dann die 2 (oder mehr) fehlenden Ports liefert. Bei nur 2 Ports reicht etwas mit JMB582 Chipsatz, bei 4 Ports greife ich gerne zu ASM1064 Karten, wenn es 5 Ports werden sollen wird gerne der JMB585 empfohlen, bei 6 Ports bietet sich der ASM1166 an. Die beiden JMB und den ASM1166 gibt es (auch) als M.2 Steckkarte für PCIe versorgte Slots. Ich habe jetzt die ganze Diskussion nicht mehr im Kopf: Wenn Du genauer ins Detail gehst, welches Board Du ins Auge gefasst hast und was Du da anschließen willst, kann man vieleicht genaueres sagen. Ist alles ein bisschen kniffelige Technik 2 hours ago, fiR3W4LL said: Hab irgendwo mal gelesen dass Unraid mit Marvell Controller nicht korrekt damit umgehen kann. Ich habe aus dem Grund mit Absicht Marvel und Sil Kontroller umgangen. Deswegen schlage ich sie nicht als mögliche Lösung vor. Quote Link to comment
mgutt Posted July 4, 2022 Share Posted July 4, 2022 On 6/30/2022 at 12:41 PM, fiR3W4LL said: X570D4u-2L2T Das Board hat keinen separaten Controller für SATA. Alle 8 Ports laufen über den Chipsatz. Ich konnte nichts zur Gesamtgeschwindigkeit herausfinden, aber da der Chipsatz mit PCIe 4.0 X4 angebunden ist und sogar bis zu 12 SATA Ports unterstützt werden, tippe ich darauf, dass der AMD Chipsatz in Sachen SATA sogar schneller ist als der von Intel: Quote Link to comment
DataCollector Posted July 4, 2022 Share Posted July 4, 2022 5 hours ago, mgutt said: Das Board hat keinen separaten Controller für SATA. Dann verstehe ich den Hinweis zu Marvel nicht. Ich habe jetzt mal das Manual danach abgesucht und ja, es gibt eine Warung im Manual wegen Marvel Treibern, aber ich erkenne dennoch nicht, was da von Marvel sein soll. Quote Link to comment
i-B4se Posted July 4, 2022 Share Posted July 4, 2022 On 7/1/2022 at 4:28 PM, fiR3W4LL said: Frage nebenbei: Kann das X570 Chipsatz, wenn alle SATA Anschlüsse belegt sind weiterhin mit voller Performance aller Platten arbeiten? Hat jemand den gleichen Board mit allen SATA Steckplätze belegt? Ja, ich besitze dieses Board. Bei mir sind 6 HDDs und 2 SSDs an den SATA-Ports. Des weiteren sind die beiden M2-Slots mit NVMe für den Cache belegt. Was genau möchtest du wissen? Ich merke so nichts. Quote Link to comment
mgutt Posted July 4, 2022 Share Posted July 4, 2022 8 minutes ago, i-B4se said: Was genau möchtest du wissen? Mach mal 8 SATA SSDs dran. Wir wollen wissen wie die maximale Geschwindigkeit ist 😅 Quote Link to comment
i-B4se Posted July 4, 2022 Share Posted July 4, 2022 Ah ok.... Da kann ich nicht weiterhelfen Oder du schickst mir flott deine @mgutt 😇🤣 Quote Link to comment
fiR3W4LL Posted July 4, 2022 Author Share Posted July 4, 2022 @i-B4se Besten Dank für deine Antwort. Können evtl. weitere Detail per PN besprechen. Aber deine Aussage mit den 6 Platten und 2 SSD bereits beantworten. Dann hatte ich falsche infos bezüglich Marvel. Tut mir leid für die Falschinfos. Quote Link to comment
i-B4se Posted July 4, 2022 Share Posted July 4, 2022 Wenn ich etwas testen soll, dann sag einfach bescheid. Quote Link to comment
fiR3W4LL Posted July 11, 2022 Author Share Posted July 11, 2022 Hoi Zäme Also hab es nun umgesetzt. Ich habe den HBA ausgebaut und 2 weitere Festplatten angeschlossen. Ich habe mit einem Dataloss gerechnet und zuvor einen Backup erstellt. Aber wurde positiv überrascht, alle 6 vorherigen Festplatten wurden normal erkannt sowie die ganzen Shares. Die 2 neuen Platten wurden vom System erkannt wurden auch gleich formatiert. Genial. Nun verbraucht das System im Idle ca 60W was auch positiv ist. Besser als 90w Zudem habe ich gleich noch ein Parity Check gestartet, damit alle Platten gleichzeitig arbeiten und ein Durchsatz von 2.1GBits erreicht. Somit keine Bottleneck TOP Denke somit das Optimum raus geholt. Besten Dank allen. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.