unRAID-Tower Posted March 25 Share Posted March 25 (edited) Guten Morgen, nachdem ich jetzt endlich meinen unRAID Server aufrüste (dzt. i7 6700 zukünftig i5 14500) hab ich mich gefragt, wie ich das mit dem Cache am besten umsetze. Soll ich da besser 2x 1TB ZFS Mirror oder BTRFS machen? Oder besser 1x 1TB für Appdate / Docker (hab einige Container am laufen) und 1x 1TB für die Homeassistant und Win10 VM. Nachdem ich die Docker / VM natürlich sichere, ist die Spiegelung jetzt nicht so wichtig. Wie ist das mit BTRFS, kann ich da einen "normalen" Verbund von 2x 1TB machen, mit 2TB verfügbar, oder gibts da auch nur Mirror oder Raid0 (was ich nicht möchte). Als Mainboard hab ich mir das "ASUS PRIME B760M-A D4-CSM Business Mainboard" mit 2x 32GB DDR4 bestellt. Kennt das jemand? Hauptgrund war die Erweiterbarkeit, so kann ich meine LSI Karte und bei Bedarf noch eine Grafikkarte verwenden. Viele mATX Mainboards sind da beschränkt. Ich hoffe, das das stromspartechnisch auch ganz gut hinhaut, bislang musste ich die nvme per PCI Karte verwenden, da mein Lenovo 310 keine Slots am Mainboard hatte. Verbauen würde ich die vorhandenen 4x 8TB (1 Parity), sowie 2x 1TB SSD - eben entweder als Verbund oder einzeln getrennt VM / Docker Zusätzlich hätte ich noch 2x 2TB Sata SSD's zur Verfügung, die sich auch als Cache für die Freigaben anbieten würden Bin auf eure Ratschläge gespannt. Edited March 25 by unRAID-Tower Quote Link to comment
DataCollector Posted March 25 Share Posted March 25 5 hours ago, unRAID-Tower said: Soll ich da besser 2x 1TB ZFS Mirror oder BTRFS machen? BTRFS würde ich ab unraid 6.12.x nicht mehr empfehlen. Wenn Du im Pool Raid1 oder Raid0 mit 2 Datenträgern machen willst ist meiner Meinung nach zfs das Mittel der Wahl. Bei Einzeldatenträgern: xfs. 5 hours ago, unRAID-Tower said: Oder besser 1x 1TB für Appdate / Docker (hab einige Container am laufen) und 1x 1TB für die Homeassistant und Win10 VM. Wenn ich im pool keine Ausfallsicherheit (Raid1) nutzen will/muß, bleibt die Frage, reicht Die 2x 1TB oder 1x 2TB. Wenn Du einen riesigen pool für alles nutzen willst zfs Raid0 2x1TB = 2TB Nutzkapazität. Ich würde aber eher alle Systemshares auf eine SSD legen (=Docker, VM...) und die verblein´bende SSD in einem extra Pool für das Cachen der Arraylaufwerke nutzen. Das macht aber auch nru Sinn, wenn Du eben entsprechendes Nutzungsverhalten hast. Sollte das System sich sowieso ziemlich langweilen, und Du auch nie große Datenmengen (bis an die ca. 1TB) von außerhalb auf das Array schreiben, kannst Du die SSDs auch anders aufteilen oder gar eine entfernen und alle sauf einer SSD laufen lassen. Es ist eben sehr individuell. 5 hours ago, unRAID-Tower said: Wie ist das mit BTRFS, kann ich da einen "normalen" Verbund von 2x 1TB machen, mit 2TB verfügbar, oder gibts da auch nur Mirror oder Raid0 (was ich nicht möchte). Man kann mit BTRFS (genau wie zfs) auch sowas wie Raid0 machen. Aber da BTRFS doch gelegentlich für lustiges Verhalten/Probleme sorgt würde ich nicht zu btrfs greifen. 5 hours ago, unRAID-Tower said: Ich hoffe, das das stromspartechnisch auch ganz gut hinhaut Das wirst Du uns dann ja mitteilen können. Grundlegend sollte ein B760M Mainboard recht sparsam sein, aber natürlich hängt das eben von den verbauten Komponenten und Firmwares ab. Deine LSi Karte allein wird aber schon die C-States extrem vermiesen. Zumindest gehe ich davon aus, weil ich solches schon mal in meinem B760M vermessen habe: https://forums.unraid.net/topic/156160-gigabyte-b760m-ds3h-ddr4-verschiedene-messungen-werte/?do=findComment&comment=1388195 5 hours ago, unRAID-Tower said: Verbauen würde ich die vorhandenen 4x 8TB (1 Parity), sowie 2x 1TB SSD - eben entweder als Verbund oder einzeln getrennt VM / Docker Bis hierhin brauchst Du also die LSI Karte gar nicht. 5 hours ago, unRAID-Tower said: Zusätzlich hätte ich noch 2x 2TB Sata SSD's zur Verfügung, die sich auch als Cache für die Freigaben anbieten würden Da würde ich eher einen ASM1166 einsetzen. Aber das bleibt ja Dir überlassen. 5 hours ago, unRAID-Tower said: Bin auf eure Ratschläge gespannt. Wenn Du einen LSI SAS Kontrolle reinsetzt: achte auf eine gute Belüftung! Fast alle mir bekannten SAS Kontroller von Broadcom (und deren OEM Ableger) werden schnell sehr warm. Den Hinweis auf 200lfm Luftbewegung sollte man sehr ernst nehmen. Quote Link to comment
unRAID-Tower Posted March 25 Author Share Posted March 25 27 minutes ago, DataCollector said: BTRFS würde ich ab unraid 6.12.x nicht mehr empfehlen. Wenn Du im Pool Raid1 oder Raid0 mit 2 Datenträgern machen willst ist meiner Meinung nach zfs das Mittel der Wahl. Bei Einzeldatenträgern: xfs. ja, das macht Sinn - hatte vorher auch eine einzelne Disk mit BTRFS und immer wieder mal Probleme. XFS war dann deutlich besser und ZFS ist sicher der richtige Weg. 27 minutes ago, DataCollector said: Wenn ich im pool keine Ausfallsicherheit (Raid1) nutzen will/muß, bleibt die Frage, reicht Die 2x 1TB oder 1x 2TB. Wenn Du einen riesigen pool für alles nutzen willst zfs Raid0 2x1TB = 2TB Nutzkapazität. Ich würde aber eher alle Systemshares auf eine SSD legen (=Docker, VM...) und die verblein´bende SSD in einem extra Pool für das Cachen der Arraylaufwerke nutzen. Das macht aber auch nru Sinn, wenn Du eben entsprechendes Nutzungsverhalten hast. Sollte das System sich sowieso ziemlich langweilen, und Du auch nie große Datenmengen (bis an die ca. 1TB) von außerhalb auf das Array schreiben, kannst Du die SSDs auch anders aufteilen oder gar eine entfernen und alle sauf einer SSD laufen lassen. Ich hab ja insgesamt 2x 1TB NVME und 2x 2TB SATA SSD zur Verfügung. Zur Not könnte ich ja auch zwei ZFS Mirror machen. Die NVME für Docker / VM und den zweiten für die Shares. Sind die SATA SSD's (sind Samsung QVO) gut für die C-States? Oder ist das sehr individuell, was da den Verbrauch hochtreibt. Der Plan wäre ohnehin, dass ich in Minimalkonfiguration hochfahre und dann schaue, wie der Verbrauch ausschaut. 27 minutes ago, DataCollector said: Es ist eben sehr individuell. Man kann mit BTRFS (genau wie zfs) auch sowas wie Raid0 machen. Aber da BTRFS doch gelegentlich für lustiges Verhalten/Probleme sorgt würde ich nicht zu btrfs greifen. Das wirst Du uns dann ja mitteilen können. Grundlegend sollte ein B760M Mainboard recht sparsam sein, aber natürlich hängt das eben von den verbauten Komponenten und Firmwares ab. Deine LSi Karte allein wird aber schon die C-States extrem vermiesen. Zumindest gehe ich davon aus, weil ich solches schon mal in meinem B760M vermessen habe: https://forums.unraid.net/topic/156160-gigabyte-b760m-ds3h-ddr4-verschiedene-messungen-werte/?do=findComment&comment=1388195 Bis hierhin brauchst Du also die LSI Karte gar nicht. Ja, stimmt... mit der Karte kann ich aber 8 SATA ansteuern und ich hätte noch 4x 6TB herumliegen... Momentan ist mein Array mit ca. 76% belegt, folglich muss ich da bald was machen. Zur Not könnte ich aber die 4 Port SATA Karte (die ich noch habe) auch verwenden. Das Mainboard hat ja vermutlich 4x SATA +4 da könnte ich dann die 2x 2TB SATA und noch 2x 6TB abbilden. 27 minutes ago, DataCollector said: Da würde ich eher einen ASM1166 einsetzen. Aber das bleibt ja Dir überlassen. Wenn Du einen LSI SAS Kontrolle reinsetzt: achte auf eine gute Belüftung! Fast alle mir bekannten SAS Kontroller von Broadcom (und deren OEM Ableger) werden schnell sehr warm. Den Hinweis auf 200lfm Luftbewegung sollte man sehr ernst nehmen. Danke für den Hinweis.... 27 minutes ago, DataCollector said: Quote Link to comment
DataCollector Posted March 25 Share Posted March 25 13 minutes ago, unRAID-Tower said: Sind die SATA SSD's (sind Samsung QVO) gut für die C-States? Wenn alle Hersteller alles richtig machen beeinflußen SATA Laufwerke idle dei C.States nicht udn das System kann weitgehend schlafen (hoch nummeriertte C.States), aber es sind auch schon SATA SSD aufgetauscht, die aufgrund ihrer Firmware den SATA Kontroller durchgehend etwas beansprucht haben und somit die C.States negativ beeinflußt haben. Von Samsung QVO ist mir das nicht bekannt. Samsung Business/Server SSD hingegen haben (wenn ich die Aussagen von mgutt richtig in Erinnerung habe) gar keine dahingehenden Energiesparmaßnahmen, weil solche Systeme eher auf Performance ausgelegt sind. 13 minutes ago, unRAID-Tower said: Das Mainboard hat ja vermutlich 4x SATA +4 da könnte ich dann die 2x 2TB SATA und noch 2x 6TB abbilden. Ein ASM1166 in einem PCIe 3.0 x2 (oder mehr Lanes) Slot ist gut für bis zu 6 SATA Festplatten brauchbar. Quote Link to comment
unRAID-Tower Posted March 25 Author Share Posted March 25 ok, danke für die Info... Quote Link to comment
unRAID-Tower Posted March 25 Author Share Posted March 25 1 hour ago, DataCollector said: Wenn alle Hersteller alles richtig machen beeinflußen SATA Laufwerke idle dei C.States nicht udn das System kann weitgehend schlafen (hoch nummeriertte C.States), aber es sind auch schon SATA SSD aufgetauscht, die aufgrund ihrer Firmware den SATA Kontroller durchgehend etwas beansprucht haben und somit die C.States negativ beeinflußt haben. Von Samsung QVO ist mir das nicht bekannt. Samsung Business/Server SSD hingegen haben (wenn ich die Aussagen von mgutt richtig in Erinnerung habe) gar keine dahingehenden Energiesparmaßnahmen, weil solche Systeme eher auf Performance ausgelegt sind. Ein ASM1166 in einem PCIe 3.0 x2 (oder mehr Lanes) Slot ist gut für bis zu 6 SATA Festplatten brauchbar. ok, hab gerade mal nachgeschaut und meine Karte hat den Chipsatz: Asmedia1062, gibts da Infos? Ist vermutlich nicht so toll für die C-States? Quote Link to comment
DataCollector Posted March 25 Share Posted March 25 59 minutes ago, unRAID-Tower said: ...meine Karte hat den Chipsatz: Asmedia1062, gibts da Infos? Ist vermutlich nicht so toll für die C-States? Der ASM1062 wurde (und wird auch immer noch) gerne direkt auf Mainboards aufgelötet. Ich habe bisher keinen solchen externen Kontroller in den Fingern gehabt. Das müßtest Du selber testen. Da der ASM1062 aber nur ein PCIe 2.0 x2 2SATA Port Kontroller ist, sehe ich ihn in aktuellen PCIe 3.0 (oder höher) Steckplätzen als veraltet und nicht empfehlenswert an. Ich befürchte aber, daß er (von der Sparsamkeit her) vergleichbar der 1064 Struktur ist und diese sind grundlegend sehr gute PCIe 3.0 x1 Kontroller für bis zu 4 SATA Ports, schlagen sich aber nicht so gut in den C-States. Deswegen habe ich all meine in unraid NAS verbauten ASM1064 gegen ASM1166 ausgetauscht. Quote Link to comment
unRAID-Tower Posted March 25 Author Share Posted March 25 26 minutes ago, DataCollector said: Der ASM1062 wurde (und wird auch immer noch) gerne direkt auf Mainboards aufgelötet. Ich habe bisher keinen solchen externen Kontroller in den Fingern gehabt. Das müßtest Du selber testen. Da der ASM1062 aber nur ein PCIe 2.0 x2 2SATA Port Kontroller ist, sehe ich ihn in aktuellen PCIe 3.0 (oder höher) Steckplätzen als veraltet und nicht empfehlenswert an. Ich befürchte aber, daß er (von der Sparsamkeit her) vergleichbar der 1064 Struktur ist und diese sind grundlegend sehr gute PCIe 3.0 x1 Kontroller für bis zu 4 SATA Ports, schlagen sich aber nicht so gut in den C-States. Deswegen habe ich all meine in unraid NAS verbauten ASM1064 gegen ASM1166 ausgetauscht. ok, danke für die ausführliche Antwort, den Weg werde ich sicher auch gehen. Hab gerade gesehen, dass es da auch 6x Sata Anschlüsse gibt. Zuerst schau ich aber, wie das direkt am Mainboard / mit LSI / und mit dem ADM1062 zu Buche schlägt. Quote Link to comment
MPC561 Posted March 25 Share Posted March 25 (edited) 1 hour ago, DataCollector said: Ich befürchte aber, daß er (von der Sparsamkeit her) vergleichbar der 1064 Struktur ist @DataCollector Macht der 1062 evtl. die gleichen Probleme wie der 1064? Sprich Probleme mit dem Array wenn via powertop medium_dipm/Stromsparmechanismen aktiviert werden? Hatten doch schon einige Probleme? Bzw. hattest Du dahingehend nicht sogar selber schon Ärger Data? Dann sollten wir @unRAID-Tower schnell ausreden den zu verwenden? Edited March 25 by MPC561 Quote Link to comment
DataCollector Posted March 25 Share Posted March 25 (edited) 18 hours ago, MPC561 said: Macht der 1062 evtl. die gleichen Probleme wie der 1064? Sprich Probleme mit dem Array wenn via powertop medium_dipm/Stromsparmechanismen aktiviert werden? Hatten doch schon einige Probleme? Bzw. hattest Du dahingehend nicht sogar selber schon Ärger Data? Ich habe zwar den ASM1062 auf (ich glaube 2) meiner Mainboards, weil die Hersteller die mit aufgelötet haben, aber zu dem angefragten Verhalten kann ich bisher nichts sagen. 18 hours ago, MPC561 said: Dann sollten wir @unRAID-Tower schnell ausreden den zu verwenden? Wie erwähnt habe ich keinen solchen Kontroller als Steckkarte und kann dazu nichts sagen. Da unRaid-Tower den Kontroller ja sowieso hat, kann er es für uns austesten. Edited March 26 by DataCollector 1 Quote Link to comment
unRAID-Tower Posted March 26 Author Share Posted March 26 ... momentan komme ich mit den 4 Sata Ports vom Mainboard aus, hab mir aber trotzdem eine 6x SATA Karte mit ASMR1166 bestellt und werde dann die HDUs umlegen + um 2x 6TB erweitern. Kämpfe aber noch mit den BIOS Einstellungen und Powertop... (Bios hab ich auf die aktuellste Version geflasht) Was sind denn realistisch erzielbare / vernünftige Verbrauchswerte in meiner Konstellation? (Im Spindown bzw. unter Last) Also ASUS Mainboard / samt 2x 32GB RAM / 2x 1TB nvme / 4x 8GB HDU Ich kann jetzt grad nicht nachschauen, aber gestern war ich so bei ca. 30 Watt im Spindown Quote Link to comment
DataCollector Posted March 26 Share Posted March 26 55 minutes ago, unRAID-Tower said: ... momentan komme ich mit den 4 Sata Ports vom Mainboard aus, hab mir aber trotzdem eine 6x SATA Karte mit ASMR1166 bestellt und werde dann die HDUs umlegen + um 2x 6TB erweitern. Kämpfe aber noch mit den BIOS Einstellungen und Powertop... (Bios hab ich auf die aktuellste Version geflasht) Was sind denn realistisch erzielbare / vernünftige Verbrauchswerte in meiner Konstellation? (Im Spindown bzw. unter Last) Also ASUS Mainboard / samt 2x 32GB RAM / 2x 1TB nvme / 4x 8GB HDU Ich kann jetzt grad nicht nachschauen, aber gestern war ich so bei ca. 30 Watt im Spindown Ich kann nur vermuten, aber wenn Du mit Powertop die Einstellungen optimieren kannst (und wirklch C8 bis C10 möglich wird) würde ich schätzen idle sollten viellecht um/unmter 15W machbar sein. Sobald Du aber Last hast (Docker/VM/SMB Zugriffe) wird das dann wieder hoch gehen. Solte irgendeine Komponente sich quer stellen und C8-10 verhindern sind kaum unter 30W anzunehmen. Quote Link to comment
unRAID-Tower Posted March 26 Author Share Posted March 26 (edited) 30 minutes ago, DataCollector said: Ich kann nur vermuten, aber wenn Du mit Powertop die Einstellungen optimieren kannst (und wirklch C8 bis C10 möglich wird) würde ich schätzen idle sollten viellecht um/unmter 15W machbar sein. Sobald Du aber Last hast (Docker/VM/SMB Zugriffe) wird das dann wieder hoch gehen. Solte irgendeine Komponente sich quer stellen und C8-10 verhindern sind kaum unter 30W anzunehmen. ok, ich muss mal schauen... bzw. mal "langsam" die Komponenten hinzufügen... und mal rein nur mit Ubuntu booten und dann mit Powertop testen. Wie ist das mit dem Onboard SATA Controller? Der kann ja vermutlich auch den "falschen" Chipsatz haben? Was mir bei Powertop auch nicht so ganz klar ist, manchmal sehe ich da keine Werte? Ich meine man sieht nicht, welcher C-State erreicht wird. Da steht dann nirgends ein Wert.... Gestern bin ich nur bis C3 gekommen, was ja eher schlecht ist. Hab aber vermutlich im BIOS noch nicht alle Einstellungen richtig gesetzt. Reicht danach dann powertop --auto-tune? Oder muss man da noch "mehr" machen? Wie ist das mit powertop --calibrate? Edited March 26 by unRAID-Tower Quote Link to comment
DataCollector Posted March 26 Share Posted March 26 (edited) 3 hours ago, unRAID-Tower said: Wie ist das mit dem Onboard SATA Controller? Der kann ja vermutlich auch den "falschen" Chipsatz haben? Was mir bei Powertop auch nicht so ganz klar ist, manchmal sehe ich da keine Werte? Ich meine man sieht nicht, welcher C-State erreicht wird. Da steht dann nirgends ein Wert.... Reicht danach dann powertop --auto-tune? Oder muss man da noch "mehr" machen? Wie ist das mit powertop --calibrate? SATA Ports: Wir reden noch von dem ASUS Prime B760M-A D4-CSM (90MB1D00-M0EAYC) ? Dort sind die 4x SATA 6Gb/s (B760) eben an dem Chipsatz des Mainboards. Das ist nicht "falsch", das ist richtig. Powertop: Wenn er keinen der C2-10 States erreicht, dann erreicht das System eben kaum einen der Schlafzustände und werkelt die ganze Zeit rum. Zu --auto-tune : Wenn ale Komponeten gut mitspielen reicht das aus um alle Komponenten in den richtigen sparsamen Modus zu versetzen. Sollten sich dann aber Probleme zeigen (meine ASM1064 haben die Links zu den Festplatten verloren) kann man dann den Befehl besser nicht nutzen und muß die einzelnen Parameter manuell ausprobieren und einstellen. --auto-tune macht einfach alles so "gut" wie es sein sollte. Aber nicht alle Komponenten spielen dabei auch richtig mit. Edited March 26 by DataCollector Typos Quote Link to comment
unRAID-Tower Posted March 26 Author Share Posted March 26 @DataCollector: Danke das du dir immer so viel Zeit nimmst und die Fragen so genau beantwortest.... Quote Link to comment
DataCollector Posted March 26 Share Posted March 26 (edited) 7 hours ago, unRAID-Tower said: @DataCollector: Danke das du dir immer so viel Zeit nimmst und die Fragen so genau beantwortest.... Ich kann einfach meine Klappe nicht halten 😁 Wenn ich mir wirklich mehr Zeit nehmen würde, wären weniger Tippfehler drin. Die passieren mir überwiegend, wenn ich auf die Schnelle antworte. Edited March 26 by DataCollector Typos 2 Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.