April 16, 20251 yr Moin zusammen, kurz zur Umgebung, ich möchte versuchen meine 6-Server die Zuhause stehen versuchen auf ein einzelnes System zu migrieren. Geplant war, das ich hier mein Unraid-Server verwenden kann. Sollte sich dafür ja eigentlich anbieten. Ich hoffe mir dadurch vielleicht etwas Strom zu sparen. Meine komplette Umgebung mit allem drum und dran frisst ca. 120 - 140 Watt. Hardware und Systeme: - 1x Unraid (Speicher für Anwendungen, Netzlaufwerke, Medienserver, Backups und diverse Container) (Intel i5 12400) - 1x TrueNAS => ASUStor FS6706t (Storage für Proxmox) - 4x Proxmox-Cluster (Host für ca. 40 VMs / LXC-Container) => Lenovo M710Q (i5 6500t / 64GB RAM) Laut der Proxmox-Cluster Übersicht habe ich ca. 30% CPU-Auslastung und 64GB von 256GB RAM Auslastung. Damit ich meinen Unraid-Server entsprechend mit RAM aufrüsten kann, brauche ich ein neues Mainboard. Aktuell verwende ich ein ASUS Prime B760M-K. Ich bin mit dem Stromverbrauch des Mainboards echt zufrieden. Mein Unraid frisst im Idle nur gute 20 - 25 Watt (6x HDDs / 2x NVMe / 1x Sata SSD) Ich würde ein Mainboard brauchen welches mit meiner aktuellen CPU kompatibel ist (Intel i5 12400). Weitere Anforderungen: - 4x RAM Steckplätze - 2,5 GBe - min. 2 PCIe - Gerne mit PCIe Bifurcation Support => Damit ich mein TrueNAS System ablösen kann und die NVMe's verwenden kann - min. 2x NVMe - SATA Festplatten werden über einen PCIe Sata-Controller angebunden - Stromsparend im Idle Kennt jemand vielleicht ein entsprechendes Mainboard? Und ist es realistisch das ein einzelnes System den gesamt Verbrauch reduzieren kann?
April 16, 20251 yr 49 minutes ago, phillip.de said: - 4x Proxmox-Cluster (Host für ca. 40 VMs / LXC-Container) => Lenovo M710Q (i5 6500t / 64GB RAM) Laut der Proxmox-Cluster Übersicht habe ich ca. 30% CPU-Auslastung und 64GB von 256GB RAM Auslastung. Hätte nicht gedacht, daß man 40 vollwertige VM gleichzeitig mit so wenig CPU Power stemmen kann. Ich nutze kein proxmox, verstehe aber nicht wie ein System mit physikalisch 64GB Ram zu der Aussage führt: 64GB Ram von 256GB Ram Auslastung. Sind es nun physikalisch 64 oder 256GB Ram? Oder sind es nur 256GB virtuelles Ram? 49 minutes ago, phillip.de said: Damit ich meinen Unraid-Server entsprechend mit RAM aufrüsten kann, brauche ich ein neues Mainboard. Aktuell verwende ich ein ASUS Prime B760M-K. Tja, ASUS Prime B760M-K (90MB1FI0-M0EAY0 / 90MB1FI0-M1EAY0) 2x DDR5 DIMM, Dual Channel, UDIMM (Non-ECC), max. 96GB (UDIMM) 1x PCIe 4.0 x16 2x PCIe 4.0 x1 2x M.2/M-Key (PCIe 4.0 x4, 2280/2260/2242) 4x SATA 6Gb/s (B760) Mit nur 2 Ram Sockeln etws knapp. Du kannst bei dem Mainboard vielleicht auf kompatibilität zu den neuen 64GB DDR 5 Ram Modulen hoffen. Ansonsten hat das von mir getestete Gigabyte B760M DS3H DDr4 4 (DDR4!) Ram Sockel und ansonsten sehr ähnliche/kompatible Schnittstellen/Slots. 49 minutes ago, phillip.de said: Ich bin mit dem Stromverbrauch des Mainboards echt zufrieden. Mein Unraid frisst im Idle nur gute 20 - 25 Watt (6x HDDs / 2x NVMe / 1x Sata SSD) 6 HDDs? Da muss dann aber noch irgendwas vorhanden sein, da das Board ja nur 4 SATA Ports bietet. 49 minutes ago, phillip.de said: Ich würde ein Mainboard brauchen welches mit meiner aktuellen CPU kompatibel ist (Intel i5 12400). Weitere Anforderungen: - 4x RAM Steckplätze - 2,5 GBe - min. 2 PCIe - Gerne mit PCIe Bifurcation Support => Damit ich mein TrueNAS System ablösen kann und die NVMe's verwenden kann Bifurcation hat es nicht, aber ansonsten: GIGABYTE B760M DS3H DDR4 49 minutes ago, phillip.de said: - min. 2x NVMe - SATA Festplatten werden über einen PCIe Sata-Controller angebunden Darf man fragen ob es ein ASM1166 basiertes Modell (oder zumindest ASm1064 mit neuer Firmware) ist? 49 minutes ago, phillip.de said: - Stromsparend im Idle Kennt jemand vielleicht ein entsprechendes Mainboard? https://forums.unraid.net/topic/156160-gigabyte-b760m-ds3h-ddr4-verschiedene-messungen-werte/ Es ist zumindest nackt/idle mit rund 9W ziemlich sparsam. Wie es sich mit den (leider unbekannten9 Zusatzkomponenten verhält, kann man natürlich nicht wirklich sagen. Es gibt NVMe SSD, die Stromsparzustände verhindern/verschlechtern, es gibt PCIe Steckkarten, die sich auch negativer als andere auswirken. Natürlich ist eine anhaltende Last durch VM (& Docker) auch nicht dazu geeignet dauerhaft tiefste C-States beizubehalten. Die (hoffentlich weitgehend schlafenden) SATZA Festplatten sind dann auch noch mit je ca. 1W dabei.... Edited April 16, 20251 yr by DataCollector Ergänzung zu weiteren Komponenten
April 16, 20251 yr Author Ich versuche mal auf alle Dinge einzugehen 2 hours ago, DataCollector said: Hätte nicht gedacht, daß man 40 vollwertige VM gleichzeitig mit so wenig CPU Power stemmen kann. Wie ich schon meinte, ist das ein Mix aus VMs und LXC-Containern. (10 VMs & 25 LXC-Container). Ich werde vermutlich nicht komplett auf das Proxmox-Cluster verzichten können. Aber ich denke, wenn ich z.B. das TrueNAS System loswerden würde, würde ich auch einiges an Energie sparen. 2 hours ago, DataCollector said: verstehe aber nicht wie ein System mit physikalisch 64GB Ram zu der Aussage führt: 64GB Ram von 256GB Ram Auslastung. Das Cluster besteht aus 4x Hosts mit jeweils 64GB Arbeitsspeicher. So komme ich auf die 256GB. Und in der Gesamtübersicht des Clusters, kann man ja die gesamt Auslastung des Clusters sehen. Sprich, von den Cluster Ressourcen werden 64GB benötigt. 2 hours ago, DataCollector said: Ansonsten hat das von mir getestete Gigabyte B760M DS3H DDr4 4 (DDR4!) Ich werde mir das mal anschauen. Wie sieht das denn mit dem Stromverbrauch zwischen DDR4 und DDR5 aus. Ist das ein merklicher Unterschied? 2 hours ago, DataCollector said: Darf man fragen ob es ein ASM1166 basiertes Modell (oder zumindest ASm1064 mit neuer Firmware) ist? Verbaut ist laut Unraid ein ASMedia Technology Inc. ASM1166 Serial ATA Controller. Passt das? Ich kenne mich da leider nicht so aus 😅 Als Cache habe ich 2x Crucial P3 mit 2TB verbaut. Konfiguriert als 2 ZFS Als normale HDDs sind aktuell Seagate Ironwolf Platten verbaut. Ich hoffe ich konnte damit etwas Licht ins dunkle bringen 😅
April 16, 20251 yr 1 hour ago, phillip.de said: Ich werde mir das mal anschauen. Wie sieht das denn mit dem Stromverbrauch zwischen DDR4 und DDR5 aus. Ist das ein merklicher Unterschied? Es ist ein Unterschied, aber da es kein Mainboard gibt, bei dem man es direkt DDR4 und DDR5 testen kann hängt es auch immer vom Board ab. DDR5 ist aber aufgrund von höheren Takten und der technischen Besonderheiten bis hinauf zum Retiming und "On Die ECC" energiehungriger. Wie viel das exakt ist, kann ich nicht sagen. Da Du von 2 Ram Riegeln auf 4 aufsteigen willst (falls Du es nicht mit den neuen 64GB DDR5 von Crucial probieren willst) wirst Du für RAM sowieso mehr einplanen müssen. 1 hour ago, phillip.de said: Verbaut ist laut Unraid ein ASMedia Technology Inc. ASM1166 Serial ATA Controller. Passt das? Ich kenne mich da leider nicht so aus 😅 Da Du Dich damit nicht näher befasst hast, gehe ich mal von einer PCIe x4 (elektrisch x2) Steckarte im X16 Slot aus, welche möglicherweis enicht geflasht ist und vielleicht (oder auch nicht) die tieferen C-States (ASPM) beeinflusst.. Das ist okay. Ich würde bei Deinem oder auch meinem Mainboard zwar aktuell eher PCIe x1 Karten bevorzugen, weil die Slots nunmal da sind und man dann den X16 noch für was anderes (Du sprachst von weiteren NVMe SSD) nutzen kann. Eine PCIe x1 Karte ist zwar (bei flotten Festplatten mit jeweils ca. 250MByte/s im Mittel) nur für 4 SATA Festplatten gut, aber da Board hat ja auch nioch 4 Ports. somit wären Deine gesamt 6 Festplatten immer noch gut weiter nutzbar. Nach aktuellem Stand würde ich eine billige ASM1064 Kontrollerkarte (PCIe x1 für 4 SATA Ports) nehmen, die neueste Firmware flashen und eben in einen der PCIe x1 Slots stecken. Dazu verweise ich auf: https://forums.unraid.net/topic/185255-asm1064-test-der-firmwares/ Falls Dich das Thema SATA Zusatzkarte näher interessiert hast Du hier Lesestoff: https://forums.unraid.net/topic/132205-faq-grundlagen-zusatzkarte-für-sata-ports-v15-stand-18012025/ 1 hour ago, phillip.de said: Als Cache habe ich 2x Crucial P3 mit 2TB verbaut. Konfiguriert als 2 ZFS Hm.. die sind bei meinen Tests von der Dauerschreibleistung eher schlecht weggekommen. Die habe ich wieder zurückgeschickt (als 4TB Varianten). Leider sind die P3 Plus auch nicht besser. Aber mir ist zumindets nicht aufgefallen 8habe abera uch nicht drauf geachtet), daß sie idle die C-States negativ beeinflussen. Du schreibst 2 Stück und von 2 ZFS. Also 2 unterschiedliche Pools. Wofür nutzt Du dann ZFS? Der Redundenz wegen kann es ja nicht sein. Wenn man die Spezialfunktionen nicht braucht ist unter unraid bei Single Drives xfs zumindest meine Wahl. Edited April 16, 20251 yr by DataCollector
April 16, 20251 yr Author 3 hours ago, DataCollector said: Es ist ein Unterschied, aber da es kein Mainboard gibt, bei dem man es direkt DDR4 und DDR5 testen kan Okay, der wird ja dann wohl echt minimal sein... 3 hours ago, DataCollector said: falls Du es nicht mit den neuen 64GB DDR5 von Crucial probieren willst) Probieren auf jedenfall, dann spare ich mir eventuell ein neues Mainboard. Mein primäres Ziel wäre es nur erstmal das TrueNAS abzulösen. Damit ich zumindest erstmal nur einen Speicherserver im Netzwerk habe. Das Teil frisst gute 20 - 30 Watt je nach Schreibbedarf von Proxmox. 3 hours ago, DataCollector said: PCIe x4 (elektrisch x2) Steckarte im X16 Slot aus, Tatsächlich handelt es sich um eine X1 Karte (MZHOU PCIe SATA Karte / ASM1166) und die steckt in dem X1 Slot. Der X16 Slot ist noch frei Geflasht habe ich die Karte nicht, damit habe ich mich noch nicht beschäftigt 😅 BIOS Updates installiere ich schon, aber das Flashen von Firmware auf solche Controller ist mir noch neu 4 hours ago, DataCollector said: https://forums.unraid.net/topic/132205-faq-grundlagen-zusatzkarte-für-sata-ports-v15-stand-18012025/ Ich werde mir das auf jedenfall mal durchlesen, danke! 3 hours ago, DataCollector said: Hm.. die sind bei meinen Tests von der Dauerschreibleistung eher schlecht weggekommen Ich habe mit der eigentlich echt gute Erfahrungen gemacht. Ich habe aber auch noch nicht die dicken Schreibleistungen benötigt. Bisher hat es gereicht 😅 Aber gut, dann werde ich mich mal in Zukunft nach anderen umschauen. Welche sind denn eine gute Alternative? DIe von Samsung? 3 hours ago, DataCollector said: Du schreibst 2 Stück und von 2 ZFS. Ich stelle das vielleicht mal etwas genauer dar Folgende Pools / Arrays sind bei mir konfiguriert: - 1x ZFS (Raid 1) mit 2x Crucial P3 2TB => Cache - 1x XFS (HDDs) => Array - 1x einzelne SSD für ISOs für Proxmox Ich würde dann gerne ein weiteres ZFS (Raid 5) einrichten, für die Proxmox VM-Daten. Daher bin ich momentan am überlegen, wie ich die NVMe Festplatten aus dem TrueNAS (4x 1TB) in meinem Rechner zum Laufen bekomme. Da das Mainboard kein PCIe Bifurcation unterstützt, kann ich hier ja keinen 4x4 NVMe PCIe Adapter verwenden. Ich hätte noch einen x4 NVMe Adapter für eine NVMe herumfliegen. In dem TrueNAS sind aber 4 NVMe verbaut. Und soweit ich das verstanden habe, könnten die NVMe Platten nicht per Adapter auf Sata angeschlossen werden, da diese aufgrund des Protokolls nicht kompatibel sind. Oder?
April 16, 20251 yr 2 hours ago, phillip.de said: Okay, der wird ja dann wohl echt minimal sein... Das wäre jetzt nicht meine Meinmung. DDR5 ist aufwändiger udn energiehungriger. Aber der Unterschied bei ansonsten gleicher Speichergröße und Modulanzuahl jetzt nicht 10 oder mehr Watt ausmachen. 2 hours ago, phillip.de said: Probieren auf jedenfall, dann spare ich mir eventuell ein neues Mainboard. Schau erst nach einem neuen BIOS. Erst wenn Du sowas has, sind die Chancen gegeben, daß die neuen 64GB DDR5 RAM Module auf dem Mainboard funktionieren. Da DDR5 in der Regel auch teurer ist, als DDR4 wird das ein teures Experiment. 2 hours ago, phillip.de said: Tatsächlich handelt es sich um eine X1 Karte (MZHOU PCIe SATA Karte / ASM1166) und die steckt in dem X1 Slot. Der X16 Slot ist noch frei Hatte ich Dich falsch verstanden oder hast Du nicht 6 Festplatten an dem PCIe x1 Kontroller? Ich gehe mal davon aus, die sind alle im Array eingebunden. Entweder sind die recht alt/klein oder Du lebst mit Geschwindigkeitseinbußen bei Paritycheck, Paritysnc und (falls verwendet) reconstruct write. 2 hours ago, phillip.de said: Ich habe mit der eigentlich echt gute Erfahrungen gemacht. Ich habe aber auch noch nicht die dicken Schreibleistungen benötigt. Bisher hat es gereicht 😅 Aber gut, dann werde ich mich mal in Zukunft nach anderen umschauen. Es sind gute NVMe SSD, wenn man preiswert sowas braucht und sie eben nicht für viel Schreibleistung braucht. In einem Desktop zum booten sind die vollkommen okay. Wie vieles andere an Hardware und auch bei unraid, kommt es eben darauf an, welche Ansprüche und Anwendungen man hat. Du mußt die nicht austauschen, wenn sie genau das tun, was Du willst. Ich habe eben andere Szenarien und Ansprüche als Du. Wenn es jetzt um Neukauf gehen würde, würde ich zu was anderem raten. Aber Du hast sie, bist zufroieden und deswegen musst Du sie nicht rauswerfen. 2 hours ago, phillip.de said: Welche sind denn eine gute Alternative? DIe von Samsung? Ich bevorzuge aktuell NM790, AData Legend 960, Patriot Viper V4300L, weil die sich in meinen Test gut geschlagen haben und es gibt sie auch in 4TB. Die Viper ist bei der Anzeige der Tempetraturen unter Dauerschreiblast am kühlsten geblieben,. weshalb ich diese aktuell bevorzuge (wenn die Preise fast gleich sind).. Davor habe ich sehr gerne die Samsung 970 Evo Plus 2TB verwendet. 2 hours ago, phillip.de said: Ich stelle das vielleicht mal etwas genauer dar Folgende Pools / Arrays sind bei mir konfiguriert: - 1x ZFS (Raid 1) mit 2x Crucial P3 2TB => Cache - 1x XFS (HDDs) => Array - 1x einzelne SSD für ISOs für Proxmox Ich würde dann gerne ein weiteres ZFS (Raid 5) einrichten, für die Proxmox VM-Daten. Raid5 ... das sind dann die erwähnten NVME SSD aus dem anderen System? Tja, Dein Mainboard hat einen PCIe x1 belegt für den ASM1166. Die beiden Onboad M.2 sind legt durch Dein zfs Raid1 mit den P3. Es bleiben also nur der PCIe x1 und der PCIe x16 (der vermutlich kein Bifurcation beherrscht). Raid5 erfordert 3 Datenträger oder mehr. Mit Deinem Mainboard oder auch dem von mir erwähnten Gigabyte B760M DS3H DDR4 wird das nativ also nicht klappen. Entweder Du benutzt einen teueren und stromhungrigen PCIe Switch als Steckkarte um bis zu 4 NVMe in dem PCIe x16 Slot zu nutzen oder Du findest ein Mainboard mit bifurcation. Hier erwähne ich mal das getestete ASUS Prime Z690-P D4-CSM (90MB18P0-M0EAYC), welches bei mir Bifurcation anzeiget udn in Tests als x8x8 auch nutzen konnte. Damit wären nativ zumindest 2 NVME im x16 Slot (per Bifurcatioon Adapter) möglich. Hier der Beitrag dazu. Technische Details und Verbrauchswerte sind direkt darüber in den beiden Beiträgen zu finden. (Das Board hat nur 1 GBLan onboard, aber das kann man ja in einem PCIe Slot mit 2,5GBLan ausbessern, da das Mainbvoard generell auch mehr Steckplätze bietet). https://forums.unraid.net/topic/159527-asus-prime-z690-p-d4-csm-90mb18p0-m0eayc-messung/#findComment-1407701 Ich habe es aber nur kurz unter unraid vermessen. https://geizhals.de/asus-prime-z690-p-d4-csm-90mb18p0-m0eayc-a2637165.html Auf dem ASUS könnte man somit ggf. Dein zfs raid5 mit 3 oder 4 NVMe zusätzlich unterbrinmgen. Und ja, Du hast recht: NVME SSD laufen nicht an SATA. Edited April 16, 20251 yr by DataCollector Laug GH hat das Board doch 2,5GBLan
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.