Conker

Die Platten sind die aus dem alten Server, dort war es noch 6.9.2 wenn ich mich richtig erinnere. Dann werde ich mich wohl falsch erinnern mit der Geschwindigkeit. Anders kann es dann ja nicht sein. Jetzt kam die nächste Baustelle auf, ich möchte meinen Backup voll automatisieren. Backup Ziel ist in Google Drive eine "geteilte Ablage". Aktuell realisiere ich dies noch mit einem eigenen Powershell Script das in einer Windows VM läuft. Diese VM läuft aber nicht immer was der Punkt ist. Über Duplicaty usw. habe ich viel gelesen, aber ob eine geteilte Ablage in Google Drive funktioniert, konnte ich bisher nicht herausfinden. In Windows ist es ja ganz easy, da Google Drive als Laufwerk G: eingebunden wird und somit ist das schnell erledigt mit Source und Destination.

@DataCollector es sind Seagate Ironwolf 6TB, die waren auch schon in der alten Hardware zuletzt drin. Das mit dem Array etc. verstehe ich, aber wieso es mit der neuen Hardware plötzlich so viel langsamer ist, verstehe ich nicht. Gerade läuft der Mover auch wieder und ich sehe, dass er parallel liest und schreibt. Beim schreiben auf Platte X sollte der Mover aber nicht von der gleichen Platte lesen müssen. (das kann theoretisch auch nicht von einem anderen Prozess kommen, da Parity und Disc 3 durch den Mover aufgeweckt wurden und das so direkt los ging.)

Ein Problem gibt es jetzt noch zu fixen. Das schreiben ins array liegt bei nur 50-55MB/s, egal ob vom Cache mit dem mover oder direkt aufs array. Ich sehe auch nichts, was ausgelastet wäre. Bei meinem alten System mit Hardware von 2013~ lagen hier um die 100MB/s an. Hat jemand eine Idee was ich hier checken könnte, was limitiert? Parity Check läuft auch deutlich schneller, fängt bei um die 200MB/s an und reduziert sich zum Ende des Checks runter bis auf 120MB/s ca.

@mgutt ich hab zwar kein Screenshot von meinem alten Server, aber Powertop --auto-tune schaut für mich etwas komisch bei meinem neuen Server aus: Das lief bei meinem alten Server außerdem länger, jetzt dauert das nur 1~ Sekunde. Davon ab, ich habe weiterhin immer wieder Spitzen beim Stromverbrauch. Die meißte Zeit bleibt es bei 13,5-14 Watt jetzt mit allem angeschlossen inkl. BR Laufwerk. aber es springt immer wieder mal, so alle 10 Sekunden, auf 17-20~ Watt. Die Windows VM läuft nicht und Docker ist komplett deaktiviert. Wahnsinnig viele Plugins habe ich auch noch nicht am laufen:

ich habe vor kurzem gemerkt, dass das durchreichen via VFIO zu schlechteren C States führen kann, ergo eventuell auch höherer idle Verbrauch. Versuch mal das durchreichen via "/dev/disk/by-id/... schick daran ist, dass du bei laufender VM trotzdem Temperatur, Lese/Schreib Zugriff und Smart Werte in unraid siehst. im Terminal ausführen: ls /dev/disk/by-id/ dann den Pfad "/dev/disk/by-id/" + den Namen der NVME einsetzen (das @ am Ende entfernen) Beispiel von meinem Server

Das verhalten kenne ich so identisch nur bei USB-C (Ladestecker als Beispiel), die wenn ein 2. Gerät angesteckt wird die Verbindung kurz unterbricht um dann mit beiden Geräten einen neuen Handshake abwickelt wieviel Spannung denn geht usw. (und dort wird es als Future, nicht als Bug gesehen) Möglich, dass das der Controller im PC auch so handhabt. Falls an dem Controller auch ein C Port vorhanden ist und 9V etc. unterstützt. Welches Mainboard hast du? hier wurde das auch thematisiert, da eine Konsole dann kurz kein Strom mehr bekommen hat (bin auf Arbeit und kann jetzt nicht genau sagen bei welcher Minute das aufkommt):

noch nicht, die Sata Kabel sind unterwegs. BR Laufwerk hängt jetzt mit drin und der Stromverbrauch hat sich nicht geändert. schwankt zwischen 13,5-14 Watt: Ein Problem habe ich jetzt aber, da ich wegen dem C6 State keinen Controller durchreichen will.. Das durchreichen "by-id" sollte hier ja auch funktionieren, aber um etwas hinzuzufügen sehe ich in der GUI nur den Punkt mit für Platten: Aber hier laufe ich auf einen Fehler, da es natürlich keine HDD/SSD ist: Mit der XML bin ich jetzt nicht so bewandert, wie ich das hier umsetzen soll.. edit: so scheint es zu klappen: <hostdev mode='subsystem' type='scsi' managed='no'> <source> <adapter name='scsi_host10'/> <address bus='0' target='0' unit='0'/> </source> <readonly/> <address type='drive' controller='1' bus='0' target='0' unit='0'/> </hostdev> <memballoon model='virtio'> <address type='pci' domain='0x0000' bus='0x04' slot='0x00' function='0x0'/>

i got an ASM1166 6Port NVME Card and it only adds 1,5-2 Watts (newest FW). But i already was on C6 because of one of my NVME SSD´s. Maybe your power consumption increase comes from also dropping from C8 to C6 before i got the 1166, i used a 1061/1062 and i only got C3 State and was at around 25 Watt. only by changing to 1166 i dropped to 13,5-14 Watt and got C6. Cant recommend the older ASMedia Controller with PCIe 2.0 here is the Card: https://www.amazon.de/gp/product/B0B6RQHY4F/ref=ppx_yo_dt_b_asin_title_o03_s00?ie=UTF8&psc=1 it only uses 2 Lanes, becuase the Controller doesnt Support more: https://www.asmedia.com.tw/product/45aYq54sP8Qh7WH8/58dYQ8bxZ4UR9wG5

So.. die NVME Sata Karte läuft, und der Server geht weiterhin in den C6 State Stromverbrauch stieg im vergleich zu dem Aufbau 3 (12 Watt) um 1,5~2 Watt: Aufbau 4: Max C6. 13,5-14 Watt Onboard Sata Controller noch nichts wegen dem Vergleich, aber wird mit BR Laufwerk an Windows VM durchgereicht NVME ASMedia 1164 Karte (neueste FW Mai 2022) 4x Sata HDD 2x Sata SSD 2x NVME SSD ToDo: neue Sata Kabel.. das ist ein wilder Mix... BR Laufwerk anschließen sobald die neuen Kabel da sind CPU Kühler wechseln.. hab voller Tatendrang gemerkt dass meine Wärmeleitpaste leer ist 😕 Bilder zum Schluss noch von dem Aufbau Zum Ende habe ich noch gemerkt, sobald ich einen Sata controller oder eine NVME SSD via VFIO komplett durchreiche an eine VM, dann komme ich über C3 nicht hinaus. Durchreichen via /dev/disk/by-id/ata-.... behebt das Problem C6 + alles durchreichen was ich brauche

Der NVME Sata Controller kam heute an und das FW Update lief anhieb ohne Probleme durch. Zwecks der C-States kann ich erst testen wenn mein Backup durch ist, das sind aber noch ein paar TB bei knapp 50mbit/s upload. Fraglich ist wieso die Platine so ultra dünn ist.. nur um dann ein weiteres Board zum stabilisieren dran zu schrauben. Davon ab ist es echt beeindruckend wie gut und schick verpackt das kostenlose Sockel Kit von Noctua ist.

in meinem alten Server in dem die Karte zuletzt aktiv lief, war der Stromverbrauch auch nur um 5 Watt erhöht. Das war aber noch ein Server mit Intel E5 2690v2 von 2013. Ich hab mich jetzt bei ASMedia etwas schlau gemacht und Karten mit ASM1061 & 1062 sind noch Karten mit PCIe Gen2 und unterstüzen diverse Stromsparmodi etc nicht. (Links ASM1061 Rechts ASM1064) Quelle diese Power Savings fangen ab den 1064er an und sind bis zum 1166 enthalten. Ich werde mal eine 1166 ordern und schauen ob ich mit der den C6 State halten kann.

Die Sata SSD´s waren als BTRFS Pool angelegt, ja. Die NVME waren in keinem Test in einem Pool wurde nach jedem Boot neu ausgeführt Dann weiß ich auch nicht was da läuft, muss ich mal beobachten Welches ASPM soll eigentlich im Bios eingestellt werden? Habe die Auswahl zwischen Disabled/Auto/L0s/L1/LosL1 (L1 war konfiguriert)

Server hatte ich nun in diversen Aufbauten am laufen: Aufbau 1: Max C3. 38 Watt .... LSI9207 4 Sata HDD 2 Sata SSD Onboard Sata Ports deaktiviert 2 NVME SSD Aufbau 2: Max C2. 25 Watt Onboard Sata Controller 4x Sata HDD PCIe ASMedia 1061 Karte 2x Sata SSD 2x NVME SSD Aufbau 3: Max C6, 12 Watt Onboard Sata Controller 4x Sata HDD 2x NVME SSD (keine Sata SSD´s, würde auch funktionieren, da nicht unbedingt nötig) Aufbau 4: Max C8, 11 Watt Onboard Sata Controller 4x Sata HDD (geht garnicht, da gar keine SSD für Cache und Docker etc.) Ich tendiere zu Aufbau 3, wenn mir aber jemand (@mgutt du vielleicht :D) einen Sata Controller empfehlen kann, der hier den C State nicht so stört, wäre es super. (M-Key Slot für Wlan/BT oder auf PCIe wäre als Anschluss möglich) Da ich einen eigentlich zum durchreichen des BR Laufwerks brauche.. Was etwas stört ist, dass die der Verbrauch immer wieder mal kurz für ne Sekunde 3-4 Watt springt, das hat mgutt ja bei unRaid nach 6.9.2 schon festgestellt. Und just for fun, C10 ~5Watt hatte ich ohne Laufwerke nur mit unraid

@ullibelgie ich hab meins bei Mindfactory gekauft. Da wo ich meine Hardware normalerweise beziehe, bekomme ich die Hardware zum EK. Diesmal war Mindfactory preislich trotzdem leicht besser aufgestellt mit dem Midnight-Shopping einberechnet, Mindfactory bekommt halt nach X Jahren auf dem Markt bessere Preise. Fehlt nur noch der Ram der hoffentlich heute kommt. Gestern habe ich schon alles bis auf den Ram zusammengebaut und musste feststellen, dass mein Noctua NH-L12S keine passende backplate für Sockel 1700 hat. Hadere noch ob ich Noctua schreibe, da bekommt man diese kostenlos zugesandt oder ob ich mir den Passiv Kühler von Noctua kaufe. Verbaut ist alles in einem Fractal Design Define 7 und der hintere Lüfter würde perfekt hinter dem Kühler sitzen. (bzw. der würde hinten oben im Deckel angebracht werden.

ich würde die Platte ins Array packen und die Daten dann auf die neue Platte schieben (unbalance heißt das Plugin wenn ich mich recht erinnere) Danach das Array verkleinern: https://wiki.unraid.net/Shrink_array

seems like @Kir posted the Solution

Da ich den Server zum laufen bekommen will und der Dell bereits verkauft ist, möchte ich nicht warten. Wenn da mit der Effizienz noch was geht, kann ich ja wechseln, Sockel ist der gleiche wie ich sehe. Den 12500 hab ich zu einem guten Preis bekommen und der Dell wurde mit guten Gewinn verkauft, hat effektiv die komplette neue Hardware gesponsered.

Servus Hi, nachdem ich mit meinem Dell T630 harte Probleme hatte steige ich nun auf eine Eigenbau Lösung um. Durch @mgutt kam ich aufs HardwareLuxx Forum und einen Aufbau der nur 3~Watt verbrauchen soll: Klick Da das Board beim zweiten 16er Slot nur mit x1 angebunden ist, habe ich mich für das sehr ähnliche Board mit Q statt B Chipsatz entschieden. hier hat der 2. 16er Slot zumindest X4 Anbindung, was für meine LSI 9207 perfekt reicht und der Voll angebundene 16er steht für die Zukunft frei. Dazu kommt: - i5-12500 - 2x 16GB DDR5 (nur on-die ECC) - Corsair RM550x Netzteil - LSI 9207 Raid Karte im IT Mode - 2x Intel DC S3520 480GB Sata SSD - 1x Samsung 870 Evo 1TB NVME SSD mal sehen was für ein Stromverbrauch bei dieser Konstellation raus kommt, die LSI Karte alleine braucht 5 Watt. (an C-State 10 glaube ich nicht mit der LSI Karte..) Die LSI Karte performte bei mir schon immer deutlich besser als die onboard Sata Controller, weswegen ich schon lange eher zu dieser Lösung tendiere. Geplant war die 1TB als Schreibcache (wird ausschließlich benutzt wenn ich neue Blurays kaufe und wieder einen Stapel am Stück rip. Hier ist Ausfallsicherheit irrelevant. bei den 2 Intel SSD´s war ein Raid1/Mirror für Docker und meine eine Windows VM gedacht. Ich bin jedoch kein BTRFS Fan und ZFS wird bislang nicht nativ unterstützt. Mal sehen welchen weg ich hier gehen werde. Die Hardware kommt die Tage bei mir an, Messergebnisse werde ich dann hier posten. Vielleicht wird dann auch 12th Gen für stromsparende Setups empfohlen :), meißt lese ich nur von 9th, max 10th Gen Empfehlungen Cheers

bei mir ist es zwar ein H730p in einem T630, aber schau mal ob du im IT Mode den Cache des Raid Controllers deaktivieren kannst?! Der Cache auf dem Controller läuft im IT/HBA Mode weiter wenn nicht deaktiviert.. und hat bei mir Probleme ohne ende bei Seagate Ironwolf Pro´s gemacht, bei den Non Pro Modellen wiederum nicht. Davon ab Performanceprobleme ohne Ende. Parity Check 28mb/s mit einer LSI 9207 180mb/s

@mgutt knapp über 300€ ist natürlich ein stolzer Preis. Könnte es zum EK von 220€ besorgen, falls du an dem Board auch Interesse hättest

kleines Highlight?! 3~Watt.. Ich verstehe nicht wie das funktioniert

Ich habe mich nun dazu entschieden den Dell Server zu verkaufen. Zuviele Probleme und am Ende kommt nach einer Lösung das nächste Problem hinterher.. Beispiel: Array neu aufgebaut, Parity Check läuft mit 25mb´s.. Array ohne Parity Platten, schreiben auf die Platten mit 23-25mb´s.. Irgendwas will da nicht zusammen, ist auch egal. Eigenbau wie vor dem Dell Kasten steht an. Und diesmal Stromsparend 😃 @mgutt Ich hab schon viel von Hardwarevorschlägen von dir gelesen zwecks Strom sparender Hardware. Sind diese Sachen noch der aktuelle Stand, oder gibt es schon eine neue Generation, bzw. etwas was Lieferbar ist

hab jetzt mal bischen Janky eine Platte oben frei aufgelegt und an den internen Sata DOM Port gesteckt. Genau die Platte fährt runter und bleibt auch im Standby/Spindown sobald ich eine 9300er habe weiß ich ob es an der Dell Perc H730p liegt oder an dem BAckpanel, beides hat ja ein FW update bekommen

hab gestern Abend gesehen, es gab jetzt doch noch ein FW Update für den Perc und die Backplanesogar auch.. Was soll ich sagen, jetzt geht der Spindown nirgendwo mehr 💩 edit: sehe gerade, dass nach dem FW Update der Cache auf dem Perc auch für HBA Mode aktiviert wurde.. nachher mal testen ob das der Grund ist, dass der Spindown garnicht mehr geht edit: Hat leider nichts gebracht. @ich777 Jetzt ist die frage eine LSI9300 8i 12gb (hat somit die gleichen Werte wie die aktuelle Dell Perc H730p) kaufen oder es mit einer Dell HBA Karte versuchen die auch 8i 12gb hat. Vorteil an der Dell Karte wäre, ich könnte sie in den internen Slot stecken, eine die LSI Karte würde hier den Server vom booten abhalten. Außer man änder auf der Karte den Vendor etc. wie hier:

@ich777 ich bin auf der neuesten Fw. bei der 730er gibt es keinen IT Mode zum flashen, du kannst Sie direkt in HBA Mode stellen.