SebastianSchmidt Posted June 9, 2024 Posted June 9, 2024 (edited) Hallo Community Anbei mein kleiner Testbericht zu meinem (potentiell) zukünftigen Softrouter - dabei handelt es sich um ein solches Modell: Ich plane das Gerät als Router/Firewall einzusetzen. Durch die Dual 10Gbe NIC sollte es für meinen Fiber-Internetanschluss mit max. 10Gbe symmetrisch gut geeignet sein. Das System kam als Barebone und ich habe noch 16GB SO-DIMM DDR5 und eine kleine Samsung NVME mit 128 GB eingebaut. Hier zwei Fotos vom Mainboard und der SFP+ Netzwerkkarte: Das UEFI ist leider schon etwas älter, aber bisher habe ich keine neuere Version gefunden und CWWK hat bisher nicht auf meine Nachfrage nach einem Update reagiert: Wie im Titel erwähnt, handelt es sich bei dem Prozessor um einen Intel N100 (i7z-output): Beim ASPM-Status mit/ohne <pcie_aspm=force> Bootparameter sieht es leider schlecht aus: LSPCI-Output: Sensors-detect: So lange es keinen IT8613E-Treiber gibt, fehlen hier also weitere Systeminformationen, die über <coretemp> hinausgehen. ---------------------------------------------------------------------------------------------------------------- Powertop Alle nachfolgenden Tests habe ich unter Ubuntu 22.04 (statt 24.04) durchgeführt. Irritierenderweise erreicht der Rechner unter 24.04 nämlich nur C3, während es unter 22.04 locker C10 sind. Das OS habe ich auf die NVME installiert, damit meine Testprogramme bei einem Neustart weiterhin verfügbar waren und auch das Booten schneller vonstatten ging. Powertop im Idle-Zustand ohne <powertop --auto-tune>: Wenn ich <powertop --auto-tune> anwende, friert der Desktop ein und ich muss den Rechner per Power-Taste ausschalten. Stückchenweises Probieren hat leider den Stromverbrauch nur unwesentlich gesenkt und auch beim vorsichtigen Vorgehen habe ich es bisher nicht geschafft herauszufinden, welches Tuning zur Systeminstabilität führt. Deshalb habe ich alle weiteren Tests ohne Tuning durchgeführt! Positiv ist, dass C10 praktisch augenblicklich nach dem Bootvorgang erreicht wird. Dabei liegt der Verbrauch (gemessen über eine Athom ESPhome Steckdose) bei ca. 15.4 W ohne Netzwerkkabel, mit USB-Wireless Tastatur-Dongle. Für mich ist das erstaunlich viel, aber beim oben angezeigten ASPM-Zustand wohl auch zu erwarten. ------------------------------------------------------------------------------------------------------- Performance und Verbrauchstests Als nächstes habe ich mit <stress> und <s-tui> eine Weile getestet. Dabei sind die Temperaturen mit 43° und einer Lüfterdrehzal von 1200 rpm (noch angenehm leise) meiner Ansicht nach gut: Die <btop>-Ausgabe sieht wie immer farbenprächtig aus: Ich habe auch einen Prime-Test gestartet, um die CPU noch ein wenig mehr zu stressen und den Maximalverbrauch (27.2 W) des Systems herauszufinden (1x 2.5 Gbe und 2x 10m AOC SFP Kabel): Die Netzwerkperformance habe ich mit <iperf3> gegen meinen Unraid Server getestet, der eine Intel X710 NIC verbaut hat. Test über eine der 2.5 Gbe NICs: Der Durchsatz sieht für mich ganz gut aus. Der Stromverbrauch ist natürlich mit 17.6 W leicht erhöht. Test über einen 10 Gbe Port: Wieder guter Durchsatz, bei Standard MTU und ohne sonstige Tweaks. Erfreulich ist auch der relativ niedrige CPU Takt von ca. 1300 MHz. Powertop zeigt, dass die CPU sich überwiegend langweilt: Zum Abschluss noch der Test, der mich am meisten Interessiert....die gleichzeitige Verwendung beider 10Gbe NICs. In meinem Router-Anwendungsfall benötige ich im Worstcase volle Down- und Upstream-Bandbreite. Insgesamt also 20 Gbe Bandbreite zuzüglich eines relativ vernachlässigbaren Anteils für den Rückkanal. Da ich <iperf3> sowol auf dem Server als auch auf dem Testgerät als Client und Server starten musste, poste ich hier mal den btop-Screenshot. Der Durchsatz ist im unteren linken Quadranten dargestellt - interessant ist auch die CPU-Frequenz und die Prozessorauslastung: Es werden also 9.15-9.17 Gbe erreicht, wobei die CPU durchaus noch Luft nach oben hat. Das wäre für mich absolut ausreichend. Powertop überrascht mich mit einem relativ hohen Anteil an C10-State: Der Stromverbrauch ist mit 24W in dem Fall allerdings schon relativ hoch: ---------------------------------------------- Mein Fazit: Für meinen Softrouter-Anwendungsfall mit 10Gbe Internetanschluss hat die kleine Kiste definitiv genügend Leistungsreserven. Negativ fällt der hohe Stromverbrauch auf, der sich übrigens durch das Herausziehen der Netzwerkkabel nur um 2.3 W senken lässt, aber auch im Idle-Zustand nicht unter etwa 17.7 W mit zwei angeschlossenen AOC-SFP-Kabeln fällt. Gewünscht hätte ich mir hier etwas zwischen 10-13W Gesamt-Idle-Verbrauch. Als Hauptursache sehe ich den miesen ASPM-Zustand, wobei mir hier nicht ganz klar ist, warum super C10-States erreicht werden. Bei meinen anderen Unraid-Builds hatte ich immer das Problem, dass ich mich ZUERST darum kümmern musste das ASPM aktiviert war, bevor solche C-States überhaupt erreichbar waren. Ausserdem lassen sich die PLs im UEFI nicht einstellen, sondern nur ein "Thermal Offsett", der zwar letztlich die CPU stark limitiert, aber den Gesamtverbrauch kaum beeinflusst. Die Wärmeentwicklung und Lautstärke gehen für mich dagegen in Ordnung. Die Lüftergeschwindigkeit lässt sich über 3 Temperaturstufen im UEFI einstellen, sodass der Lüfter in meinem Fall tatsächlich erst ab 42° anläuft (gerade noch angenehm säuselnd) und ab 60° mit voller Geschwindigkeit wie eine Turbine klingt. Soweit mein kleiner Review/Testbericht. Für Fragen und ergänzende Messungen bin ich diese Woche noch zu haben, falls jemand Bedarf sieht. Grüsse, Sebastian Edited June 9, 2024 by SebastianSchmidt Überflüssige Screenshots entfernt und kleine Korrektur im Fazit zum Idle-Verbrauch mit 2x AOC-SFP-Kabeln. 1 Quote
MPC561 Posted June 11, 2024 Posted June 11, 2024 (edited) Ohne jetzt alles detailliert gelesen zu haben. Du redest von C10, und ich habe den Eindruck Du glaubst Du redest vo gleichen C10 oder C6 wie die Leute im Stromsparthread. Ich "glaube" und bitte verzeih mir Du verstehst da was nicht richtig. Es gibt C-States auf unterschiedlichen Ebenen. CPU C-States (und da erreicht deine CPU mitunter C10) und Package (Pkg) C-States. Der Scope der CPU C-States ist die CPU und erst wenn die oft in hohe C-States kommt können tiefere Pkg C-States erreicht werden. Der Scope der Pkg C-States ist das gesamte Mainboard und die angeschlossene Peripherie wie HDDs/SSDs/NVMEs/PCIe Devices. Beim Energiesparen ist es das Ziel möglichst hohe Pkg C-States zu erreichen. In denen werden Spannungsregler abgeschaltet, NVME/SSD/HDD in Energiesparmodi geschickt etc. In deinen Powertop Bildern nutzt Du Powertop 2.14 was für deinen CPU offensichtlich nicht angepasst ist. Die C-Pkg States werden gar nicht komplett angezeigt bzw falsch. C10 pkg erreichst du mit dem JMB Controller und mit ASPMdeaktiviert nie. Deswegen ist das Bild von Dir nur bedingt aussagekräftig. Richtig würde das so aussehen: Links oben siehst Du Pkg HW. Das sind die "richtigen" C-Pkg States von denen hier jeder redet. (Screenshot ist von einem i5-7500T und nicht vom N100, der hätte was anderes bei den CPU C-States stehen). On 6/9/2024 at 8:08 PM, SebastianSchmidt said: Wenn ich <powertop --auto-tune> anwende, friert der Desktop ein und ich muss den Rechner per Power-Taste ausschalten. Stückchenweises Probieren hat leider den Stromverbrauch nur unwesentlich gesenkt und auch beim vorsichtigen Vorgehen habe ich es bisher nicht geschafft herauszufinden, welches Tuning zur Systeminstabilität führt. Deshalb habe ich alle weiteren Tests ohne Tuning durchgeführt! Der Absturz wird mit hoher Sicherheit vom JMB Sata Controller her kommen. Irgendwo (ich glaube im Stromsparmodi thread) hat mgutt mal die manuellen Befehle aufgeschrieben die powertop --auto-tune macht. Die kann man stattdessen ins go File aufnehmen und natürlich die SATA relevanten weglassen. Dürfte noch ein paar W bringen. Alternativ kann man auch tlp einsetzen und das da entsprechend konfigurieren. Edited June 11, 2024 by MPC561 2 Quote
DataCollector Posted June 11, 2024 Posted June 11, 2024 (edited) 7 hours ago, MPC561 said: Der Absturz wird mit hoher Sicherheit vom JMB Sata Controller her kommen. Irgendwo (ich glaube im Stromsparmodi thread) hat mgutt mal die manuellen Befehle aufgeschrieben die powertop --auto-tune macht. Die kann man stattdessen ins go File aufnehmen und natürlich die SATA relevanten weglassen. Dürfte noch ein paar W bringen. nur so zur Information (für alle, die das nun suchen): ich glaube Du meinst damit diesen Beitrag oder zumindest dort in der Nähe: https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/ Edited June 11, 2024 by DataCollector Typos 1 Quote
MPC561 Posted June 11, 2024 Posted June 11, 2024 1 minute ago, DataCollector said: ich glaube Du meinst damit diesen Beistrag oder zumindest dort in der Nähe: https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/ Genau den. Danke Data! Gruss, Joerg Quote
SebastianSchmidt Posted June 12, 2024 Author Posted June 12, 2024 @MPC561 Danke für Deinen Post! Der ist sehr hilfreich für mich. 🙂 Der fehlende Schubs in die richtige Richtung für mich ist Dein Hinweis, dass meine Powertop-Version im PKG (also im Package-Bereich) falsche Werte anzeigt. Ich hatte im Review ja geschrieben, dass ich mir keinen Reim darauf machen kann wie es die CPU schaffen soll, gute Package-States zu erreichen, wenn doch ASPM disabled ist und sowohl die Netzwerkkarten als auch die NVMe nicht in Ruhezustände gelangen. Mit dem Powertop-Hinweis passt plötzlich alles zusammen > Ubuntu 24.04 zeigte ja PKG-States von C3 an (das wäre dann wohl der erreichbare "echte Package-C-State"). Ich werde vielleicht am WE nochmal ein paar Tests mit Ubuntu 24.04 machen und schauen, ob ich da mit Powertop oder TLP den Strombedarf etwas reduzieren kann. Wegen der x520er-Karte habe ich keine allzu grossen Hoffnungen. Die scheint sowieso kein ASPM zu unterstützen, aber die SSD könnte ich vielleicht per setpci in den Ruhezustand bringen, oder ich baue eine kleine mSATA-SSD ein. Der Rechner hat übrigens keinen JMB-SATA-Controller, sondern nutzt die zwei verfügbare SATA-Schnittstellen (1x mSATA Slot + 1x SATA). 2 Quote
MPC561 Posted June 12, 2024 Posted June 12, 2024 57 minutes ago, SebastianSchmidt said: Der Rechner hat übrigens keinen JMB-SATA-Controller, sondern nutzt die zwei verfügbare SATA-Schnittstellen (1x mSATA Slot + 1x SATA). Ahhh verdammt. War wohl geistig noch in einem anderen Thread wo es um so ein China N100 Board geht. Trotzdem kannst Du mit dem Einzelbefehlen aus dem engl. Stromsparthread herumspielen. Vielleicht bringst ja noch was. Gruss, Joerg 1 Quote
motorsense Posted June 14, 2024 Posted June 14, 2024 (edited) Hallo, ich habe zwar kein Unraid, aber den Mini-PC seit 3 Wochen im Betrieb. Das Board hat meines Wissens nur einen SATA und einen NVME Port für Storage. Das andere soll, laut Produktseite, ein MiniPCIE für WLAN/LTE sein und nur den USB Modus können. Deswegen habe ich keine MSATA ausprobiert. Hier läuft eine OPNsense in einer Proxmox VM drauf. Eine 10GB Nic reiche ich per PCI Passtrough direkt durch (WAN) die andere ist per VSwitch dran (LAN). Läuft von Anfang an stabil. Gruß Oli Edited June 14, 2024 by motorsense 1 Quote
HumanTechDesign Posted September 13, 2024 Posted September 13, 2024 Hallo in die Runde - danke für die Einblicke! Da ich auch am Überlegen bin, diesen Rechner zu kaufen, hätte ich folgende Verständnisfrage (die vielleicht @SebastianSchmidt oder @motorsense sogar aktiv testen könnten): Bei den Bildern sieht man ja einen x4 Riser. Laut Recherchen im Internet sollte die DUAL(!) X520 auf PCIe 2.0 laufen. Quasi alle PCIe Extension-Karten, die man hierzu kaufen kann sind mit x8 angebunden. Wenn man jetzt mit der Tabelle unten 2.0 x4 umrechnet, kommt man doch (nach meiner Rechnung) nur auf 2,0 GByte x 8 = 16 Gbit (statt 20, wie ich sie bei einer Dual-NIC-Karte bräuchte). Übersehe ich etwas oder könnte ich (gerade bei einem Router-Betrieb) die beiden 10G NICs nicht gleichzeitig voll auslasten? Klar, Router bringt immer Overhead, aber irgendwie scheint da doch im Design was komisch zu sein. Wenn möglich, wäre ich über einen Testlauf mit gleichzeitig beiden NICs dankbar! Quote
DataCollector Posted September 13, 2024 Posted September 13, 2024 (edited) 2 hours ago, HumanTechDesign said: Recherchen im Internet sollte die DUAL(!) X520 auf PCIe 2.0 laufen. Quasi alle PCIe Extension-Karten, die man hierzu kaufen kann sind mit x8 angebunden. PCIe x1 Lane = ca.500 MByte = ca. 4.000GBit/s (Vollduplex) PCIe x8 Lane = ca. 4.000 MByte = ca. 32.000 GBit/s (Vollduplex) 2 hours ago, HumanTechDesign said: Wenn man jetzt mit der Tabelle unten 2.0 x4 umrechnet, kommt man doch (nach meiner Rechnung) nur auf 2,0 GByte x 8 = 16 Gbit (statt 20, wie ich sie bei einer Dual-NIC-Karte bräuchte). PCIe x4 Lane = ca. 2.000 MByte = ca. 16.000 GBit/s (Vollduplex) Du hast Dich dahingehend nicht verrechnet (wenn man mal Protokolloverhead und Kompression weg lässt). 2 hours ago, HumanTechDesign said: Übersehe ich etwas oder könnte ich (gerade bei einem Router-Betrieb) die beiden 10G NICs nicht gleichzeitig voll auslasten? Im Routerbetrieb geht vielleicht auf einer Nic 10GbLan rein und auf der anderen raus (und in der anderen Richtung eher erheblich weniger Quittungspakete). Da PCIe Vollduplex beherrscht, kann man problemlos 10Gb Input über PCIe 2.0 x4 (mit seinen max. 16Gbit/s) entgegen nehmen und gleichzeitig über den selben PCIe 2.0 x4 auch 10Gb ausgeben. Lustig wird es nur, wenn man beide 10GbLAN Ports zeitgleich in die selbe Richtung transferieren lassen will oder überraschenderweise gleichzeitig maximal so viele Nutzdaten ein- wie auch ausgehen sollen/wollen. Dann hast Du recht und es wird eng. Aber Du hattest ja nur Routerbetrieb angedeutet und da kommen die ausgehenden Daten ja auch weitestgehend irgendwo her. Selbst wenn man gleichzeitig aus den 4x 2,5Gbit/s LAN entgegen nimmt und auf die 10GbLAN Ports los läßt reicht das aus. Das Portmirroring im Router würde hier in eine Bremse laufen, aber auch dann sind die verbleibenden (rechnerischen) rund 8GBit/s immer noch eine beeindruckende Performance für ein Privatnetz. 2 hours ago, HumanTechDesign said: Klar, Router bringt immer Overhead, aber irgendwie scheint da doch im Design was komisch zu sein. Klar ist diese Design etwas komisch. Ich hoffe, dass kein heute aktiver Switchhersteller es wagen würde eine Backplane zu verbauen, die im Maximalfall die Daten nicht transportieren kann. Deswegen haben 8Port 1GBit/s Switche auch eine 16GBit/s Backplane (im Chip). Weil es bei Bidirektional und Vollast eben sonst eng wird. Bei Routern hingegen ist ja sowieso eine CPU dazwischen und da ist es eben dann auch noch davon abhängig, was die mit den Daten macht. Nicht umsonst wird gerne bei Consumerrouter der NAT Durchsatz gemessen, weil da so einiges zusätzlich bremsen kann. Edited September 13, 2024 by DataCollector 1 Quote
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.