1 hour ago, notthebee said:

Mein Server geht nach wie vor nicht unter C3

Tut er das denn ohne Karte?

 

@ich777

Werden immer die jeweils aktuellsten Aquantia Treiber für unRAID Releases kompiliert?

18 minutes ago, mgutt said:

Werden immer die jeweils aktuellsten Aquantia Treiber für unRAID Releases kompiliert?

Das atlantic Modul das in Unraid verwendet wird ist ein In-Tree Modul und wird mit der Option:

CONFIG_AQTION=m

für jeden Kernel mit kompiliert.

 

Braucht ihr hier den Proprietären Treiber bzw. gibt es eine Proprietären?

On 10/20/2022 at 2:46 PM, mgutt said:

Tut er das denn ohne Karte?

 

@ich777

Werden immer die jeweils aktuellsten Aquantia Treiber für unRAID Releases kompiliert?

Ja, ohne Karte geht es.

22 hours ago, notthebee said:

Ja, ohne Karte geht es.

Ja. 

Die Mellanox Karte braucht 5W, begrenzt C-State auf C3 (bei mir) und verhindert darüberhinaus auch daß der Server in den Standby geht.

 

Die Intel Karten wären eine Überlegung wert, nur sind die halt schon sehr teuer.

 

Ich habe meine komplette 10G Verbindung über Glasfaser zum Switch und über Kupfer weiter zum PC abgebaut.

Der finanzielle Aufwand dafür ist für meinen Nutzen einfach viel zu groß.

 

Grade in Zeiten von exorbitant steigenden Strompreisen habe ich mehr Zeit als Geld übrig.

 

Von welcher Intel-Karte sprichst du genau, @MartinG ?

Die Intel X520-DA2 (PCIe 2.0 - 8x) ist gebraucht relativ günstig zu haben.

Die neuere Intel X710 (PCIe 3.0 - 8x) ist leider doppel so teuer.

 

Ich habe genau das gleiche Problem - Server mit Mellanox Connect-X 3 lässt die CPU nicht tiefer als C3.

Kann aber auch den Datacenter U.2 SSDs liegen, welche ggf. die CPU auch nicht "tiefer" schlafen lassen.

 

Mich würde es mal interessieren ob das mit einer Intel-Karte klappt.

 

 

 

 

 

EDIT: Hab mich jetzt entschlossen umzubauen.

Die Intel- & Samsung Datacenter U.2 SSDs und die Mellanox 10G-Karte fliegt raus.

Die SSDs werden gegen WD Red SN700 getauscht und eine Intel X710-DA2 wird verbaut - laut Datasheets sollten die Komponenten alle L0 und L1-ASPM unterstützen.

Edited December 26, 20222 yr by h0schi

Die erste X710 kam an und hat wegen der Low-Profile Blende erstmal Platz in der Sophos XG Firewall gefunden.

Die Zweite für den Unraid-Server kommt erst im neuen Jahr.

 

Hier schon mal ein Auszug des lspci auf der Sophos XG:

 

Mellanox Connect-X 3 (CX312A)

LnkCap: Port #8, Speed unknown, Width x8, ASPM L0s, Latency L0 unlimited, L1 unlimited
ClockPM- Surprise- LLActRep- BwNot-
LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-

Intel X710-DA2

LnkCap: Port #0, Speed unknown, Width x8, ASPM unknown, Latency L0 <2us, L1 <16us
ClockPM- Surprise- LLActRep- BwNot-
LnkCtl: ASPM L1 Enabled; RCB 64 bytes Disabled- Retrain- CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
 

Edited December 28, 20222 yr by h0schi

9 hours ago, h0schi said:

Die erste X710 kam an und hat wegen der Low-Profile Blende erstmal Platz in der Sophos XG Firewall gefunden.

Die Zweite für den Unraid-Server kommt erst im neuen Jahr.

 

Hier schon mal ein Auszug des lspci auf der Sophos XG:

 

Mellanox Connect-X 3 (CX312A)

LnkCap: Port #8, Speed unknown, Width x8, ASPM L0s, Latency L0 unlimited, L1 unlimited
ClockPM- Surprise- LLActRep- BwNot-
LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-

Intel X710-DA2

LnkCap: Port #0, Speed unknown, Width x8, ASPM unknown, Latency L0 <2us, L1 <16us
ClockPM- Surprise- LLActRep- BwNot-
LnkCtl: ASPM L1 Enabled; RCB 64 bytes Disabled- Retrain- CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
 

Hi auf welchen C State kommst du mit der Karte ich suche auch eine die auf mindestens C7 kommt?

Schraub doch einfach das Blech kurz ab und steck sie so rein

Da müssen dazu noch die neuen SSDs rein.

Die X710 ist erst der Anfang.

Wenn alles eiwngebaut ist, schreib ich kurz was dazu.

Karte ist gebaut.

 

 

C-State C7 kann erreicht werden, @cuddles

 

 

Danke, habe es mit meiner auch gerade getestet. Es funktioniert sehr gut. Und sie ist wirklich sehr sparsam.

Was verbraucht denn die X710?

27 minutes ago, guybrush2012 said:

Was verbraucht denn die X710?

 

Die OCPs werden ähnlich so viel verbrauchen wie die PCIe-Varianten.

 

 

Quelle:

https://www.servethehome.com/intel-x710-da2-ocp-nic-3-0-review-10gbe-for-the-form-factor/intel-x710-ocp-nic-3-0-power-consumption-specs/

Edited January 8, 20232 yr by h0schi

 @h0schi Danke für die Info

On 10/20/2022 at 12:54 PM, notthebee said:

 

Moin zusammen

 

Ich habe mich entschieden, meine 4,99€ für die eventuellen Rücksendekosten zu riskieren, und diese Karte auf Galaxus zu bestellen. Gekommen ist die Version 2 (mit einem schwarzen Kühlkörper)

Leider hat der Verbrauch sich im Vergleich zu meiner Mellanox ConnectX-3 kaum geändert. Obwohl die Karte laut `lspci` ASPM-Unterstützung hat, wird diese nicht automatisch aktiviert, und auch wenn man es manuell macht, bringt das nichts.

Die Karte verhindert sowohl mit ASPM L0s/L1 als auch L0 die stromsparenden C-States (Mein Server geht nach wie vor nicht unter C3). Ich habe es zusätzlich mit dem Ubuntu LiveUSB probiert, das hat leider auch nichts gebracht

 

Hier ist schonmal der Output von `lspci -vvv` für die Karte:

  Reveal hidden contents

01:00.0 Ethernet controller: Aquantia Corp. AQC100 10G Ethernet MAC controller [AQtion] (rev 02)
        Subsystem: TRENDnet AQC100 10G Ethernet MAC controller [AQtion]
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        Interrupt: pin A routed to IRQ 16
        IOMMU group: 1
        Region 0: Memory at f7440000 (64-bit, non-prefetchable) [size=64K]
        Region 2: Memory at f7450000 (64-bit, non-prefetchable) [size=4K]
        Region 4: Memory at f7000000 (64-bit, non-prefetchable) [size=4M]
        Expansion ROM at f7400000 [disabled] [size=256K]
        Capabilities: [40] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <64ns, L1 <1us
                        ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 75.000W
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd+ ExtTag+ PhantFunc- AuxPwr+ NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s unlimited, L1 unlimited
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (ok), Width x4 (ok)
                        TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Not Supported, TimeoutDis+ NROPrPrP- LTR-
                         10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS- TPHComp- ExtTPHComp-
                         AtomicOpsCap: 32bit- 64bit- 128bitCAS-
                DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- OBFF Disabled,
                         AtomicOpsCtl: ReqEn-
                LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink+ Retimer- 2Retimers- DRS-
                LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+ EqualizationPhase1+
                         EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
                         Retimer- 2Retimers- CrosslinkRes: unsupported
        Capabilities: [80] Power Management version 3
                Flags: PMEClk- DSI- D1+ D2+ AuxCurrent=375mA PME(D0+,D1+,D2+,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [90] MSI-X: Enable+ Count=32 Masked-
                Vector table: BAR=2 offset=00000000
                PBA: BAR=2 offset=00000200
        Capabilities: [a0] MSI: Enable- Count=1/32 Maskable- 64bit+
                Address: 0000000000000000  Data: 0000
        Capabilities: [c0] Vital Product Data
                Product Name: Atlantic
                Read-only fields:
                        [PN] Part number: 3290495095
                        [EC] Engineering changes: 0
                        [FG] Unknown: 61 62 63
                        [LC] Unknown: 64 65 66
                        [MN] Manufacture ID: AFDSWEWEBSFD
                        [PG] Unknown: 49 49 49
                        [SN] Serial number: CPL5938TLKMY
                        [V0] Vendor specific: wfewfe
                        [V1] Vendor specific: fwewfe
                        [V2] Vendor specific: SDFWI
                        [RV] Reserved: checksum good, 0 byte(s) reserved
                Read/write fields:
                        [YA] Asset tag: 9495829
                        [V0] Vendor specific: f34ge4rsg
                        [V1] Vendor specific: ger35g5rthghgsa3
                        [Y0] System specific: bsdfvbxcz
                        [Y1] System specific: fwefewwfe
                        [RW] Read-write area: 11 byte(s) free
                End
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [150 v1] Vendor Specific Information: ID=0001 Rev=1 Len=024 <?>
        Capabilities: [180 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Kernel driver in use: atlantic
        Kernel modules: atlantic

 

 

sorry, dass ich den uralten Thread nochmal ausgrabe, aber evt. interessiert es jemanden, der eine aktuelle 10 Gbe Karte sucht.

 

Ich habe per Skript ASPM für die Trendnet 10GECSFP V2 (schwarzer Kühlkörper) aktiviert und komme damit nun wieder auf C7, mehr ging vorher ohne Karte auch nicht.

Das Skript kann man hier im Original https://wireless.wiki.kernel.org/en/users/Documentation/ASPM

oder hier modifiziert finden: https://forums.servethehome.com/index.php?threads/sfp-cards-with-aspm-support.36817/page-2

Außerdem musste ich noch das Paket bc in den NerdTools aktivieren.

 

Was das an tatsächlicher Ersparnis bringt muss ich noch genauer untersuchen, ich erwarte mit aber nicht allzuviel. Die Karte hat vorher ohne ASPM ca. 4W Mehrverbrauch ausgemacht.

 

Spoiler

02:00.0 Ethernet controller: Aquantia Corp. AQC100 10G Ethernet MAC controller [AQtion] (rev 02)
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s unlimited, L1 unlimited
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+

 

Edited September 4, 20231 yr by Sascha75

Gilt das mit dem Script auch für PCIe 3.0 x4 NICs mit dem Marvell AQS-100? (Die TrendNet ist ja PCIe 2.0 x4.) Es gibt z.B. auch die StarTech(.)com PEX10GSFP: https://www.amazon.de/dp/B09MJGW21X

 

Für mich ist es wichtig, da meine aktuell favorisierte Option ein Low-Power-Build mit dem ASRock N100M ist, aber das Board hat nur PCIe 3.0 x2 (in einem x16). Wahrscheinlich könnte ich auch X710 dual SFP+ verbauen, aber das wären Kanonen auf Spatzen. Eine single SFP+ NIC wäre sicherlich besser, wenn das mit ASPM klappt.

Edited September 24, 20231 yr by eicar

Das Skript hat nichts mit der Karte o.ä. zu tun, das - versucht - einfach nur ASPM für ein gegebenes Gerät zu aktivieren. Kann funktionieren, muss aber nicht. Bei mir wurde ASPM nicht automatisch vom Betriebssystem aktiviert, deshalb musste ich nachhelfen.

 

Ob der andere Chip ASPM unterstützt kann ich nicht sagen...

On 9/4/2023 at 6:34 PM, Sascha75 said:

sorry, dass ich den uralten Thread nochmal ausgrabe, aber evt. interessiert es jemanden, der eine aktuelle 10 Gbe Karte sucht.

 

Ich habe per Skript ASPM für die Trendnet 10GECSFP V2 (schwarzer Kühlkörper) aktiviert und komme damit nun wieder auf C7, mehr ging vorher ohne Karte auch nicht.

Das Skript kann man hier im Original https://wireless.wiki.kernel.org/en/users/Documentation/ASPM

oder hier modifiziert finden: https://forums.servethehome.com/index.php?threads/sfp-cards-with-aspm-support.36817/page-2

Außerdem musste ich noch das Paket bc in den NerdTools aktivieren.

 

Was das an tatsächlicher Ersparnis bringt muss ich noch genauer untersuchen, ich erwarte mit aber nicht allzuviel. Die Karte hat vorher ohne ASPM ca. 4W Mehrverbrauch ausgemacht.

 

  Reveal hidden contents

02:00.0 Ethernet controller: Aquantia Corp. AQC100 10G Ethernet MAC controller [AQtion] (rev 02)
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s unlimited, L1 unlimited
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+

 

 

Ich für meinen Teil kann deine Erkenntnisse leider nicht bestätigen.

 

Ich habe mir besagte Trendnet Karte beim großen A gekauft (aktuell wird Revision 3.0R ausgeliefert). Chip ist der gleiche wie bei V2 (AQC100).

Karte in den Server gesteckt und über besagtes Skript das ASPM auf L1 + L0s gestellt (so wie ich es deinem Post entnommen konnte).

Was im Anschluss passiert ist eine Armada an Fehlermeldungen im dmesg: AER: Multiple Corrected error received.

 

Ein Umschalten auf ASPM L1 only brachte weniger Fehlermeldungen, allerdings durchwegs noch vorhanden.

Sogar mit deaktivierem ASPM tauchen die Fehlermeldungen gelegentlich am Tag im Log noch auf, was für mich ein eindeutiges Warnsignal ist, dass man die Karte nicht verwenden möchte, wenn man etwas stabiles sucht...

 

Ein FW Upgrade 3.1.121 hat ebenfalls keine Verbesserungen gebracht

 

Alles in allem ist die Karte für mich eine Enttäuschung, ich werde nun doch noch ein bisschen Sparen und mir die Intel X710 holen.

Edited October 27, 20231 yr by da_stingo

Jetzt habe ich auch mal im Log nachgeschaut und ich bekommen diesen Fehler in unregelmäßigen Abständen (manchmal 1-2x am Tag, manchmal 3 Tage lang nicht). Vielleicht liegt es daran, dass die Karte auch nie wirklich Zeit zum Schlafen hat, da motionEye ständig Daten von der Überwachungskamera empfängt. Auf der anderen Seite geht der Server ohne ASPM bei der Karte nur max bis C3 und mit eben bis C7.

Ich konnte jedenfalls keine Beeinträchtigungen des Systems feststellen, alles läuft stabil und die Karte erreicht auch den vollen Speed.

On 10/27/2023 at 4:20 PM, da_stingo said:

Alles in allem ist die Karte für mich eine Enttäuschung, ich werde nun doch noch ein bisschen Sparen und mir die Intel X710 holen.

mal ehrlich, eine Mellanox ConnectX-3 mag vielleicht 6-7 Watt verbrauchen, eine Intel X710 nur 3 Watt. Die Differenz des Kaufpreises (MCX ca. 30€, Intel ab 160€) würde sich bei 40c pro kWh erst nach ca. 9 Jahren amortisieren.

 

Für die Trendnet hatte ich knapp 100€ bezahlt und hatte mir eigentlich erhofft auf 1W runter zu kommen, liege jetzt aber auch bei ca. 3W mit "etwas wackeligem" ASPM.

Hat sich also auch nicht wirklich gelohnt, da ich noch eine Mellanox habe.

 

Habe jetzt übrigens mal nur L1 aktiviert und werde das mal eine Zeit lang beobachten.

 

29 minutes ago, Sascha75 said:

mal ehrlich, eine Mellanox ConnectX-3 mag vielleicht 6-7 Watt verbrauchen, eine Intel X710 nur 3 Watt. Die Differenz des Kaufpreises (MCX ca. 30€, Intel ab 160€) würde sich bei 40c pro kWh erst nach ca. 9 Jahren amortisieren.

 

Für die Trendnet hatte ich knapp 100€ bezahlt und hatte mir eigentlich erhofft auf 1W runter zu kommen, liege jetzt aber auch bei ca. 3W mit "etwas wackeligem" ASPM.

Hat sich also auch nicht wirklich gelohnt, da ich noch eine Mellanox habe.

 

Habe jetzt übrigens mal nur L1 aktiviert und werde das mal eine Zeit lang beobachten.

 

 

Der Eigenverbrauch ist an sich nicht das Problem.

Die Mellanox-Karten berherrschen garkein ASPM, worauf die CPU meist dran gehindert wird tiefere C-States / Schlafzustände zu erreichen.

ja, das ist schon klar, aber das muss nicht immer einen großen Unterschied im absoluten Stromverbrauch ausmachen. Bei mir waren das ca. 1W Unterschied im Gesamtsystem (mit/ohne ASPM der Karte, C3 vs C7), gemessen mit Tasmota an der Steckdose.

On 10/27/2023 at 4:20 PM, da_stingo said:

Ich habe mir besagte Trendnet Karte beim großen A gekauft (aktuell wird Revision 3.0R ausgeliefert). Chip ist der gleiche wie bei V2 (AQC100).

Karte in den Server gesteckt und über besagtes Skript das ASPM auf L1 + L0s gestellt (so wie ich es deinem Post entnommen konnte).

Was im Anschluss passiert ist eine Armada an Fehlermeldungen im dmesg: AER: Multiple Corrected error received.

kann es vlt. sein, dass du eine Windows VM mit virtio laufen hast?

 

Ich habe die Vermutung, dass die Fehler bei mir nur dann auftreten (die VM läuft nicht ständig). Habe jetzt mal auf virtio-net umgestellt.

On 10/31/2023 at 12:34 AM, Sascha75 said:

kann es vlt. sein, dass du eine Windows VM mit virtio laufen hast?

 

Ich habe die Vermutung, dass die Fehler bei mir nur dann auftreten (die VM läuft nicht ständig). Habe jetzt mal auf virtio-net umgestellt.

 

Nope, Karte steckt in einem Proxmox Hypervisor, alle Maschinen sind Linux VMs.

 

btw: hab die Trendnet Karte mittlerweile wieder zurückgeschickt und mir eine Dell OEM (Intel) X710-DA2 bei eBay für ~150€ bestellt.

Nach Firmware Upgrade läuft sie seit 3 Tagen traumhaft, ASPM L1 wird ohne Script standardmäßig aktiviert und mein Server geht weiterhin bis C10 runter. Wichtig dabei ist, dass die Karte in einem PCIe Slot steckt, der am Chipsatz hängt, und nicht an der CPU direkt - sonst wird das mit dem C10 nix. Tatsächlicher Mehrverbrauch ca. 3 Watt.

Edited November 3, 20231 yr by da_stingo

ja, die Intel scheint über alle Zweifel erhaben zu sein, aber die 150€ muss man erstmal an Strom verbraten...aber es beruhigt das Gewissen, ich kenne das

 

Die Fehler tauchen bei mir noch sporadisch auf, auch wenn die Windows VM runtergefahren ist. Mal schauen, ob ich da noch was mache, wirklich instabil läuft das System dadurch nicht...