mgutt Posted October 20, 2022 Share Posted October 20, 2022 1 hour ago, notthebee said: Mein Server geht nach wie vor nicht unter C3 Tut er das denn ohne Karte? @ich777 Werden immer die jeweils aktuellsten Aquantia Treiber für unRAID Releases kompiliert? Quote Link to comment
ich777 Posted October 20, 2022 Share Posted October 20, 2022 18 minutes ago, mgutt said: Werden immer die jeweils aktuellsten Aquantia Treiber für unRAID Releases kompiliert? Das atlantic Modul das in Unraid verwendet wird ist ein In-Tree Modul und wird mit der Option: CONFIG_AQTION=m für jeden Kernel mit kompiliert. Braucht ihr hier den Proprietären Treiber bzw. gibt es eine Proprietären? Quote Link to comment
notthebee Posted November 2, 2022 Share Posted November 2, 2022 On 10/20/2022 at 2:46 PM, mgutt said: Tut er das denn ohne Karte? @ich777 Werden immer die jeweils aktuellsten Aquantia Treiber für unRAID Releases kompiliert? Ja, ohne Karte geht es. Quote Link to comment
MartinG Posted November 3, 2022 Share Posted November 3, 2022 22 hours ago, notthebee said: Ja, ohne Karte geht es. Ja. Die Mellanox Karte braucht 5W, begrenzt C-State auf C3 (bei mir) und verhindert darüberhinaus auch daß der Server in den Standby geht. Die Intel Karten wären eine Überlegung wert, nur sind die halt schon sehr teuer. Ich habe meine komplette 10G Verbindung über Glasfaser zum Switch und über Kupfer weiter zum PC abgebaut. Der finanzielle Aufwand dafür ist für meinen Nutzen einfach viel zu groß. Grade in Zeiten von exorbitant steigenden Strompreisen habe ich mehr Zeit als Geld übrig. Quote Link to comment
h0schi Posted December 24, 2022 Share Posted December 24, 2022 (edited) Von welcher Intel-Karte sprichst du genau, @MartinG ? Die Intel X520-DA2 (PCIe 2.0 - 8x) ist gebraucht relativ günstig zu haben. Die neuere Intel X710 (PCIe 3.0 - 8x) ist leider doppel so teuer. Ich habe genau das gleiche Problem - Server mit Mellanox Connect-X 3 lässt die CPU nicht tiefer als C3. Kann aber auch den Datacenter U.2 SSDs liegen, welche ggf. die CPU auch nicht "tiefer" schlafen lassen. Mich würde es mal interessieren ob das mit einer Intel-Karte klappt. EDIT: Hab mich jetzt entschlossen umzubauen. Die Intel- & Samsung Datacenter U.2 SSDs und die Mellanox 10G-Karte fliegt raus. Die SSDs werden gegen WD Red SN700 getauscht und eine Intel X710-DA2 wird verbaut - laut Datasheets sollten die Komponenten alle L0 und L1-ASPM unterstützen. Edited December 26, 2022 by h0schi Quote Link to comment
h0schi Posted December 28, 2022 Share Posted December 28, 2022 (edited) Die erste X710 kam an und hat wegen der Low-Profile Blende erstmal Platz in der Sophos XG Firewall gefunden. Die Zweite für den Unraid-Server kommt erst im neuen Jahr. Hier schon mal ein Auszug des lspci auf der Sophos XG: Mellanox Connect-X 3 (CX312A) LnkCap: Port #8, Speed unknown, Width x8, ASPM L0s, Latency L0 unlimited, L1 unlimited ClockPM- Surprise- LLActRep- BwNot- LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+ ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt- Intel X710-DA2 LnkCap: Port #0, Speed unknown, Width x8, ASPM unknown, Latency L0 <2us, L1 <16us ClockPM- Surprise- LLActRep- BwNot- LnkCtl: ASPM L1 Enabled; RCB 64 bytes Disabled- Retrain- CommClk+ ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt- Edited December 28, 2022 by h0schi Quote Link to comment
cuddles Posted December 28, 2022 Share Posted December 28, 2022 9 hours ago, h0schi said: Die erste X710 kam an und hat wegen der Low-Profile Blende erstmal Platz in der Sophos XG Firewall gefunden. Die Zweite für den Unraid-Server kommt erst im neuen Jahr. Hier schon mal ein Auszug des lspci auf der Sophos XG: Mellanox Connect-X 3 (CX312A) LnkCap: Port #8, Speed unknown, Width x8, ASPM L0s, Latency L0 unlimited, L1 unlimited ClockPM- Surprise- LLActRep- BwNot- LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+ ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt- Intel X710-DA2 LnkCap: Port #0, Speed unknown, Width x8, ASPM unknown, Latency L0 <2us, L1 <16us ClockPM- Surprise- LLActRep- BwNot- LnkCtl: ASPM L1 Enabled; RCB 64 bytes Disabled- Retrain- CommClk+ ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt- Hi auf welchen C State kommst du mit der Karte ich suche auch eine die auf mindestens C7 kommt? Quote Link to comment
cuddles Posted December 28, 2022 Share Posted December 28, 2022 Schraub doch einfach das Blech kurz ab und steck sie so rein Quote Link to comment
h0schi Posted December 28, 2022 Share Posted December 28, 2022 Da müssen dazu noch die neuen SSDs rein. Die X710 ist erst der Anfang. Wenn alles eiwngebaut ist, schreib ich kurz was dazu. Quote Link to comment
h0schi Posted January 5, 2023 Share Posted January 5, 2023 Karte ist gebaut. C-State C7 kann erreicht werden, @cuddles 1 Quote Link to comment
cuddles Posted January 6, 2023 Share Posted January 6, 2023 Danke, habe es mit meiner auch gerade getestet. Es funktioniert sehr gut. Und sie ist wirklich sehr sparsam. 1 Quote Link to comment
guybrush2012 Posted January 8, 2023 Share Posted January 8, 2023 Was verbraucht denn die X710? Quote Link to comment
h0schi Posted January 8, 2023 Share Posted January 8, 2023 (edited) 27 minutes ago, guybrush2012 said: Was verbraucht denn die X710? Die OCPs werden ähnlich so viel verbrauchen wie die PCIe-Varianten. Quelle: https://www.servethehome.com/intel-x710-da2-ocp-nic-3-0-review-10gbe-for-the-form-factor/intel-x710-ocp-nic-3-0-power-consumption-specs/ Edited January 8, 2023 by h0schi Quote Link to comment
MartinG Posted March 18, 2023 Share Posted March 18, 2023 @h0schi Danke für die Info 1 Quote Link to comment
Sascha75 Posted September 4, 2023 Share Posted September 4, 2023 (edited) On 10/20/2022 at 12:54 PM, notthebee said: Moin zusammen Ich habe mich entschieden, meine 4,99€ für die eventuellen Rücksendekosten zu riskieren, und diese Karte auf Galaxus zu bestellen. Gekommen ist die Version 2 (mit einem schwarzen Kühlkörper) Leider hat der Verbrauch sich im Vergleich zu meiner Mellanox ConnectX-3 kaum geändert. Obwohl die Karte laut `lspci` ASPM-Unterstützung hat, wird diese nicht automatisch aktiviert, und auch wenn man es manuell macht, bringt das nichts. Die Karte verhindert sowohl mit ASPM L0s/L1 als auch L0 die stromsparenden C-States (Mein Server geht nach wie vor nicht unter C3). Ich habe es zusätzlich mit dem Ubuntu LiveUSB probiert, das hat leider auch nichts gebracht Hier ist schonmal der Output von `lspci -vvv` für die Karte: Reveal hidden contents 01:00.0 Ethernet controller: Aquantia Corp. AQC100 10G Ethernet MAC controller [AQtion] (rev 02) Subsystem: TRENDnet AQC100 10G Ethernet MAC controller [AQtion] Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+ Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx- Latency: 0 Interrupt: pin A routed to IRQ 16 IOMMU group: 1 Region 0: Memory at f7440000 (64-bit, non-prefetchable) [size=64K] Region 2: Memory at f7450000 (64-bit, non-prefetchable) [size=4K] Region 4: Memory at f7000000 (64-bit, non-prefetchable) [size=4M] Expansion ROM at f7400000 [disabled] [size=256K] Capabilities: [40] Express (v2) Endpoint, MSI 00 DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <64ns, L1 <1us ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+ SlotPowerLimit 75.000W DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq- RlxdOrd+ ExtTag+ PhantFunc- AuxPwr+ NoSnoop+ FLReset- MaxPayload 256 bytes, MaxReadReq 512 bytes DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend- LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s unlimited, L1 unlimited ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+ LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+ ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt- LnkSta: Speed 8GT/s (ok), Width x4 (ok) TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt- DevCap2: Completion Timeout: Not Supported, TimeoutDis+ NROPrPrP- LTR- 10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix- EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit- FRS- TPHComp- ExtTPHComp- AtomicOpsCap: 32bit- 64bit- 128bitCAS- DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- OBFF Disabled, AtomicOpsCtl: ReqEn- LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink+ Retimer- 2Retimers- DRS- LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis- Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS- Compliance De-emphasis: -6dB LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+ EqualizationPhase1+ EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest- Retimer- 2Retimers- CrosslinkRes: unsupported Capabilities: [80] Power Management version 3 Flags: PMEClk- DSI- D1+ D2+ AuxCurrent=375mA PME(D0+,D1+,D2+,D3hot+,D3cold+) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- Capabilities: [90] MSI-X: Enable+ Count=32 Masked- Vector table: BAR=2 offset=00000000 PBA: BAR=2 offset=00000200 Capabilities: [a0] MSI: Enable- Count=1/32 Maskable- 64bit+ Address: 0000000000000000 Data: 0000 Capabilities: [c0] Vital Product Data Product Name: Atlantic Read-only fields: [PN] Part number: 3290495095 [EC] Engineering changes: 0 [FG] Unknown: 61 62 63 [LC] Unknown: 64 65 66 [MN] Manufacture ID: AFDSWEWEBSFD [PG] Unknown: 49 49 49 [SN] Serial number: CPL5938TLKMY [V0] Vendor specific: wfewfe [V1] Vendor specific: fwewfe [V2] Vendor specific: SDFWI [RV] Reserved: checksum good, 0 byte(s) reserved Read/write fields: [YA] Asset tag: 9495829 [V0] Vendor specific: f34ge4rsg [V1] Vendor specific: ger35g5rthghgsa3 [Y0] System specific: bsdfvbxcz [Y1] System specific: fwefewwfe [RW] Read-write area: 11 byte(s) free End Capabilities: [100 v2] Advanced Error Reporting UESta: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol- UEMsk: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol- UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol- CESta: RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr- CEMsk: RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+ AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn- MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap- HeaderLog: 00000000 00000000 00000000 00000000 Capabilities: [150 v1] Vendor Specific Information: ID=0001 Rev=1 Len=024 <?> Capabilities: [180 v1] Secondary PCI Express LnkCtl3: LnkEquIntrruptEn- PerformEqu- LaneErrStat: 0 Kernel driver in use: atlantic Kernel modules: atlantic sorry, dass ich den uralten Thread nochmal ausgrabe, aber evt. interessiert es jemanden, der eine aktuelle 10 Gbe Karte sucht. Ich habe per Skript ASPM für die Trendnet 10GECSFP V2 (schwarzer Kühlkörper) aktiviert und komme damit nun wieder auf C7, mehr ging vorher ohne Karte auch nicht. Das Skript kann man hier im Original https://wireless.wiki.kernel.org/en/users/Documentation/ASPM oder hier modifiziert finden: https://forums.servethehome.com/index.php?threads/sfp-cards-with-aspm-support.36817/page-2 Außerdem musste ich noch das Paket bc in den NerdTools aktivieren. Was das an tatsächlicher Ersparnis bringt muss ich noch genauer untersuchen, ich erwarte mit aber nicht allzuviel. Die Karte hat vorher ohne ASPM ca. 4W Mehrverbrauch ausgemacht. Spoiler 02:00.0 Ethernet controller: Aquantia Corp. AQC100 10G Ethernet MAC controller [AQtion] (rev 02) LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s unlimited, L1 unlimited LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Edited September 4, 2023 by Sascha75 5 Quote Link to comment
eicar Posted September 24, 2023 Share Posted September 24, 2023 (edited) Gilt das mit dem Script auch für PCIe 3.0 x4 NICs mit dem Marvell AQS-100? (Die TrendNet ist ja PCIe 2.0 x4.) Es gibt z.B. auch die StarTech(.)com PEX10GSFP: https://www.amazon.de/dp/B09MJGW21X Für mich ist es wichtig, da meine aktuell favorisierte Option ein Low-Power-Build mit dem ASRock N100M ist, aber das Board hat nur PCIe 3.0 x2 (in einem x16). Wahrscheinlich könnte ich auch X710 dual SFP+ verbauen, aber das wären Kanonen auf Spatzen. Eine single SFP+ NIC wäre sicherlich besser, wenn das mit ASPM klappt. Edited September 24, 2023 by eicar Quote Link to comment
Sascha75 Posted October 22, 2023 Share Posted October 22, 2023 Das Skript hat nichts mit der Karte o.ä. zu tun, das - versucht - einfach nur ASPM für ein gegebenes Gerät zu aktivieren. Kann funktionieren, muss aber nicht. Bei mir wurde ASPM nicht automatisch vom Betriebssystem aktiviert, deshalb musste ich nachhelfen. Ob der andere Chip ASPM unterstützt kann ich nicht sagen... 1 Quote Link to comment
da_stingo Posted October 27, 2023 Share Posted October 27, 2023 (edited) On 9/4/2023 at 6:34 PM, Sascha75 said: sorry, dass ich den uralten Thread nochmal ausgrabe, aber evt. interessiert es jemanden, der eine aktuelle 10 Gbe Karte sucht. Ich habe per Skript ASPM für die Trendnet 10GECSFP V2 (schwarzer Kühlkörper) aktiviert und komme damit nun wieder auf C7, mehr ging vorher ohne Karte auch nicht. Das Skript kann man hier im Original https://wireless.wiki.kernel.org/en/users/Documentation/ASPM oder hier modifiziert finden: https://forums.servethehome.com/index.php?threads/sfp-cards-with-aspm-support.36817/page-2 Außerdem musste ich noch das Paket bc in den NerdTools aktivieren. Was das an tatsächlicher Ersparnis bringt muss ich noch genauer untersuchen, ich erwarte mit aber nicht allzuviel. Die Karte hat vorher ohne ASPM ca. 4W Mehrverbrauch ausgemacht. Reveal hidden contents 02:00.0 Ethernet controller: Aquantia Corp. AQC100 10G Ethernet MAC controller [AQtion] (rev 02) LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s unlimited, L1 unlimited LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Ich für meinen Teil kann deine Erkenntnisse leider nicht bestätigen. Ich habe mir besagte Trendnet Karte beim großen A gekauft (aktuell wird Revision 3.0R ausgeliefert). Chip ist der gleiche wie bei V2 (AQC100). Karte in den Server gesteckt und über besagtes Skript das ASPM auf L1 + L0s gestellt (so wie ich es deinem Post entnommen konnte). Was im Anschluss passiert ist eine Armada an Fehlermeldungen im dmesg: AER: Multiple Corrected error received. Ein Umschalten auf ASPM L1 only brachte weniger Fehlermeldungen, allerdings durchwegs noch vorhanden. Sogar mit deaktivierem ASPM tauchen die Fehlermeldungen gelegentlich am Tag im Log noch auf, was für mich ein eindeutiges Warnsignal ist, dass man die Karte nicht verwenden möchte, wenn man etwas stabiles sucht... Ein FW Upgrade 3.1.121 hat ebenfalls keine Verbesserungen gebracht Alles in allem ist die Karte für mich eine Enttäuschung, ich werde nun doch noch ein bisschen Sparen und mir die Intel X710 holen. Edited October 27, 2023 by da_stingo Quote Link to comment
Sascha75 Posted October 28, 2023 Share Posted October 28, 2023 Jetzt habe ich auch mal im Log nachgeschaut und ich bekommen diesen Fehler in unregelmäßigen Abständen (manchmal 1-2x am Tag, manchmal 3 Tage lang nicht). Vielleicht liegt es daran, dass die Karte auch nie wirklich Zeit zum Schlafen hat, da motionEye ständig Daten von der Überwachungskamera empfängt. Auf der anderen Seite geht der Server ohne ASPM bei der Karte nur max bis C3 und mit eben bis C7. Ich konnte jedenfalls keine Beeinträchtigungen des Systems feststellen, alles läuft stabil und die Karte erreicht auch den vollen Speed. Quote Link to comment
Sascha75 Posted October 29, 2023 Share Posted October 29, 2023 On 10/27/2023 at 4:20 PM, da_stingo said: Alles in allem ist die Karte für mich eine Enttäuschung, ich werde nun doch noch ein bisschen Sparen und mir die Intel X710 holen. mal ehrlich, eine Mellanox ConnectX-3 mag vielleicht 6-7 Watt verbrauchen, eine Intel X710 nur 3 Watt. Die Differenz des Kaufpreises (MCX ca. 30€, Intel ab 160€) würde sich bei 40c pro kWh erst nach ca. 9 Jahren amortisieren. Für die Trendnet hatte ich knapp 100€ bezahlt und hatte mir eigentlich erhofft auf 1W runter zu kommen, liege jetzt aber auch bei ca. 3W mit "etwas wackeligem" ASPM. Hat sich also auch nicht wirklich gelohnt, da ich noch eine Mellanox habe. Habe jetzt übrigens mal nur L1 aktiviert und werde das mal eine Zeit lang beobachten. Quote Link to comment
h0schi Posted October 29, 2023 Share Posted October 29, 2023 29 minutes ago, Sascha75 said: mal ehrlich, eine Mellanox ConnectX-3 mag vielleicht 6-7 Watt verbrauchen, eine Intel X710 nur 3 Watt. Die Differenz des Kaufpreises (MCX ca. 30€, Intel ab 160€) würde sich bei 40c pro kWh erst nach ca. 9 Jahren amortisieren. Für die Trendnet hatte ich knapp 100€ bezahlt und hatte mir eigentlich erhofft auf 1W runter zu kommen, liege jetzt aber auch bei ca. 3W mit "etwas wackeligem" ASPM. Hat sich also auch nicht wirklich gelohnt, da ich noch eine Mellanox habe. Habe jetzt übrigens mal nur L1 aktiviert und werde das mal eine Zeit lang beobachten. Der Eigenverbrauch ist an sich nicht das Problem. Die Mellanox-Karten berherrschen garkein ASPM, worauf die CPU meist dran gehindert wird tiefere C-States / Schlafzustände zu erreichen. 1 Quote Link to comment
Sascha75 Posted October 29, 2023 Share Posted October 29, 2023 ja, das ist schon klar, aber das muss nicht immer einen großen Unterschied im absoluten Stromverbrauch ausmachen. Bei mir waren das ca. 1W Unterschied im Gesamtsystem (mit/ohne ASPM der Karte, C3 vs C7), gemessen mit Tasmota an der Steckdose. Quote Link to comment
Sascha75 Posted October 30, 2023 Share Posted October 30, 2023 On 10/27/2023 at 4:20 PM, da_stingo said: Ich habe mir besagte Trendnet Karte beim großen A gekauft (aktuell wird Revision 3.0R ausgeliefert). Chip ist der gleiche wie bei V2 (AQC100). Karte in den Server gesteckt und über besagtes Skript das ASPM auf L1 + L0s gestellt (so wie ich es deinem Post entnommen konnte). Was im Anschluss passiert ist eine Armada an Fehlermeldungen im dmesg: AER: Multiple Corrected error received. kann es vlt. sein, dass du eine Windows VM mit virtio laufen hast? Ich habe die Vermutung, dass die Fehler bei mir nur dann auftreten (die VM läuft nicht ständig). Habe jetzt mal auf virtio-net umgestellt. Quote Link to comment
da_stingo Posted November 3, 2023 Share Posted November 3, 2023 (edited) On 10/31/2023 at 12:34 AM, Sascha75 said: kann es vlt. sein, dass du eine Windows VM mit virtio laufen hast? Ich habe die Vermutung, dass die Fehler bei mir nur dann auftreten (die VM läuft nicht ständig). Habe jetzt mal auf virtio-net umgestellt. Nope, Karte steckt in einem Proxmox Hypervisor, alle Maschinen sind Linux VMs. btw: hab die Trendnet Karte mittlerweile wieder zurückgeschickt und mir eine Dell OEM (Intel) X710-DA2 bei eBay für ~150€ bestellt. Nach Firmware Upgrade läuft sie seit 3 Tagen traumhaft, ASPM L1 wird ohne Script standardmäßig aktiviert und mein Server geht weiterhin bis C10 runter. Wichtig dabei ist, dass die Karte in einem PCIe Slot steckt, der am Chipsatz hängt, und nicht an der CPU direkt - sonst wird das mit dem C10 nix. Tatsächlicher Mehrverbrauch ca. 3 Watt. Edited November 3, 2023 by da_stingo Quote Link to comment
Sascha75 Posted November 5, 2023 Share Posted November 5, 2023 ja, die Intel scheint über alle Zweifel erhaben zu sein, aber die 150€ muss man erstmal an Strom verbraten...aber es beruhigt das Gewissen, ich kenne das Die Fehler tauchen bei mir noch sporadisch auf, auch wenn die Windows VM runtergefahren ist. Mal schauen, ob ich da noch was mache, wirklich instabil läuft das System dadurch nicht... Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.