LeoT Posted April 5 Share Posted April 5 (edited) Moin zusammen, ich habe aktuell zwei "Server" im Betrieb. Ein NAS mit 40TB im Wohngebäude welches ich hauptsächlich für TimeMachine Backups und als Plex Storage Nutze. Specs: 2,5 GbE | 40 TB | i3 12100 für Plex transcoding | 2x 5,35" Laufwerke fürs Archivieren von alten Familien DVDs | Unraid OS Mit dem System bin ich wirklich absolut zufrieden. Es läuft perfekt! Beim Plex transcoding frisst sich die iGPU des i3 problemlos durch 4K HDR 100Mbit Footage und das bei 4-5 simultanen Streams! Das zweite NAS steht im Video-Studio und ist aktuell noch ein Synology DS1821+ mit 56 TB. Dies nutze ich als Filmemacher um mein Rohmaterial zu archivieren, schnell zugreifen zu können, manchmal auch um direkt vom NAS zu schneiden. Specs: 10 GbE | 56 TB | AMD Ryzen V1500B integriert | Synology OS Mit dem System bin ich ebenfalls zufrieden aber die Preise für da Teil waren schon bodenlos... Es war mal ein Notkauf gewesen als mir ein Server abgeraucht war und es schnell gehen musste... Vorhaben: Da ich nun bald in die Räumlichkeiten meines Video-Studios ziehe, möchte ich gerne meine beiden Server vereinen, sprich ein großes neues NAS bauen. Dazu konnte ich mir bereits einen schönen großen Serverschrank auf Kleinanzeigen schießen, wo dieser auch später im Rack montiert werden soll: In den Schrank kommt später auch sämtliche andere Infrastruktur für das Gebäude. Da ich schon öfter kleinere Server gebaut habe, wo ich immer wieder schnell zu typischen Problemen kam, dass keine Festplattenplätze mehr frei waren...möchte ich dieses mal direkt auf ein Rack-Gehäuse mit 24 Bays umsteigen. Da mich die CPU von der Leistung und vom Preis so begeistert hat, möchte ich auch hier bei dem i3 12100 bleiben. Sonstige Anforderungen sind folgende: 10 GbE fähig für schnelle Datenübertragungen gutes Plex transcoding (durch iGPU des i3 12100 bereits erfüllt) gute Erweiterbarkeit (Festplattensteckplätze, PCIe Slots) Möglichst geringer Standby Verbrauch Was brauche ich nicht: Eine GPU wird nicht benötigt werden Außer ein paar Docker sind leistungsstarke VMs auch nicht notwendig Komponenten: Ich habe mich die vergangenen Tage natürlich schon ins rabbit hole der Komponenten-Suche begeben und viele Teile zusammen gesucht. Ich denke folgendes würde meinen Anforderungen gerecht werden. Trotzdem frage ich gerne immer nochmal in die große Runde, was andere zu der Auswahl denken. Feedback & Verbesserungsvorschläge würden mich daher sehr freuen. Komponenten-Liste: Server Gehäuse: Fantec SRC-4240X07-12G | ≈ 530 EUR https://www.fantec.de/produkte/serverprodukte/19-server-storagegehaeuse/produkt/details/artikel/2564_fantec_src_4240x07_6ge_expander/ Notiz: Das Gehäuse ist nicht günstig aber genau das was ich brauche - Mehr als genug Platz.... Die Bays sind in meinen Augen gut verschaltet und mit 6x SFF-8087 auch gut anzuschließen. Die Rack-Schienen zum ausziehen muss ich separat erwerben ≈ 40 EUR CPU: Intel i3 12100 | ≈ 110 EUR https://ark.intel.com/content/www/us/en/ark/products/134584/intel-core-i3-12100-processor-12m-cache-up-to-4-30-ghz.html Notiz: Die CPU reicht für die Daten-Transfers und meine Docker, Plex transcoding etc. völlig aus denke ich... Bis jetzt hat mir die CPU in meinem anderen Server bestens gefallen, also warum nicht dabei bleiben. Für den Preis fast unschlagbar in meinen Augen. TDP von 60 - 80 W auch super.... Motherboard: GIGABYTE B760 DS3H DDR4 | ≈ 120 EUR https://www.gigabyte.com/de/Motherboard/B760-DS3H-DDR4-rev-10#kf Notiz: Hier wird es nun natürlich schon komplizierter.... Die CPU passt ja auf jeden Fall drauf und genug PCIe's sind auch verfügbar: 1 x PCI Express x16 slot, supporting PCIe 4.0 4 x PCI Express x16 slots, supporting PCIe 3.0 and running at x1 Der Plan wäre hier eine 10 GbE Karte in den x16, PCIe 4.0 zu stecken für volle Bandbreite. Drei der x16 PCIe 3.0 x1 würde ich mit einem SAS Controller für die 24 Festplatten ausstatten. Die x1 Geschwindigkeit sollte hier kein Bottleneck werden denke ich zumal ich sowieso eine NVMe M.2 als Cache installieren werden. RAM: Crucial Pro 2 x 16GB, 3200 MHz, DDR4-RAM, DIMM | ≈ 70 EUR https://www.galaxus.de/de/s1/product/crucial-pro-2-x-16gb-3200-mhz-ddr4-ram-dimm-ram-33027187?ip=Crucial+Pro+16+GB+3200 Notiz: 32 GB sollten wohl reichen... 10 GbE Netzwerkkarte: Intel E10G42BTDAG1P5 | ≈ hab ich noch von einem älteren Server, Neupreis ca. 110 EUR Notiz: Mit 2x SFP+ 10 Gb völlig ausreichend... Ich vermute jedoch aufgrund des alters einen recht hohen Verbrauch... Was denk ihr? Lohnt sich hier evtl. ein Tausch? SAS Controller: 3x Inspur LSI 9300-8i | ≈ refurbished je ≈ 90 EUR https://www.its-haehnlein.com/Shop/host-bus-adapter/267/inspur-lsi-9300-8i-sata/sas-hba-controller-it-mode-12gb-pcie-x8-9311-8i-zfs Notiz: Ist wohl bestens für Unraid geeignet und gibt es mit kompatibler Unraid Firmware online zu kaufen. Jede Karte kann über zwei SFF-8643 Ports bis zu 8 Platten versorgen. Der Plan ist drei Karten zu kaufen um die entsprechenden sechs SFF-8087 Ausgänge des Gehäuses auszustatten. Netzteil: be quiet! Straight Power 11 Gold | ≈ 125 EUR https://www.bequiet.com/de/powersupply/straight-power-11/1247 Notiz: Die 750 W Variante sollte wohl ausreichen.. Wie gesagt: Eine GPU soll nicht rein kommen. Wichtig waren mir bei dem Netzteil die 4x Molex Stecker für die 6x Molex Anschlüsse des Gehäuses für die HDDs. Hier werde ich dementsprechend noch zwei Molex Y-Adapter besorgen. HDDs: noch unsicher... | ≈ X EUR Notiz: Hier bin ich mir noch nicht ganz sicher... Bis jetzt hatte ich immer die Seagate Ironwolf NAS Platten.. Die haben sich aber immer schnell verabschiedet... Gerne Vorschläge womit Ihr gute Erfahrungen gemacht habt. Ich möchte nicht direkt alle 24 Bays belegen.. Vermutlich sollen es fürs erste um die 120 TB werden. Schlusswort: Ich würde mich sehr freuen, wenn einer von euch mit noch mehr Ahnung mal über meine Komponenten herüber schaut, und eventuell noch mal hilfreiches Feedback geben kann. Danke Euch und einen schönen Abend! Leo Edited April 5 by LeoT RAM vergessen... Quote Link to comment
DataCollector Posted April 6 Share Posted April 6 3 hours ago, LeoT said: Rack-Gehäuse mit 24 Bays umsteigen. möchte ich auch hier bei dem i3 12100 bleiben. 10 GbE fähig für schnelle Datenübertragungen gutes Plex transcoding (durch iGPU des i3 12100 bereits erfüllt) gute Erweiterbarkeit (Festplattensteckplätze, PCIe Slots) Möglichst geringer Standby Verbrauch Leider sagst Du nicht, ob Du Deinen bisherigen Selbstbau-Fileserver mit unraid aufgebaut hast. Dein HardwareNAS wird vermutlich echtes Raid benutzt haben, aber die Geschwindigkeit ist unter unraid nur sehr begrenzt erreichbar. Deswegen eine grundlegende Info, damit es später nicht zu Entäuschungen kommt: Bei unraid macht es Sinn die unbenutzten Festplatten schlafen zu legen. Wenn Du aber schnellen Dateizugriff per 10GBLan willst, wirst Du unweigerlich darauf stoßen, daß Zugriff auf das Array mit Spinup Wartezeiten einher geht und Du dann sowieso nicht flotter als die jeweilige Festplatte transferiren kannst. Festplatten berechne ich aktuell mit rund 250MByte/s, aus wenn heutige Festplatten im Flotten Außenbereich etwas schneller sind, sind sie im Innenbereich eben erheblich langsamer. Für diesen Transfer reicht also ein heute sehr oft schon vorhandenes 2,5GBLan weitestgehend aus. Da man bei unraid bei einem lesenden Zugriff auf das Array immer nur die Transferleistung einer einzelnen Festplatte erreicht, wirst Du die 10GBLan damit massiv unterfordern. Man kann Schreibzugriffe durch einen SSD-Cache (als Pool) beschleunigen, aber sobald Du auf Dein altes Videomaterial im Array zugreifen willst, ist es eben nur noch 1/4 so schnell zu lesen. Du kannst das für die Arbeit eines Tages/Woche verbessern, indem Du einen ausreichend (sehr großen) SSD Cache/Pool anlegst und den per Mover nur in den gewünschten Zeitabständen ins Array leeren läßt. So greifst Du auch lesend auf das aktuelle Material flotter zu, aber wenn Du eben auf altes Material des Array zugreifst.... naja, für aufwändigen Videoschnitt könnte das ein bisschen zur Geduldsprobe werden. Das nur zur Vorwarnung vorab. 3 hours ago, LeoT said: Was brauche ich nicht: Eine GPU wird nicht benötigt werden Da die CPU eine iGPU drin hat und unraid ohne GPU eher problembehaftet ist, eine GPU brauchst Du, aber die iGPU reicht dafür aus. 3 hours ago, LeoT said: Komponenten: Komponenten-Liste: Server Gehäuse: Fantec SRC-4240X07-12G | ≈ 530 EUR https://www.fantec.de/produkte/serverprodukte/19-server-storagegehaeuse/produkt/details/artikel/2564_fantec_src_4240x07_6ge_expander/ Nachdem ich mich vom Schock erholt habe: https://forums.unraid.net/topic/111512-hardware-serverstromversorgung-für-angedachtes-4he-unraidsystem/?do=findComment&comment=1017393 Deien Wahl ist zwar eine leicht modernisierte Form, und Du kannst nehmen, was Du willst. Ich fasse mein Fantec SRC-4240X07 (Bauart 2018) nicht mehr an. Momentan dient es frustriert als Tisch, auf dem ich 2 Holzplatten gelegt habe und darauf ein PC System steht. Ich persönlich habe mit diversen Inter-Tech 19" 4HE Gehäusen (Inter-Tech 4U-4424, Inter-Tech 4U-4324L) weitaus bessere Erfahrungen gemacht. hawihoney bevorzugt die Supermicro, aber als Neuware sind mir die zu teuer. Wenn man die günstig/gebraucht bekommt sind die aber ziemlich gut. Deswegen würde ich eher in die Richtung suchen https://geizhals.de/inter-tech-ipc-4u-4724-88887354-a2672956.html?hloc=at&hloc=de und vielleicht zu Inter-Tech IPC 4U-4724 , 4HE (88887354) oder so greifen (die haben mehrere 24 Bay Gehäuse). Aber die haben keine SAS Expander in der Backplane, wie das Fantec. Aber unten schreibst Du sowieso von 3x SAS Karten (overkill und nicht zu empfehlen), dann brauchst Du den Expander ja sowieso eher nicht 3 hours ago, LeoT said: Motherboard: GIGABYTE B760 DS3H DDR4 | ≈ 120 EUR https://www.gigabyte.com/de/Motherboard/B760-DS3H-DDR4-rev-10#kf Notiz: Hier wird es nun natürlich schon komplizierter.... Die CPU passt ja auf jeden Fall drauf und genug PCIe's sind auch verfügbar: 1 x PCI Express x16 slot, supporting PCIe 4.0 4 x PCI Express x16 slots, supporting PCIe 3.0 and running at x1 Der Plan wäre hier eine 10 GbE Karte in den x16, PCIe 4.0 zu stecken für volle Bandbreite. Drei der x16 PCIe 3.0 x1 würde ich mit einem SAS Controller für die 24 Festplatten ausstatten. Die x1 Geschwindigkeit sollte hier kein Bottleneck werden denke ich zumal ich sowieso eine NVMe M.2 als Cache installieren werden. Bitte nicht böse sein, aber bist Du Dir da sicher? Ich glaube aus Deiner Gesamtausstellung zu erkennen, daß Du da nicht genau genug recherchiert hast und Dir die SAS Technik udn die Funktion des gewählten SAS Expanders nicht bekannt ist. Schlecht: Die x1 Slots für die SAS Kontroller werden ein "Bottleneck" werden, sobald Du mit Parity arbeitest und mal eine Paritycheck anstößt. Damit kommen bei jeder Festplatte nur noch rund 120MByte/s an. Besser, wenn auch nicht optimal: Wenn Du das Fantec mit dem SAS Expander beibehälst brauchst Du sowieso nur einen SAS Kontroller. Die anderen beiden kannst Du weglassen (und somit deren Strombedarf zumindest weglassen. Laut UserManual der 9300-8i Serie: Nominal = 13.0 W; Worst case = 19.04 W) Den SAS Kontroller in den PCIe 4.0 x16 stecken bietet dem Kontroller 8GByte/s (=ca. 64GBit/s). Diese Geschwindigkeit transferiert er dann über 2 SFF Anschlüsse mit je 4 Lines zu je 6G (leider kein 12G, weil die Backplane nur 6G macht) = 48GBIt/s kommen durch. Diese 48GBit/s verteilt die Backplane auf die 24 Bays, was dann pro Einschub 2GBit/s = ca. 200 MByte/s macht. Wenn Du dann noch ein besseres Mainboard suchst mit einem zusätzlichen PCIe x4 Slot kannst Du da dann auch Deine gewünschte 10GBLan PCIe 3.0 x4 Karte rein stopfen. 3 hours ago, LeoT said: RAM: Crucial Pro 2 x 16GB, 3200 MHz, DDR4-RAM, DIMM | ≈ 70 EUR https://www.galaxus.de/de/s1/product/crucial-pro-2-x-16gb-3200-mhz-ddr4-ram-dimm-ram-33027187?ip=Crucial+Pro+16+GB+3200 Notiz: 32 GB sollten wohl reichen... Falls Du feststellst, daß es Dir nicht reicht hast Du dennoch 2 Steckplätze belegt und je weiter Du ausbaust, müssten die ggf. rausfliegen. besser sofort nur einen 32GB Riegel nehmen. Dann hast Du 3 Steckplätze für später Erweiterung frei ohne den alten Riegel zwingend wegwerfen/verkaufen zu müssen. Und das ich überteuerte Blechdecke-Overclocker Riegel generell in einem reinen NAS (mit ein bisschen Docker) für übertriebenen Mumpitz halte, konnte man ja schon mehrfach lesen. Warum nicht einfach einen hiervon? https://geizhals.de/mushkin-essentials-dimm-32gb-mes4u320nf32g-a2344753.html?hloc=at&hloc=de Mushkin Essentials DIMM 32GB, DDR4-3200, CL22-22-22-52 (MES4U320NF32G) ist auch 10 Euro billiger als das Kit. 3 hours ago, LeoT said: 10 GbE Netzwerkkarte: Intel E10G42BTDAG1P5 | ≈ hab ich noch von einem älteren Server, Neupreis ca. 110 EUR Mit 2x SFP+ 10 Gb völlig ausreichend... Ich vermute jedoch aufgrund des alters einen recht hohen Verbrauch... Was denk ihr? Lohnt sich hier evtl. ein Tausch? Du scheust den Kauf einer 10GBLan Karte, die man gebraucht unter 100 Euro bekommen kann (Mellanox SFP+ 10GB Connect-X3 PCIe 3.0 x4), willst aber 3 SAS Kontroller zu je 90 Euro kaufen? Wenn Du (siehe oben) 2 der überflüssigen SAS-Kontroller weglässt sparst Du 180 Euro und kannst Die eine Connect X3 kaufen. Diese passt dann auch wunderbar in einen der x4 Slots eines der Mainboaerds, die ich als besser für diese SAS Konstellation halte. Der Knackpunkt hier ist, daß Du einmal eine PCIe x8 Karte (SAS Kontroller) und einen 10GBLan (mindestens x4) stecken willst. Aber auch dafür gibt es passende B760 Mainboards. Auf die Shcnelle gesucht: ASRock B760M PG Lightning/D4 90-MXBLY0-A0UAYZ ASRock B760M Pro RS/D4 90-MXBKL0-A0UAYZ ASUS Prime B760M-A D4-CSM MSI PRO B760-P DDR4 II 7E29-001R Aufgrund des SAS Kontrollers werden die C-States sowieso abgrundtief schlecht werden, so daß sogar ein Z690 Mainboard keinen großen Unterschied mehr macht. (Nebenbemerkung: Ganz frisch habe ich heute ein ASRock Z690-Pro-RS-(90-MXBGY0-A0UAYZ) geliefert bekommen. Da könnte man das alles super drauf vereinen. Ich habe es aber noch nicht getestet, deswegen kann ich dazu noch nichts genaues sagen. Aber mit seiner Ausstattung 1x PCIe 5.0 x16 1x PCIe 4.0 x16 (x4) 1x PCIe 3.0 x16 (x4) 2x PCIe 3.0 x1 2x M.2/M-Key (PCIe 4.0 x4) 1x M.2/M-Key (PCIe 3.0 x4) 1x M.2/E-Key (PCIe/Intel CNVi, 2230) wäre es (in meinen Augen) von den Schnittstellen her besser geeignet (wenn man schon so in die Vollen gehen will und vielleicht für einen großen Cache/Pool ein paar NVMe SSD koppeln möchte). 3 hours ago, LeoT said: SAS Controller: 3x Inspur LSI 9300-8i | ≈ refurbished je ≈ 90 EUR https://www.its-haehnlein.com/Shop/host-bus-adapter/267/inspur-lsi-9300-8i-sata/sas-hba-controller-it-mode-12gb-pcie-x8-9311-8i-zfs Ist wohl bestens für Unraid geeignet und gibt es mit kompatibler Unraid Firmware online zu kaufen. Du wolltest es sparsam und willst dann gleich 3 der Stromverbrenner einbauen? Wie oben schon geschrieben: Laut Handbuch benötigt jeder dieser SAS Karten Nominal = 13.0 W; Worst case = 19.04 W Du steckst also (unnötigerweise, wegen der SAS Backplane) 3x 13W =39W (bzw max./worst 57,12W) in die Kiste. + SAS Backplane 10-20W + 10GBLan 10W Dazu noch CPU, Ram, Festplatten, SSDs, Lüfter ... und das ganze bei miesen C-States. Wenn Du gaaanz viel glück hast schaffst Du das System idle Spindown unter 100W zu drücken, aber ich bin da seeehr skeptisch. 3 hours ago, LeoT said: Jede Karte kann über zwei SFF-8643 Ports bis zu 8 Platten versorgen. Warum willst Du 3 SAS-Karten mit je 2 SFF Anschlüssen, wenn Du oben im Gehäuse eine Backplane mit SAS Expander kaufst, welcher nur 3 Anschlüsse hat und sich selber um die Verteilung von einem/zwei SFF auf alle 24 Bays kümmert? 3 hours ago, LeoT said: Der Plan ist drei Karten zu kaufen um die entsprechenden sechs SFF-8087 Ausgänge des Gehäuses auszustatten. Das verlinkte gehäuse hat keine 6 SFF. Wenn Du auf den SAS Expander verzichtest (also nicht das verlinkte gehäuse nimmst, wären immer noch 3 SATA kontroller sparsamer und billiger. Gedankenspiel 24 Bays per SATA zu versorgen: Man braucht 4-8 SATA Ports auf dem Mainboard (B760 oder Z690 Mainboard) Dazu dann ein paar ASM1166, die dann je 4 bis 6 SATA Ports bieten. Nehmen wir mal das von mir oben erwähnte ASRock Z690-Pro-RS-(90-MXBGY0-A0UAYZ) [welches ich noch nicht wirklich getestet habe!!] 1x PCIe 5.0 x16 1x PCIe 4.0 x16 (x4) (hier könnte die 10GBLan PCIE x4 Karte rein) 1x PCIe 3.0 x16 (x4) (oder hier könnte die 10GBLan PCIE x4 Karte rein) 2x PCIe 3.0 x1 2x M.2/M-Key (PCIe 4.0 x4) 1x M.2/M-Key (PCIe 3.0 x4) 1x M.2/E-Key (PCIe/Intel CNVi, 2230) 8x SATA Also 8x SATA onboard einen ASM1166 in einen der x4 Slots = 6 weitere SATA Ports. je einen ASM1166 in die x1 Slots = 2x 4 SATA Ports = 8 Das macht schon mal zusammen 22 SATA Ports. Wenn Du dann wirklich die letzten 2 Bays noch versorgen willst, eine JMB582 2230 Steckkarte übernimmt das. Alternativ opferst Du ein paar der M.2 2280 Slots für ASM1166 und kannst da dann jeweils sogar 6 SATA gut versorgen. Dann hast Du immer noch einiges frei um NVMe SSD zu betreuben, damit Du mit einem großen Cache/Pool eine 10GBLan belasten kannst. Schauen wir uns die Änderung vom Energiebedarf an. Deine Idee 3x SAS = 39W oder 1x SAS 13W + Backplane 10-20W (zusammen =23-33W) Meine Idee: 3x ASM1166 (je 2W = zusammen 6W) + 1x JMB582 (ca. 2W) = alles 8W /den JMB582 schlage ich vor, weil er dort einfach zu montieren ist, nur 2 weitere SATA benötigt werden und die C-States wegen der restlichen Bestückung sowieso im Eimer sind. Natürlich kann man dort auch per Adapter eine ASM1166 einbauen) Da beide Ideen incl. der 10GBLan die C-States sowieso auf vermutlich C2 oder C3 puschen werden, ist beides nicht perfekt, aber wenn man das Ding 24/7 laufen lassen will, machen sich die rechnerischen 15-25W Unterschied auf Dauer bemerkbar. 3 hours ago, LeoT said: Notiz: Hier bin ich mir noch nicht ganz sicher... Bis jetzt hatte ich immer die Seagate Ironwolf NAS Platten.. Die haben sich aber immer schnell verabschiedet... Gerne Vorschläge womit Ihr gute Erfahrungen gemacht habt. Ich möchte nicht direkt alle 24 Bays belegen.. Vermutlich sollen es fürs erste um die 120 TB werden. Da die Festplatten meist schlafen und selbst im betrieb im Schalldämmenden Rack verschwinden ist es egal, was Du einbaust. Bei rund 288TB Zielkapazität würde ich aktuell die Preis/Kapazitätssieger wählen und das sind dann 18-20 TB Festplatten. Je größer dei festplatten, desto weniger brauchst Du und desto weniger Festplatten Du hast,k desto gerihger ist der Energetische verbrauch. Sofern einen nicht ein super Sonderangebot überrollt, sind meist die Toshiba MG Festplatten die günstigsten. 16x 18TB = 288TB Toshiba Cloud-Scale Capacity MG09ACA 18TB, 512e, SATA 6Gb/s MG09ACA18TE wären aktuell die Pris/Kapazitätssieger bei Neuware (sind mir aber aktuell mit 15,49 Euro/TB zu teuer. Ich bevorzuge maximal 15Euro/TB zu zahlen.) 3 hours ago, LeoT said: Schlusswort: Ich würde mich sehr freuen, wenn einer von euch mit noch mehr Ahnung mal über meine Komponenten herüber schaut, und eventuell noch mal hilfreiches Feedback geben kann. Ob mein Feedback hilfreich ist oder Dir nur auf den Schlips tritt mußt Du entscheiden. Ich möchte Dich nur vor einem Schnellschuß und Enttäuschung bewahren. Da ich eigenlich an fast allem aus Deiner Auswahl etws zu 'kommentieren'/meckern habe hoffe ich, Du bist nicht böse. Es soll keine Beleidigung oder so sein. Ich befürchte nur, Du hast nicht alles wirklich durchdacht oder Dir fehlt an ein paar Stellen noch ein bisschen Wissen. P.S.: das war viel Text und es ist schon spät (oder besser früh). Tippfehler sind bestimmt massig enthalten und wenn ich wieder wacher bin, werde ich die vielleicht später noch ausbessern. 1 Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.