Jump to content

Optimierung meines Builds


Pompeij

Recommended Posts

Wünsche Allen noch ein Frohes Neues Jahr!

 

Ich habe ein Kontron/Fujitsu D3644-b mit einem i3-9100 und 2xKingston 16gb DDR4 ECC mit dem ich ein Array von 4 10TB Festplatten betreibe (1 Parity). Darüberhinaus habe ich die zwei weiteren SATA Ports jeweils eine 2,5" 1TB HDD Cache. Weiterhin habe ich eine 128gb SSD als CacheOnly für Docker und System per USB3-0>Sata angeschlossen.

 

Im Idle komme ich mit den 3 SSDs, 3x140mm Lüfter, VPN Docker aktiviert und den Festplatten im Spindown auf 13 Watt.Bin damit soweit zufrieden.

 

Nur ist mir jetzt der Platz ausgegangen und das Array muss wachsen. Habe mich hierzu auch etwas eingelesen. Es gibt ja verschiedene Möglichkeiten weitere SATA Ports hinzuzufügen. SAS HBA scheint am performantesten zu sein aber braucht auch viel Strom. Ich möchte möglichst sparsam bleiben, habe aber auch keine Lust auf ein instabiles System. Zu PCIE> SATA Karten habe ich teils widersprüchliche Angaben gefunden, aber ich glaube Verstanden zu haben, das die ASMedia Chips in Ordnung sein sollten, wenn man ein Modell ohne Port-Multiplier nimmt. Hierzu meine erste Frage: Woran erkenne ich ein Modell ohne Port multiplier?

 

Da ich momentan weder den M.2 Slot noch einen PCI-Slot belegt habe - wie würdet ihr den Build erweitern? Beide SSDs raus und eine M.2 rein? USB>SATA für Docker/System ok?

 

Weiterhin funktioniert die Lüftersteuerung mit dem D3644-B nicht. Gibt es einen Weg, dies ans laufen zu bekommen?

Link to comment

Vielen Dank für die Antworten!!

Ich hatte zu Anfang Cache, Docker und System auf einer SSD - da hatte ich deutliche performance einbrüche. Eine M.2 hat natürlich deutlich mehr Bandbreite - wäre es eine Möglichkeit die bisherigen 3xSATA SSDs durch eine M.2 zu ersetzen von der Performance her oder sollte ich Cache und Docker/System Cache  weiter getrennt halten?

 

Welche PCIE>SATA Karte soll ich nehmen? Bin noch etwas verwirrt über die Bezeichnungen - nehme ich PCIE 3.0 1x oder 4x? Die müssten ja beide in mein Board passen, oder?

 

Wäre das ein guter Weg? Also M.2 als Cache (für alles) und dann das Array über die frei werdenden oboard Sata Ports und später einer ASM1166 erweitern?

Link to comment
7 hours ago, Pompeij said:

Ich habe ein Kontron/Fujitsu D3644-b mit einem i3-9100 und 2xKingston 16gb DDR4 ECC mit dem ich ein Array von 4 10TB Festplatten betreibe (1 Parity). Darüberhinaus habe ich die zwei weiteren SATA Ports jeweils eine 2,5" 1TB HDD Cache.

Wirklich Festplatten und keine SSD als Cache?

Oder meinst Du ssd und sind das dann 2 der 3 erwähnten SSD?

 

7 hours ago, Pompeij said:

Nur ist mir jetzt der Platz ausgegangen und das Array muss wachsen. Habe mich hierzu auch etwas eingelesen. Es gibt ja verschiedene Möglichkeiten weitere SATA Ports hinzuzufügen. SAS HBA scheint am performantesten zu sein aber braucht auch viel Strom. Ich möchte möglichst sparsam bleiben, habe aber auch keine Lust auf ein instabiles System. Zu PCIE> SATA Karten habe ich teils widersprüchliche Angaben gefunden, aber ich glaube Verstanden zu haben, das die ASMedia Chips in Ordnung sein sollten, wenn man ein Modell ohne Port-Multiplier nimmt.

Sollten Dir 4 weitere SATA Ports für Festplatten ausreichen, würde ich zu einer ASM1064 basierten Steckkarte für einen der PCie 3.0 x1 Slots raten.
Da empfinde ich aktuell folgendes Angebot als preisgünstig:
  https://www.ebay.de/itm/314271119242 

Wenn Du 5 oder 6 SATA Ports willst, ist ein PCIe3.0 x1 Slot leider für gleichzeitige Nutzung doch zu sehr begrenzend, weshalb man hier x2 Lanes nutzen sollte. Leider sind x2 PCIe Slots eher selten, so daß man hier in der Regel gleich einen PCIe x4 Slot ver(sch)wenden muß.
5 SATA Ports JMB585 basiert:
  https://www.ebay.de/itm/304502983776
6 SATA Ports ASM1166 basiert:
  https://www.ebay.de/itm/325317123951

 

Da Dein M.2 Slot noch leer ist, kannst Du auch dort eine Karte einbauen:
5 SATA Ports JMB585 basiert:
  https://www.ebay.de/itm/313853508143

6 SATA Ports ASM1166 basiert:
  https://www.ebay.de/itm/394073397570

 

Diese Angebote sind nur Beispiele. Vergleichbares findet man auch bei vielen PC-Hardwareverkäufern, sowie auf Amazon, Aliexpress, etc...

 

7 hours ago, Pompeij said:

Hierzu meine erste Frage: Woran erkenne ich ein Modell ohne Port multiplier?

Dazu hat mgutt ja schon etwas gesagt.

 

7 hours ago, Pompeij said:

Da ich momentan weder den M.2 Slot noch einen PCI-Slot belegt habe - wie würdet ihr den Build erweitern?

Solltest Du aktuell Raid1 einsetzen:

Wenn Du kein Raid1 für Pool brauchst, sondern auch gelegentliche Backups reichen, bekommst Du vielleicht noch einen SATA Port für das Array frei.

 

Falls Du auf Raid1 wirklich verzichten kannst:

M.2 Slot mit geeignet großer & flotter SSD belegen. Je nachdem, was Du mit Deinen Dockern/Vm machst sollte das schon reichen um einige SATA Ports frei zu bekommen und Cache und Docker/Vm darauf zu konsolidieren.

 

Damit wären auch Stromsparprobleme von Zusatzkontrollern umgangen.

  • Like 1
Link to comment
5 hours ago, Pompeij said:

Ich hatte zu Anfang Cache, Docker und System auf einer SSD - da hatte ich deutliche performance einbrüche.

Das hängt eben stark von der Nutzung ab.

Ich pumpe oft viele Daten (hunderte GB) in sehr kurzer Zeit durch den SSD Cache und damit bringe ich sogar meine M.2 NVMe SSD so weit an die Grenzen, daß es stockte. Deshalb habe ich auch Pool Datencache und Pool Cache für Systemdaten wieder getrennt. Aber ich habe eben ein sehr extremes Nutzungszenario,

 

Eine flotte NVMe SSD sollte bei normaler Anwendung aber für beides ausreichen. Hier würde ich aber dann zu mindestens 2TB greifen.

Wenn Du unbedingt Raid1 dafür nutzen willst, wirst Du aber dann nicht um 2 SSD herum kommen und eine wird in den PCIe Slot (x4 oder besser) adaptiert werden müssen.

 

5 hours ago, Pompeij said:

wäre es eine Möglichkeit die bisherigen 3xSATA SSDs durch eine M.2 zu ersetzen von der Performance her oder sollte ich Cache und Docker/System Cache  weiter getrennt halten?

Wie gesagt hängt das sehr individuell von der Benutzung ab.

Normalerweise ist es kaum ein Problem das alles zusammen zu haben, selbst bei einr guten SATA SSD.

Erst, wenn man soviele Nutzdaten zum Cache schreibt/liest, daß die SSD damit exklusiv ausgelastet wird, bekommt man Probleme und gleichzeitige Lesezugriffe für Docker/VM stocken. Der Ram hilft noch etwas auszugleichen, aber da kann man bei guten SATA SSD schneller an diese Grenze kommen, als bei guten NVMe SSD.

 

5 hours ago, Pompeij said:

Welche PCIE>SATA Karte soll ich nehmen?

Siehe oben: ASM1064 bei 4 Ports, JMB585 bei 5 Ports, ASM1166 bei 6 Ports.

Beachte aber, daß Du durch mehr Komponenten auch mehr Stromverbrauch haben wirst und vielleicht nicht mehr so niedrige C-States erreichbar sind.

 

5 hours ago, Pompeij said:

nehme ich PCIE 3.0 1x oder 4x?

Dein Mainboard hat 2 PCIe 3.0 x1 Slots (einer ist nach hinten offen)

und 2 PCIe 3.0 Slots, die mechanisch x16 lang sind, aber nur einer davon ist wirklich elektrisch mit x16 angebunden. Der andere nur x4.

 

Eine 4Port SATA Karte für Festplatten kann in einem PCIe3.0 x1 Slot gut ihre Arbeit verrichten und ist auch für heutige 10TB Festplatten vollkommen ausreichend flott angebunden. Größere Festplatten sind im Außenbereich zwar etwas schneller, aber den Bereich nutzt man ja eher selten und die erreichbaren ca.250MByte/s Peak bei 4 Ports und gleichzeitiger Nutzung sehe ich als wirklich ausreichend gut angebunden an.

Wenn Du mehr als 4 SATA Ports nutzen willst, brauchst Du aber auch x2 der mehr Lanes um mindestens die 250MByte/s gleichzeitig zu bekommen. Und da das Board dann eben nur x4 und x16 Slots bietet wirst Du einen solchen nutzen müssen.

 

Ich schrieb dazu ja mal eien FAQ:

 

5 hours ago, Pompeij said:

Wäre das ein guter Weg? Also M.2 als Cache (für alles) und dann das Array über die frei werdenden oboard Sata Ports und später einer ASM1166 erweitern?

In meinen Augen und ohne genauere betrachtung ob/wo Du Performanceeinbrüche hattest:

M.2 Slot (und wenn Du Raid1 willst ggf. auch PCIe x4 Slot) mit M.2 NVMe SSD bestücken.

USB Anbindungen (bis auf den unraid Stick) entfernen.

Die vorhandenen SATA SSD auf NVMe SSD transferieren und damit die SATA Anschlüsse onboard für Festplatten verwenden.

Das dürfte die stromsparenste Variante sein.

 

Solltest Du dann später noch mehr SATA Ports für Festplatten brauchen mit einer Zusatzkarte erweitern.

Wenn Du doch vereinzelte SATA SSD verwenden willst, sollten die bevorzugt an den (performanteren) SATA OnBoardanschlüssen betrieben werden.

  • Like 1
Link to comment
15 hours ago, DataCollector said:

Wirklich Festplatten und keine SSD als Cache?

Oder meinst Du ssd und sind das dann 2 der 3 erwähnten SSD?

Sorry, das sollte SSD heißen. Also eine System/Docker SSD und 2x Daten SSD.

 

Die Trennung von System/Docker-Cache und Daten-Cache soll bleiben, da ich ein ähnliches Szenario wie von DataCollector bescrhieben habe. Raid brauche ich für meinen Cache nicht. Die System/Docker Dateien werden regemäßig gesichert.

 

Wahrscheinlich werde ich die beiden 2,5" SSD rausschmeißen und durch eine M.2 ersetzen - welche würdet ihr empfehlen im Hinblick auf Leistung/Stromverbrauch? 1TB würde mir reichen. EDIT: Brauche doch 2 TB.

 

Die verbliebene 2,5" SSD kommt dann weg vom USB>Sata und direkt ans Mainboard. Bleibt noch ein SATA Port am Maiboard über, der mit einer 16TB Platte bestückt werden wird.


Das Limit/Ziel habe ich mir bei einem Array von 10 Datenplatten gesetzt, mit einer ASM1166 würde dann sogar ein Port für mein Pioneer frei bleiben. Allerdings ärgerlich eine 2x Karte in einen 4x Slot zu stecken.

 

Vielen Dank Euch beiden, dass ihr euch, neben den ausführlichen Tutorials, die Zeit genommen habt meine individuellen Fragen zu beantworten.

 

Edited by Pompeij
Link to comment
1 hour ago, Pompeij said:

Die Trennung von System/Docker-Cache und Daten-Cache soll bleiben, da ich ein ähnliches Szenario wie von DataCollector bescrhieben habe. Raid brauche ich für meinen Cache nicht. Die System/Docker Dateien werden regemäßig gesichert.

 

Dann sind also 2 unterschiedlich genutzte SSD angedacht.

 

Du kannst eine NVme nehmen und eine SATA SSD, doch maximal performant wären 2 NVMe SSD (auch weil Du mehr SATA ports frei bekommst und empfehlenswert den USB Cache in Rente schicken könntest), weshalb ich das hier etwas ausführe:

 

Sollte Deine System/Docker nicht allzu groß sein/zuviel Platz beanspruchen, kann man die SSD mit etwas Reserve wählen. Wenn Du da beispielsweise nur 500GB belegst, sollte dafür eine 1TB einige Zeit reichen. Ich tendiere zwar immer dazu etwas großzügiger zu sein (also auch dafür 2TB) aber natürlich ist es auch ein frage des Geldes.

Die DatenCache SSD hingegen wird vermutlich stärker beansprucht und da größere SSD die Daten besser verteilen können und deswegen auch statistisch/TBW mehr Schreibzugriffe vertragen würde ich hier nicht unter 2TB SSD gehen.

 

Bezogen auf Dein Mainboard D3644-b (ich habe ja das selbe, siehe Signatur 2nd System) hast Du nun mehrere Möglichkeiten (sofern alle PCIe Slots noch frei/unbenutzt sind).

Einerseits kannst Du den M.2 Slot für eine NVMe SSD nehmen (egal ob Datencache oder System/Docker) und eine weitere NVMe SSD genauso performant per simplem M.2 PCIe x4 Adapter im unteren x16 Sockel (nur x4 angebunden) betreiben.

Solltest Du hingegen diesen unteren x16 Slot schon anderweitig belegt haben (beispielseise eien 10GBLAN Karte oder so), dann bietet sich auch der erste PCIe x16 Slot an, welcher wegen seiner Bifurcation Fähigkeit (bis zu x8x4x4) sich auch für 2-3 NVMe SSD eignet, wenn man eine geeignete Karte (ca. 40 Euro) dort einsetzt.

 

Mit beiden Varianten erreichst Du maximale Transfergeschwindigkeit der SSDs.

 

Ausserdem bekommst Du so SATA Anschlüsse für weitere Festplatten frei udn brauchst dafür erst einmal nicht auf Zusatzkontroler zurückzugreifen.

 

Du müßtest also nur auf das nächste NVMe Sonderangebot warten und dann 2 Stück davon und einen Adapter (simples Modell ca. 10-20 Euro oder Bifurcation Modell ca. 40Euro) kaufen.

 

 

1 hour ago, Pompeij said:

- welche würdet ihr empfehlen im Hinblick auf Leistung/Stromverbrauch? 1TB würde mir reichen. EDIT: Brauche doch 2 TB.

Aktuell sehe ich aber keine sinnvollen Sonderangebote für NVMe SSD für unraid, aber die kommen garantiert wieder.

Wenn ich bedenke, daß die von mgutt gerne empfohlenen (und auch von mir zahlreich eingesetzten) Samsung 970 Evo Plus aktuell (bei 2TB) fast 200 Euro kosten und zwischenzeitlich schon bei 168Euro lagen, könnte man noch warten. In dieser direkten Nachweihnachtszeit sehe ich nicht, das in den nächsten 2 Wochen die Preise purzeln.

Andererseits bilde ich mir ein, daß die ADATA Legend 960 im aktuellen CT SSD Test sich wohl als ziemlich Dauerschreibfest gezeigt haben. Die liegen aktuell in ähnlichen Preisregionen.

 

Wenn Du kannst, kannst Du dir den CT Test in der aktuellken Ausgabe ja mal durchlesen.

 

1 hour ago, Pompeij said:

Die verbliebene 2,5" SSD kommt dann weg vom USB>Sata und direkt ans Mainboard. Bleibt noch ein SATA Port am Maiboard über, der mit einer 16TB Platte bestückt werden wird.

Wie Du oben liest, würde ich die Sache mit 2 Stück NVMe SSD noch weiter entspannen.

 

1 hour ago, Pompeij said:

Das Limit/Ziel habe ich mir bei einem Array von 10 Datenplatten gesetzt,

Ohne Parity oder hast Du die zu den Datenplatten schon dazu gezählt?

Aktuell hast Du (wenn ich richtig las) 4 Array Festplatten Onboard. Wenn Du wirklich 2 NVme SSD nutzt, kannst bis zu 6 Festplatten onboard ansteuern.

1 hour ago, Pompeij said:

mit einer ASM1166 würde dann sogar ein Port für mein Pioneer frei bleiben. Allerdings ärgerlich eine 2x Karte in einen 4x Slot zu stecken.

Da ich das auch Ärgerlich finde, greife ich gerne zu den 1064 Karten in einem PCIe 3.0 x1 Slot.

Wenn Du 6 Festplatten onboard anbindest, kannst Du mit einem 1064 4 weitere anbinden.

 

Übrigens noch eine kleine Idee, wenn Du doch 1 oder 2 SATA onboard für SSD verwenden willst: Das Mainboard hat auch einen kurzen M.2 Slot (M2 WLAN/ M.2 2230 KEY A oder E) in dem ich schon einen 2fach SATA Kontroller mit JMB582 betrieben habe.

Aber solange Du da keine WLAN Karte oder so einsetzt, sind 2 SATA Ports darüber kein Problem.

https://www.amazon.de/gp/product/B083SSQQYV/ref=ppx_yo_dt_b_search_asin_title?ie=UTF8&psc=1

 

Dann könntest Du also ohne Lanes zu ver(sch)wenden mit einer ASM1064 (PCIe 3.0x1) und einer JMB582 (M.2 PCIe 3.0 x1) Karte in Summe 6 Zusatzports erreichen, die für Festplatten meiner Meinung nach vollkommen ausreichend sind.

 

Kannst ja mal schauen, was ich mit dem Board veranstaltet habe:

In dieem System habe ich das Mainboard und anfangs auch eien JMB582 drin.

Später habe ich die sogar rausgenommen und per Zusatzadapter einen ASM1166 eingebaut (den ich aber wegen der PCIe 3.0x1 Anbindung des Slots nur mit 4 Festplatten beschalte).

Auch findest Du weiter unten meinen Hinweis zu er Bifurcation Karte im oberen x16 Slot für bis zu 3 NVMe SSD zusätzlich zum 2280 M.2 Slot.

Man kann mit dem Board also ziemlich viel machen.

 

 

Edited by DataCollector
Ergänzung und Typos
  • Like 1
Link to comment

Es macht wirklich Spaß sich auszutauschen :)

 

Bei der Anzahl der 3,5" Platten habe ich die Parity mitgezählt. Könnte mir, bei steigenden Festplattenkapazitäten, aber auch vorstellen mit 7 oder 8 hinzukommen (inkl. Parity)

 

Der Tipp mit der KeyA Karte ist super, sollte ja (auch 2 SSD) nicht drosseln mit nur 2 ports auf 3.0x1 .

 

Schwanke zwischen folgenden Setups:

Was wäre vom Stromverbrauch günstiger?

 

1.

PCIE>NVME 2 oder 4 Port-Karte mit 2 NVME (1x Docker/System Cache 500GB, 1xDaten Cache 2TB)

 

2.

M2.NVME für DatenCache 2TB, M.2 Key A für 1x2,5" SSD Docker/System Cache

 

Bei beiden Varianten würden alle onboard Sata Ports für Daten-HDDs frei. Bei 1. würden auch die M2. Key A und B für Datenplatten frei bleiben. Mit der Key-A Adapter Karte käme ich dann schon auf 8xSATA ports, was mir schon reichen könnte.

 

 

 

Link to comment
13 hours ago, Pompeij said:

Der Tipp mit der KeyA Karte ist super, sollte ja (auch 2 SSD) nicht drosseln mit nur 2 ports auf 3.0x1 .

Ja, bei der Karte sollten die ca. 1GByte/s auf 2 Ports bei gleichzeitiger Nutzung somit fast 500MByte/s ergeben. Es gibt zwar Peaks bei guten/schnellen SSD, die höher sind, aber wenn man das akzeptier passt das. Da die OnBoard Ports mit gesamt ca. 2 GByte/s angebunden sein dürften, wären sehr performante SATA SSD onboard besser aufgehoben.

Oder man nutzt bei der Karte nur einen Port für eine SATA SSD und den zweiten für eine SATA Festplatte. Somit sollten beide ihre aktuel maximal machbare performance im Peak schaffen.

 

13 hours ago, Pompeij said:

Was wäre vom Stromverbrauch günstiger?

Mit der frage hast Du den Pferdefuß gefunden: Die Sparsamkeit hängt ja auch davon ab, wie die jeweilige Firmware der Komponenten mit dem BIOS/UEFI des Mainboard und CPU harmoniert und dadurch vielleicht verschiedene C-Sates ermöglicht oder verhindert.

Man müßte jetzt genau die angestrebte Konstellation testen um das abschließend beurteilen zu können.

Dazu bin ich nicht in der Lage.

Ich glaube Kindston hatte da eien VMe SSD, die sich wegen der Firmwareproblematik nie richtig schlafen legte. Wenn man die also verbaut verhagelt man sich den Optimaleren Verbrauch durch ein paar Watt.

Auch gibt es ja die Erwähnungen zu der Firmware der ASM1166 Kontroller, welche auch tiefere C-States erschweren können.

Somit kann man nur pauschale Aussagen treffen.

wenn also in der Realität die Sache dann doch ein paar Watt mehr oder weniger verbraucht mag das damit zusammen hängen.

 

13 hours ago, Pompeij said:

1.

PCIE>NVME 2 oder 4 Port-Karte mit 2 NVME (1x Docker/System Cache 500GB, 1xDaten Cache 2TB)

Die Karten selber verbraucht annaeherend nichts, sondern leitet eigentlich nur die Lanes zu den mechanischen M.2 Ports durch ( die paar Konsendatoren, Spulen und Widerstaende sind vernachlässigbar).

Es kommt also primär auf den realen Verbrauch der NVMe SSD an.

 

13 hours ago, Pompeij said:

2.

M2.NVME für DatenCache 2TB, M.2 Key A für 1x2,5" SSD Docker/System Cache

Die M.2 Key A/E Karte ist ein 'normaler' SATA Kontroller. Er verbraucht ebenfalls sehr wenig, aber so 1 oder 2 Watt vermute ich mal schon. Aber der Chip kommt ja noch ohne Kühlkörper aus, weshalb es nicht wirklich viel sein kann. Dafür sollte eine SATA SSD in aller Regel minimal saprsamer als eine NVMe SSD sein.

 

Ich kann es nicht präzise sagen, würde aber schätzen, wenn Du keine stromfressenden NVME SSD verwendest, sollten beide Varianten in Summe fast gleich viel Energie ver(sch)wenden.

Bei Variante 1 dürfte die NVMe SSD aber idle vermutlich selbstständig den Eigenverbraucht weiter senken, als es der SATA Kontroller und SATA SSD idle macht.

Aber das ist eine reine Vermutung meinerseits.

 

13 hours ago, Pompeij said:

Bei beiden Varianten würden alle onboard Sata Ports für Daten-HDDs frei. Bei 1. würden auch die M2. Key A und B für Datenplatten frei bleiben. Mit der Key-A Adapter Karte käme ich dann schon auf 8xSATA ports, was mir schon reichen könnte.

Ich persönlich würde zu 2 NVMe SSD greifen und eben einen ASM1064 in einen der PCIe 3.0 x1 Ports platzieren um das ursprüngliche Maximum von bis zu 10 Festplatten und 2 SSD betreiben zu können.

Ob nun ein ASM1064 oder ein JMB582 sparsamer ist und/oder bei welcher Firmware weche C-Sates in dem Mainboard schafft, kann ich nicht sagen. Die Datenblätter sind leider für Normalmenschen nicht alle zugänglich (oder ich habe sie noch nicht gefunden) um das dort ablesen zu können.

 

Die JMB582 Variante hat den Charme, daß man alle PCIe Slots noch frei hat, aber andererseits: wofuer sollte man die frei halten?

 

Die ASM1064 Variante hat den Charme, daß man die volle Flexibilität hat und dort mit 2 belegten SATA Ports die selbe Performance wie die JMB582 erreichen kann und dennoch später immer noch 2 weitere Ports zur Nutzung hat.

Und wenn man die SASM1064 voll (also mit 4 SATA Festplatten) bestückt, könnte man auch einen oder 2 der OnBoard Ports für weitere SATA SSD frei bekommen.

 

Alles Möglich und eine Frage Deiner persönlichen Präferenz.

 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...