Umstieg zu Unraid


moreman

Recommended Posts

Hallo zusammen,

 

ich lese jetzt schon einige Tage hier mit, bin aber bezüglich der zu verwendenden Hardware zu keinem richtigen Ergebnis gekommen.

Und jetzt ist mir heute noch eine Platte in meiner QNAP TS-259 Pro+ ausgefallen ...

 

 

Anforderungen die ich habe:

  • mindestens 10 TB Speicher
  • Rack Einbau
  • 10 GB Anbindung an Unifi Switch über SFP+ Port
    (derzeit noch nicht vorhanden; aktuell 1 GB Switch über RJ45 an USW-16-PoE)
    Zum Hintergrund, ich setze in meinem Netzwerk komplett auf Unifi Komponenten.

 

 

VMs:

  • Win10         - dauerhaft an -     8 GB RAM / 200 GB Festplattenspeicher

  • Win10         - dauerhaft an -     8 GB RAM / 150 GB Festplattenspeicher

  • PRTG          - dauerhaft an -     8 GB RAM / 150 GB Festplattenspeicher

  • iOS             - dauerhaft an  -   16 GB RAM / 250 GB Festplattenspeicher

  • Win10 Test  - bei Bedarf an -    8 GB RAM / 150 GB Festplattenspeicher

  • Linux Mind  - bei Bedarf an -    8 GB RAM / 150 GB Festplattenspeicher

  • ... weitere Test VMs werden wohl noch dazu kommen

 

 

Container:

  • ioBroker
  • Nextcloud
  • 2x PiHole
  • Octoprint
  • Kanban Board?
  • 2-3 Info Anzeige
  • ... da kommt bestimmt auch noch was dazu

 

 

Mein Gedanke ware jetzt, eine Parity Festplatte mit 10-12 TB zu verwenden.

Für das Daten Array 2x 10 TB (evtl. würden für den Anfang auch kleinere Reichen)

Eine Cache SSD will ich auch haben. Hier hätte ich eine Samsung 860 EVO mit 1 TB noch rumliegen - sollte diese nutzbar und sinnvoll sein.

Hier habe ich aber auch gelesen, dass eventuell 2x M2. PCIe mehr Sinn machen würden.

Beim Arbeitsspeicher habe ich an 64 GB ECC RAM gedacht.


Was das Budget angeht, da möchte ich ehrlich gesagt nicht mehrere tausend Euro ausgeben. 🙂

Ich bin mir total unsicher, was man da für die VMs so braucht, dass diese ordentlich laufen.

 

Welche Hardware könnt ihr mir empfehlen?

Gibt es da sinnvolle Kombinationen für mein Vorhaben oder muss ich da komplett umdenken.

 

 

Link to comment

...grundsätzlich ist das alles machbar.

 

Wenn Du nur eine Cache-SSD nutzen willst, dann hast Du da keine Ausfallsicherheit..."normal" ist ein Cache-Pool aus 2 SSDs.

 

Um 10G übers Netz zu drücken brauchst Du schon eine gute CPU mit hohem Takt (SMB ist single threaded).

Ebenso genug Leistung von den DIsks....unRaid stellt aus dem Daten-Array aber maximal die Performance einer Disk zur Verfügung!

bei ca. 10TB wprde ich genau 2 HDDS nehmen, einmal Daten und einmal Parity....dann laufen die im Mirror und Du hast immer maximale (die einer DIsk) Performance.

 

Wenn es dafür nicht um das Daten-Array, sondern um Performance der VMs und Docker, inkl. Netzwerk-Performance geht, reicht auch da eine normale SSD nicht mehr aus.

Da brauchst Du schon NVMe mit PCIe-Anbindung.

 

in Unraid sind die VMs (virtuelle Disks) und Docker eigentlich immer auf dem Cache, damit die HDDs im Daten-Array auch schlafen gehen können.

Bei den von Dir genannten Grössen der vDIsks für VMs wird es aber schon gross....1TB eher knapp.

Für iOS gibt es aber kleine VM, oder?...Du meinst eher OSX...da brauchst Du, soweit ich es noch weiss, eine dedizierte GraKa für die VM.

PRTG gibt es nicht auf Docker??

Welche Anforderungen hast Du noch an die VMs...Gaming oder andere Grafik-Performance? -> auch eine dedizierte GraKa.

Evtl. kannst Du auch SATA-Controller und Disks/SSD an VMs durchreichen.

 

Je nach dem brauchst Du also ein grosses System mit ausreichend Lanes...machbar, aber dann teuer (zB Intel Socket 2011-3)

 

Kannst Du in dieser HInsicht also mal etwas mehr Details liefern?

Link to comment

besondere Grafikanforderungen an die VMs habe ich nicht.

Ja, ich meinte OS X, sorry.

 

Eventuell könnte ich bei den Festplattengrößen noch etwas nachjustieren, aber so wie Du schreibst, bringt mir die vorhandene SSD nichts uns es macht wohl mehr Sinn auf 2 NVMe mit PCIe-Anbindung zu setzen.

 

An die 10 G Anbindung dachte ich um bei Kopiervorgängen von mehreren Clients genügend Bandbreite zur Verfügung zu stellen.

 

Sollte es bei unRaid eine PRTG Docker Variante geben, wäre ich auch nicht abgeneigt.

Mein Hintergedanke war, die bestehende PRTG Installation auf einer derzeit laufenden Proxmox Umgebung nach Unraid zu migrieren.

 

Würde es die Sicherheit erhöhen, wenn ich im Daten-Array 3 anstatt 2 Festplatten (inklusive der 1 Parity Festplatte) verwende?

Link to comment
1 minute ago, moreman said:

besondere Grafikanforderungen an die VMs habe ich nicht.

Ja, ich meinte OS X, sorry.

Ja, dann kannst Du gut mit VNC/RDP leben, denke ich.

Da wird nur der Slot für die 10G benötigt....Treiber für Intel und Mellanox-ConnectX-3 sind in unraid auf jeden Fall dabei. In der 6.9RC2 wohl auch für weitere Chipsätze.

ber da lerne ich auch gerade noch dazu...

 

1 minute ago, moreman said:

Eventuell könnte ich bei den Festplattengrößen noch etwas nachjustieren, aber so wie Du schreibst, bringt mir die vorhandene SSD nichts uns es macht wohl mehr Sinn auf 2 NVMe mit PCIe-Anbindung zu setzen.

Da bist Du erstmal auf der sicheren Seite. Bei der Auswahl des MB aber genau das Handbuch lesen.

Manchmal werden SATA oder PCIe Ports abgeschaltet, wenn zwei oder mehr M2 Slots belegt werden.

 

1 minute ago, moreman said:

An die 10 G Anbindung dachte ich um bei Kopiervorgängen von mehreren Clients genügend Bandbreite zur Verfügung zu stellen.

Wenn es mehrere SMB oder VNC/RDP Streams sind, geht das natürlich auch mit einer weniger hoch getakteten CPU.

Da Du ja einige VMs am Start hast, sind dann echte Cores wichtig.

Die NVMe mit reichlich IOPS werden da auch helfen.

 

1 minute ago, moreman said:

Sollte es bei unRaid eine PRTG Docker Variante geben, wäre ich auch nicht abgeneigt.

Mein Hintergedanke war, die bestehende PRTG Installation auf einer derzeit laufenden Proxmox Umgebung nach Unraid zu migrieren.

Du kannst alles an Dockern installieren, was es beim DockerHub zu finden gibt, für die Plattform "AMD64".

PRTG selbst habe ich noch nicht ver-/gesucht...

 

1 minute ago, moreman said:

Würde es die Sicherheit erhöhen, wenn ich im Daten-Array 3 anstatt 2 Festplatten (inklusive der 1 Parity Festplatte) verwende?

Du könntest dann Dual Parity machen, also bei einer Daten-Disk bleiben. unRaid macht dann einen Three-way Mirror und auch da bleibt es bei der Performance der einzelnen DIsk beim schreiben.

Allgemein sagt man aber das Dual-Parity so ab 8 DIsks relevant/lohnend wird.

Wenn Du allerdings viele Clients mit SMB/NFS streams simultan an Start hast, dann machen evtl. mehrere Disks auch wieder Sinn.

in unRaid ist eine Datei ja immer komplett auf einer Disks. 

Bei Zugriff von Vielen auf die gleiche (weil eine) Disk,m ist das dann auch kontra-Produktiv.

Beim schreiben würde ja auch erstmal die Cache-Disk einspringen. 

 

Was machen denn die Clients so, in Bezug auf den Zugriff (lesen/schreiben) auf das Daten Array, simultan?

Je nach MB kannst Du 6-8 SATA Disks und 2x NVMe ohne weiteres einsetzen.

Bei mehr als 2 Disks und dem grossen Bedarf an Platz für VMs, würde ich überlegen - bevor die NVMe zu gross und teuer werden müssen - für eine VM einfach eine einfache SATA Karte und HDD/SSD durchzureichen. PCIe-x1 mit ASMedia Chipsatz und 2 Ports kosten um die 15EUR.

Link to comment
47 minutes ago, moreman said:

ich setze in meinem Netzwerk komplett auf Unifi Komponenten

Und warum? Ich mein sie bauen echt gute APs, aber der Rest ist doch einfach nur teuer. SFP+ bekommst du zb bei MikroTik für die Hälfte. Deep Packet Injection ist bei Unifi gelogen. Da gibt es nur eine nette Tortengrafiken ohne Sicherheitsgewinn. VPN Tunnel sind bei Unifi stark eingeschränkt. Ich habe auch Unifi, aber der Docker schläft zu 99% und die APs werden über eine Fremdswitch versorgt.

 

2 hours ago, moreman said:

VMs

Die entscheiden wie deine Hardware auszusehen hat. Du kannst jegliche Komponente emulieren oder physisch einer VM zuordnen.

 

Schon eine emulierte LAN Verbindung kann die CPU gut auslasten. Und alles wo normalerweise eine GPU beschleunigt, ist natürlich auch belastend, wenn die CPU dies emulieren muss. Weiter geht es dann mit der Disk, die nur ein gemountetes Image darstellt.

 

Im Gegensatz dazu könnte man einer VM auch eine GPU, eine LAN-Karte, eine NVMe und/oder einen USB Hub zuordnen.

 

Du hast angedeutet, dass die VMs viel im Netzwerk unterwegs sein werden. Eventuell ist es in so einem Fall sogar besser LAN Ports physisch zuzuordnen.

 

Wie @Ford Prefect vorschlug auch kleine SATA Karten, wo du einzelne kleine SSDs anschließt und die dann durchschleifst.

 

Warum das vorab so wichtig ist: Ein Consumer Board hat eine begrenzte Anzahl an Lanes. Mit einer 10G Karte bleiben die in der Regel noch 2x x8 Slots und ein paar x1 Slots. Damit kann man nicht wirklich viele VMs mit physischer Hardware bedienen.

 

Andersherum könnte man aber auch einfach eine entsprechend starke CPU nehmen und damit dieses Problem teilweise umgeben.

 

So rein vom Gefühl her, könnte ich mir bei dir aber Intel X299/C422 oder AMD X399 (Threadripper) vorstellen. Da hättest du etwas mehr Lanes.

 

Aber vielleicht reicht dir auch ein X570 Board mit einem 5000er Ryzen. Schwer zu sagen. Da brauchen wir einfach mehr Infos zu den VMs. Also eher Leerlauf VMs, Client VMs und was für Anwendungen werden da so drauf laufen.

 

Dein 10TB Array ist kein wirkliches Thema. Das bekommst du mit jeder CPU/jedem Board bedient. Und solltest du mehr Geschwindigkeit brauchen, nutzt du sie eben nicht im Array, sondern in einem RAID Pool. Das hängt ganz davon ab wie schnell und wie viel parallel auf diese HDDs geschrieben werden soll.

 

Wobei ich auch gleich fragen muss, ob Stromverbrauch ein Thema für dich ist?

Link to comment

Ok, dann würde ich sagen, starte ich das Daten Array / Parity erstmal mit 2 Festplatten.

Erweitern kann man ja dann immer noch.

Dual-Parity macht deinen Informationen zu Folge keinen Sinn.

 

Bezüglich Unifi, ich hab da vor Jahren nach einer Lösung gesucht und bin hier auf Unifi gestoßen. Ich komme mit der Verwaltung soweit klar, hatte seitdem so gut wie keine Probleme mehr mit meinem Netzwerk.

Auch die Bedienung ist aus meiner Sicht übersichtlich gestaltet.

Da mein Netzwerk ausschließlich aus diesen Produkten besteht, möchte ich hier derzeit eigentlich nicht umsteigen.

DPI nutze ich so gut wie gar nicht. Mit dem VPN hatte ich bisher keine Probleme - für meine Anwendungsfälle.

 

Bezüglich der VMs noch folgende Informationen:

 

Win10         - dauerhaft an -     8 GB RAM / 200 GB Festplattenspeicher

hier läuft eine Software, ist nicht sehr "hungrig".

Hardware ist ein Celereon J3455, die meiste Performance wird hier gebraucht, wenn man sich remote aufschaltet.

Von den 8 GB RAM im System werden um die 40-50 % belastet

--> Dieses System läuft zumeist im idle 

 

Win10         - dauerhaft an -     8 GB RAM / 150 GB Festplattenspeicher

 

 

PRTG          - dauerhaft an -     8 GB RAM / 150 GB Festplattenspeicher

hier bin ich wie gesagt schon auf einem virtuellen System (unter Proxmox)

Läuft auf einem älten Rechner und ist auch nicht wirklich Ressourcen fressend

--> Dieses System läuft zumeist im idle 

 

OS X             - dauerhaft an  -   16 GB RAM / 250 GB Festplattenspeicher

bei dem System ist mein Plan, dass dieses mein MacBook aus 2014 "ersetzt".

Das System wird vielleicht so 8-10 Stunden am Tag in Benutzung sein; aber auch hier laufen keine HighEnd Anwendungen.

--> Dieses System sollte also schon flüssig laufen

 

Win10 Test  - bei Bedarf an -    8 GB RAM / 150 GB Festplattenspeicher

ist gedacht für z.B. Software Tests von neuen Sachen, die ich nicht auf einem der "produktiven" Systeme testen will

--> mehr eine Spielerei --> Performance ist mir hier nicht ganz so wichtig

 

Linux Mint  - bei Bedarf an -    8 GB RAM / 150 GB Festplattenspeicher

--> ist auch nur zum Testen bzw. dafür da, mich mit Linux Mint vertraut zu machen

 

 

Was den Stromverbrauch angeht, ja das ist für mich ein Thema.

Mit dem Unraid System will ich meine QNAP TS-259 Pro + sowie 4 Raspberrys und einen Stromspar PC ersetzen.

 

 

Danke und schöne Grüße,
Matthias

 

 

Link to comment

OK, wg. Strom sparen, würde ich dann eher auf zusätzliche Hardware/SATA-Cards verzichten und keine "dicke" Server Plattform nehmen.

 

Herausforderung, wenn dann die virtuellen Disks für die VMs auf dem Cache liegen: die Gesamtgrösse des Cache.

Evtl. sollte man da zwei oder drei Cache Pools bauen (geht dann mit unraid 6.9 - aktuell als RC2 verfügbar).

Den mit den schnellsten Anforderungen und Daten via 10G (Achtung, nicht aus dem RAM der VM, sondern von den vDisks bzw. Docker-Volumes und Array-Cache) auf die NVMe und für die anderen Cache-Pools erstmal SATA-SSDs.

 

Bzw. gleich mit dem ZFS-Plugin arbeiten und dort ein paar Pools erstellen...allerdings Knoff-Hoff erforderlich und CLI-only....das geht auch schon mit unRaid 6.8.3

Ist jetzt nix für Anfänger, die nur den Web-Mode nutzen wollen.

Link to comment

Gut, dann kannst du nehmen:

 

- AMD X570 mit Ryzen 4xxx oder 5xxx, aber nur von ausgewählten Herstellern, da nicht alle ECC unterstützen

- Intel C246 mit Pentium G54xx oder i3 oder Xeon E-21xxG oder Xeon E-22xxG

- Intel W480 mit Xeon W-12xx

 

AMD wird grob 10W mehr Strom ziehen. Also wo ein Intel System 10W zieht, wird das AMD System 20W ziehen.

 

Den Pentium und i3 können wir wegen der geringen Kernzahl und der Anzahl der VMs ausklammern. Bleibt noch Xeon und AMD. W-12xx ist aktuell nur sehr schwer zu bekommen (Future X sagt beim W-1270 Anfang März). Ryzen 5000 geht ja langsam besser. E-21xx/E-22xx geht so von der Verfügbarkeit:

https://geizhals.de/?cat=cpu1151&xf=16687_Xeon+E-2000~16690_G

 

Ich denke 6 Kerne wären für dich das Minimum. 8 Kerne wären super und alles darüber Luxus. 

 

Beispiel:

https://geizhals.de/intel-xeon-e-2288g-cm8068404224102-a2007248.html?hloc=at&hloc=de

 

Der aktuell günstigste Xeon 6-Kerner:

https://geizhals.de/intel-xeon-e-2146g-cm8068403380116-a1859196.html?hloc=at&hloc=de

 

Komplette Liste (6G am Ende des Namens = 6 Kerne + iGPU, 8G = 8 Kerne + iGPU):

https://geizhals.de/?cat=cpu1151&xf=16687_Xeon+E-2000~16690_G&sort=r#productlist

 

Ein Xeon E-2146G sieht gegen einen 5600X Ryzen kein Land und ist ungefähr auf dem Niveau eines 4650G. Der 5000er Ryzen hat allerdings keine iGPU und nur die Intel iGPU lässt sich in Plex verwenden (sofern das für dich ein Thema ist):

https://www.cpubenchmark.net/compare/AMD-Ryzen-5-5600X-vs-Intel-Xeon-E-2146G-vs-AMD-Ryzen-5-PRO-4650G-vs-Intel-Xeon-E-2288G/3859vs3314vs3795vs3546

 

Lass dich von den TDP Werten nicht blenden. Ein Ryzen verbraucht nicht weniger bei moderater Last und bei Leerlauf durch den hungrigen X570 sogar mehr.

 

Die Qual der Wahl. ;) 

Link to comment

Hab jetzt längere Zeit über diverse Kombinationen nachgedacht, da bleiben doch eigentlich nur der Ryzen 5600X und der Xeon E-2288G übrig.

Wenn ich dann das Ganze Zubehör noch dazu rechne, kommt schon einiges zusammen.

 

Tendenz ist aktuell eher Richtung nem AMD System, ich wäre allerdings von einem Intel auch nicht abgeneigt, aber das ist mir mit obiger Variante preislich fast etwas viel.

Irgendwie bin ich grad ziemlich unsicher, was wirklich die sinnvollste Lösung wäre.

Link to comment

Günstiger ginge es mit einem älteren Ryzen 3000. Die 5000er sind ja schon heftig von der Leistung her. Aber der 3000er zieht in jedem Fall noch mehr. Ich kenne keinen Build unter 40W. Wohlgemerkt ohne HDDs.

 

Das Problem am 2288G ist, dass er überteuert ist. Ohne Rabatt kostet der W-1270 ~200 € weniger und hat die selbe Leistung:

https://www.cpubenchmark.net/compare/Intel-Xeon-E-2288G-vs-Intel-Xeon-W-1270/3546vs3812

 

Da würde es eher Sinn machen den 1290P zu kaufen:

https://geizhals.de/intel-xeon-w-1290p-cm8070104378412-a2291778.html

 

Und selbst der ist aktuell überteuert (siehe Preisverlauf).

 

Mein Favorit wäre jedenfalls der W-1270 und den auf ein Gigabyte W480M. Vielleicht einen Monat warten?!

Link to comment

Diese Situation besteht seit April 2020. Seitdem liefert Intel quasi exklusiv an die PC Hersteller. Diese Situation gab es auch beim E-22xxG. Nach einem Jahr normalisierte sich die Situation. Jetzt die Frage wie da der Lockdown mitschwingt. Sona hat übrigens als einziger (weltweit?) den 1270P, aber sicher auch nicht günstig: https://www.sona.de/intel-xeon-w-1270p-3-8ghz-8c-frasl-16t-tray-sockel-1-422905.html

Link to comment

ich hab jetzt etwas recherchiert, und sollte es bei dem W-1270 / Gigabyte W480M bleiben, macht folgende zusätzliche Hardware Sinn oder würdet Ihr da was anders machen bzw. kann man irgendwo noch Geld sparen?

Was ich auf jeden Fall probieren wollte wäre, die PRTG VM durch die Zabbix Container Lösung zu ersetzen um hier noch Ressourcen zu sparen.

 

Mainboard:

GIGABYTE W480M Vision W

https://geizhals.de/gigabyte-w480m-vision-w-a2376223.html

 

CPU:

Intel Xeon W-1270

https://geizhals.de/intel-xeon-w-1270p-cm8070104380809-a2291792.html

 

Gehäuse:

IPC 4U-4129-N, 4HE Rack Servergehäuse

https://www.inter-tech.de/products/ipc/server-cases/4u-4129-n

 

RAM:

2x M391A4G43MB1

https://geizhals.de/samsung-dimm-32gb-m391a4g43mb1-ctd-a2057207.html

 

USB Stick:
SanDisk Cruzer Fit 16GB, USB-A 2.0 (SDCZ33-016G-G35)

https://geizhals.de/sandisk-cruzer-fit-16gb-sdcz33-016g-g35-a1961910.html

 

NVMe / Cache:

2x 970 EVO Plus MZ-V7S1T0BW

https://geizhals.de/samsung-ssd-970-evo-plus-1tb-mz-v7s1t0bw-a1972735.html

 

HDDs für Array:

2x Shucking von WD My Book 10TB / alternativ WD My Book 12TB

https://geizhals.de/western-digital-wd-my-book-10tb-wdbbgb0100hbk-a1818213.html

--> Gibt es hier Nachteile? Hier habe ich den ein oder anderen Beitrag hier im Forum mit verfolgt und bis auf den Molex <--> SATA Adapter klappt es wohl bei Euch problemlos

 

Netzteil:

Straight Power E7 CM 80 (habe ich von einem andere PC noch übrig)

https://www.mindfactory.de/product_info.php/Netzteil-580W-be-quiet--Straight-Power-E7-CM-80--Bronze-Modular_623167.html

Edited by moreman
Link to comment

...wenn Du ein tiefes Rack hast, warum ein 4HE Gehäuse für nur 11 Disks, wo auch 24x in HotSwap-bays gehen würden? 

In einem der Käfige an der Front fehlt dem IPC auch noch ein Lüfter, glaube ich, weil der für 3x5.25 vorgesehen ist.

 

...und verlinke die Teile mal...kennt ja nicht jeder auswendig...in einem Warenkorb, oder so.

Link to comment

Verlinkung hab ich gemacht.

 

Die "nur" 11 Disks würden mir glaub ich sehr lange reichen.

Gehäuse mit mehr Steckplätzen waren mir preislich zu teuer, aber wie gesagt, vielleicht hat von Euch jemand einen besseren Vorschlag, bin da  auch offen für alternativen.

Link to comment

Es gibt so schöne Gehäuse. Auch für Rackeinbau. Von Chenbro, Silverstone oder auch Original Serverherstellern (die auch meist Chenbro sind)

Verstehe ich nicht warum man sich Fantec oder ipc antut.

 

Für SAS Backplanes braucht man noch ein Adapterkabel.

Beispiel.

https://www.ebay.de/itm/SuperMicro-19-Zoll-Server-Gehause-CSE-823-mit-650-Watt-Netzteil-und-SAS823TQ/184682400471?hash=item2affedcad7:g:JB8AAOSwA8FgN~RS

 

 

 

 

Link to comment

...aus Deiner Liste von oben?

Grundsätzlich wird es laufen, aber:

 

- das SAMSUNG RAM ist eine Kategorie zu langsam für die CPU, das hier würde passen https://geizhals.de/kingston-server-premier-dimm-32gb-ksm29ed8-32me-a2351238.html, ist kompatibel https://www.kingston.com/germany/en/memory/search?model=101634&devicetype=7&mfr=GIG&line=W480M VISION W, und sogar günstiger.

- das NT ist selbst für 11xHDDs auf der 12V Seite überdimensioniert, aber da Du es schon hast 😁

- Ich finde das Gehäuse nicht sehr zweckmässig...ich würde mich mal auch ausserhalb geizhals umgucken, an Deiner Stelle.

Man kann auch ein Tower quer auf einen Boden reinlegen ;-), siehe hier: 

Edit:  ...und, @moreman ...Du hast noch keinen CPU-Kühler ;-)

Edited by Ford Prefect
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.