Jump to content

W1064pro VM - Netzwerktreiber installiert sich nicht richtig


Go to solution Solved by Tufinger,

Recommended Posts

Hallo.

 

Es zeigt sich wieder, daß ich mit Hardware besser klar komme als mit Software.
Irgendwie stehe ich auf dem Schlauch.


Ich habe auf meinem 1st System schon mehrfach versucht eine Win10 VM zu installieren, doch stand immer vor dem selben Problem und habe dann die VM komplett gelöscht und das Thema auf später verschoben.
Aber nun muß ich die Sache so langsam angehen, da ich das System so langsam ernsthaft nutzen will.

 

Also aufs Neue:
Eine (einzige) VM Instanz  mit Win10 64Bit Pro installiert: (Hardware siehe Signatur: W480Vision W  mit Mellanox X3...).

 

Irgendwie bekomme ich aus der VM keine Netzwerkverbindung ins lokale Heimnetz oder Internet zustande.
Egal ob ich Network Source auf br0 oder virbr0 stelle.

 

Der Windows Treiber scheint nicht zu funktionieren.

Der Treiber Red Hat VitiO Ethernet Adapter versucht sich lange aber erfolglos zu installieren.
Danach ist unten stehende Fehlermeldung zu sehen, aber ich weiß nicht, wie ich der Sache bei komme.

 

unraid selber hat keine Probleme und kann die Plugins laden und installieren und so weiter. Zugriff von anderen PC im Netzwerk auf die unraid Shares und auch umgekehrt funktioniert. Mein Netzwerk grundlegend funktioniert also.

 

Das Problem betrifft nur die Win10 VM.

Ich bräuchte eine Idee, in welcher Richtung ich suchen/verändern muß um da den Treiber richtig einzubinden.

 

Anbei einmal die Auflistung der VM Einstellungen und darunter die Win10 Fehlermeldung, wenn der Treiber einige Minuten versucht sich zu installieren und dann mit der Meldung endet.

 

Danke vorab schonmal für Eure Zeit!

 

Edit:

Erwatungsgemäß bringt auch die Problembehebung von Windows selber nichts.

Irgendetwas mache ich bei der Einrichtung der VM wohl falsch, so daß die VirIO Treiber wohl nicht zur benutzen simulierten Ethernetverbindung (Mellanox-x3 SFP DAC 10GBLan) passen.

 

 

LAN-Problem01.png

LAN-Problem02.png

LAN-Problem05.png

LAN-Problem06.png

Edited by DataCollector
Edit für fehlschlagende W10 Problembehebung
Link to comment
10 minutes ago, DataCollector said:

Ich bräuchte eine Idee, in welcher Richtung ich suchen/verändern muß um da den Treiber richtig einzubinden.

 

Moin, das Problem hatte ich auch einmal, bin mir aber jetzt nicht mehr sicher was ich gemacht hatte.

 

Wie ich starten würde

 

erstmal das Paket updaten, da hängst du etwas hinterher ...

image.thumb.png.fe56fdad581eb834b2703d52e5746878.png

 

- Treiber innerhalb der VM löschen

- manuell den Treiber installieren aus dem gemounteten ISO, ich meine manuell, Ort wählen ... Unterordner ...

 

image.png.3cde6024ca6fadf582275ade2d7bf6b6.png

 

kleiner Tipp noch zu gewähltem Netzwerktyp

 

virtio = 10G -> aber ... kann zu Problemen führen mit br0 und aktivierter Einstellung im docker bzgl. "allow docker host access ..." (hier kein Thema, 3x Holzklopf)

virtio-net = 1G -> safe ;)

 

also, falls du das oben genannten aktiviert hast und es dann zu Fehlern kommt, umstellen auf virtio-net

Link to comment

Hallo @alturismo

 

28 minutes ago, alturismo said:

Wie ich starten würde

erstmal das Paket updaten, da hängst du etwas hinterher ...

 

Ja, das war mir zwischenzeitlich auch aufgefallen. Habe nun auf das aktuellste abgeändert

VirtIO Version 0.1.217-2

VM gestoppt,

alte Version 190 gelöscht,

neue herunter geladen und VM Einstellungen damit aktualisiert.
VM neu gestartet und versucht die Treiber aus der neuen VirtIO neu zu installieren.

Weiterhin nach einigen Minuten: Erfolglos.

 

28 minutes ago, alturismo said:

- Treiber innerhalb der VM löschen

Habe nun in der Win10 VM das Gerät deinstalliert und Treiber löschen angeklickt.

Dann rebooten.

Danach wurde der Ethernetadapter wieder mit Ausrufezeichen dargestellt und es gab keinen Treiber.

Somit habe ich dann wieder die ganzen VirtIO Treiber (VirtIO Version 0.1.217-2.iso) installieren lassen und er hakte wieder einige Minuten (vermutlich an der Stelle, an der die Software das Netzwerkgeerät installieren will).

Danach: weiterhin kein Erfolg.

Auch nach einem WIn10 VM Neustart: keine Besserung.

 

28 minutes ago, alturismo said:

- manuell den Treiber installieren aus dem gemounteten ISO, ich meine manuell, Ort wählen ... Unterordner ...

Done: Auch keine Besserung.

 

Zu Deiner Aussage wegen Netzwerktyp:

Hier gestehe ich, daß ich immer noch nicht das ganze unraid'netzwerkzeugs' verstehe.

Ich habe jetzt

  Netzwerk Source: br0

  Network Model: virtio

eingestellt.

Leider erfolglos.

Bedeutet Dein Hinweis zu den Network Model:

   virtio = 10G
   virtio-net = 1G

dass dies nur virtuell eingestellte Geschwindigkeiten sind oder soll ich das mit den entsprechenden Hardwarenetzwerkkarten hinterlegen?

Mein Mainboard hat eine 1G, eine 2,5G und die zugesteckte Mellanox 10GB. Aber die beiden OnBoard sind nicht eingestöpselt. Nur die Mellanox ist per DAC verbunden und funktioniert.

 

Ich habe nun beides mal ausprobiert (virtio & virtio-net) und jeweils Windows neu gestartet: keine Besserung.

Ich bin weiter ratlos.

 

LAN-Problem07.png

LAN-Problem09.png

LAN-Problem10.png

LAN-Problem12-vioneu-feddich.png

LAN-Problem13-vioneu-manuell.png

Link to comment
  • Solution

Das Problem habe ich jedes mal, wenn ich eine Windows VM installiere.

Meine Lösung (wie vielleicht schon beschrieben) :

1. Treiber deinstallieren und löschen.

2. den Geräte Manager aktualisieren.

3. Treiber installieren und die virtio cd auswählen ( OHNE das System neuzustarten)

 

So funktioniert es bei mir immer.

Edited by Tufinger
  • Like 1
  • Thanks 1
Link to comment
21 minutes ago, DataCollector said:

dass dies nur virtuell eingestellte Geschwindigkeiten sind

exakt, sprich die VM ist dann entweder "lokal" per 1G oder 10G verbunden, spiegelt sich auch beim kopieren von/zu array wieder, hat NICHTS mit der Karte an sich ...

 

13 minutes ago, Tufinger said:

3. Treiber installieren und die virtio cd auswählen ( OHNE das System neuzustarten)

 

Danke, so meinte ich das auch ... OHNE Neustart dazwischen, @DataCollector versuch das mal so bitte

  • Thanks 1
Link to comment

Hallo @Tufinger

 

Das hat geholfen!

26 minutes ago, Tufinger said:

Meine Lösung (wie vielleicht schon beschrieben) :

1. Treiber deinstallieren und löschen.

2. den Geräte Manager aktualisieren.

3. Treiber installieren und die virtio cd auswählen ( OHNE das System neuzustarten)

So funktioniert es bei mir immer.

Bei mir jetzt auch.

 

Und nur, falls jemand naderes mal danach sucht noch meine netwzerkeinstellungen und wie Windows das nun anzeigt:

LAN-GEHT01.png

LAN-GEHT02.png

Link to comment
14 minutes ago, alturismo said:

exakt, sprich die VM ist dann entweder "lokal" per 1G oder 10G verbunden, spiegelt sich auch beim kopieren von/zu array wieder, hat NICHTS mit der Karte an sich ...

 

Danke, so meinte ich das auch ... OHNE Neustart dazwischen, @DataCollector versuch das mal so bitte

Auch Dir einen herzlichen Dank.

ich hatet neu gestartet.

Ohne Neustart hat es nun geklappt.

Ich kann nun beginnen die Windowssoftware meines Ursprungssystemes Stück für Stück in die VM zu installieren und dann in ein paar Taagen (hoffentlich) meine WIndows Maschine abschalten.

Link to comment

...um da nochmal ein wenig Infos "nachzulegen"...

 

1 hour ago, DataCollector said:

ch habe jetzt

  Netzwerk Source: br0

  Network Model: virtio

eingestellt.

Leider erfolglos.

Bedeutet Dein Hinweis zu den Network Model:

   virtio = 10G
   virtio-net = 1G

dass dies nur virtuell eingestellte Geschwindigkeiten sind oder soll ich das mit den entsprechenden Hardwarenetzwerkkarten hinterlegen?

Die 10G/1G sind die Port-Geschwindigkeiten, die dann in der VM im Treiber angezeigt werden, haben aber nix mit realien Geschwindigkeiten zu tun.

Die virtio Variante ist am schnellsten und liefert letzlich bis zur kompletten Bandbreite der CPU...natürlich nur auf dem Host selbst, bei Traffik über den Host hinweg ist man dann auf die physische Anbindung beschränkt. virtio-net ist langsamer, aber immer noch deutlich schneller als 1G.

 

siehe auch: 

 

 

 

1 hour ago, DataCollector said:

Mein Mainboard hat eine 1G, eine 2,5G und die zugesteckte Mellanox 10GB. Aber die beiden OnBoard sind nicht eingestöpselt. Nur die Mellanox ist per DAC verbunden und funktioniert.

 

...wenn Dir 1G reichen - und so mache ich das *nur* bei VMs, einfach eine echte NIC per IOMMU/vt-d durchreichen.

Sollten Die NICs ausgehen, dann gibt es noch SR-IOV: https://forums.unraid.net/topic/103323-how-to-using-sr-iov-in-unraid-with-1gb10gb40gb-network-interface-cards-nics/#comment-953439

 

Link to comment
24 minutes ago, Ford Prefect said:

Die 10G/1G sind die Port-Geschwindigkeiten, die dann in der VM im Treiber angezeigt werden, haben aber nix mit realien Geschwindigkeiten zu tun.

Die virtio Variante ist am schnellsten und liefert letzlich bis zur kompletten Bandbreite der CPU...natürlich nur auf dem Host selbst, bei Traffik über den Host hinweg ist man dann auf die physische Anbindung beschränkt. virtio-net ist langsamer, aber immer noch deutlich schneller als 1G.

 

24 minutes ago, Ford Prefect said:

...wenn Dir 1G reichen - und so mache ich das *nur* bei VMs, einfach eine echte NIC per IOMMU/vt-d durchreichen.

Nur so, für meine vorgesehne Nutzung:

Ich habe mit Absicht die Mellanox 10G eingebaut, weil ich eben mehr als 1G real über das physikalische Netzwerk nutzen will.

2,5G war in meinem Testbetrieb zwar schon gut, aber ich habe die auch schon gesättigt, da ich mit viel SSD Cache arbeite(n werde).

Deshalb habe ich nun in beide unraid System wieder eine Mellanox eingebaut.

Link to comment
1 hour ago, DataCollector said:

Ich habe mit Absicht die Mellanox 10G eingebaut, weil ich eben mehr als 1G real über das physikalische Netzwerk nutzen will.

2,5G war in meinem Testbetrieb zwar schon gut, aber ich habe die auch schon gesättigt, da ich mit viel SSD Cache arbeite(n werde).

Deshalb habe ich nun in beide unraid System wieder eine Mellanox eingebaut.

Alternativ eine zweite Mellanox durchreichen (zB die Karte gegen eine DUAL SFP+ tauschen)?

 

Meine Erfahrung ist, das virtio/virtio-net nicht so stabil läuft.

  • Thanks 1
Link to comment
1 hour ago, mgutt said:

Machst du das einzeln?

Die Vitio ISO habe ich ueber Settings VM Manager downgeloaded.

Die beiden Setups in der Vm habe ich durchgeführt.

Alle anderen Treiber hat er ja auch problemlos installiert, aber Netzwerk eben nicht (Code 56).

Der Hinweis von Tufinger und alturismo hat aber geholfen und nach dem Vorgehen hat er Ethernet sauber installiert.

 

 

1 hour ago, mgutt said:

Ich führe nur die beiden Setups aus. Danach ist alles installiert. Siehe auch Video:

Und genau das hat mehrfach bei dem Ethernettreiber ja nicht funktioniert.

Link to comment
6 minutes ago, Ford Prefect said:

Alternativ eine zweite Mellanox durchreichen (zB die Karte gegen eine DUAL SFP+ tauschen)?

Ich verstehe aktuell nicht, wofür ich das benötigen sollte.

Zusätzlich habe ich für die Mellanox nur elektrisch angebundene PCIe 3.0 x4 Slots frei.

Alles andere (mit mehr Lanes) ist schon anderweitig belegt, verplant oder nicht ohne weiteres nutzbar.

 

6 minutes ago, Ford Prefect said:

Meine Erfahrung ist, das virtio/virtio-net nicht so stabil läuft.

Wenn das der Fall sein wird, werde ich vielleicht da drauf zurück kommen.

Vielleicht binde ich dann die Mellanox 10G DAC in die VM und die 2,5G RJ45 in unraid. Aber aktuell verstehe/sehe ich nicht, daß da mehr nötig ist.

Danke dennoch für den Hinweis. Ich werde mich hoffentlich bei Bedarf daran wieder erinnern.

 

 

P.S.: Ich erwähnte ja, daß ich die Sache mit den Netzwerkmöglichkeiten in unraid noch nicht so ganz (oder besser gesagt kaum) verstehe. :)

Edited by DataCollector
Link to comment
5 minutes ago, DataCollector said:

Ich verstehe aktuell nicht, wofür ich das benötigen sollte.

Zusätzlich habe ich für die Mellanox nur elektrisch angebundene PCIe 3.0 x4 Slots frei.

...na, ich dachte, die 2,5G reichen Dir nicht.

Wenn es eine PCIe 3.x Karte ist, dann sind mit x4 doch fast 40Mbps drin: https://en.wikipedia.org/wiki/PCI_Express#History_and_revisions ...sollte für eine DUAL reichen (wenn es die in x4 gibt bzw. Deine Slot hinten offen/ein Riser verbaut).

Hier im Form hatte mal jemand eine Mellanox in einem x1er Slot verbaut und kam wohl auf ansehnliche 780-800Mps.

Link to comment
2 hours ago, Ford Prefect said:

...na, ich dachte, die 2,5G reichen Dir nicht.

Sorry, irgendwie verstehe ich es noch nicht. ich habe eine 10GB Mellnox dring und wenn ich von einem (Windows)PC im Heimnetz auf unraid SSDCache schreibe oder lese erreiche ich entsprechend hohe Geschwindigkeiten (je nachdem was der WindowsPC vermag sind schon 9xxMByte/s drin).

 

Nun verstehe ich nicht, warum ich eben eine weitere Netzwerkkarte an die VM binden soll, wenn es stimmt, dass die Verbindung (VirtIO oder VirtIO-Net) beides intern trotzdem volle Geschwindigkeit erreichen können sollen.

 

Wie gesagt; ich verstehe die Netzwerkkonstellation von unraid noch nicht so ganz. Ich habe mich primär erst einmal um die Hardware und die Daten gekümmert.

Jetzt erst liege ich in den letzten Zügen der Hardwarebestückung, Datenbefüllung und Konstistenzprüfung. Und somit habe ich nun die Möglichkeit mich mit eben der Windows VM zu beschäftigen, mit der ich dann meine wirkliche 'Arbeit' machen werde (um mein bisheriges Windowssystem zu erstezen).

Link to comment
17 minutes ago, DataCollector said:

Nun verstehe ich nicht, warum ich eben eine weitere Netzwerkkarte an die VM binden soll, wenn es stimmt, dass die Verbindung (VirtIO oder VirtIO-Net) beides intern trotzdem volle Geschwindigkeit erreichen können sollen.

...intern, ja...dafür ist es aber egal ob im unraid eine 100M, 1G oder 10G steckt ;-)

 

Ich hatte Deine Äusserung so verstanden, dass Du mehr als die 2.5G zwischen VM und externen Gerät/Client/Server benötigt, weswegen Du eben die 10G mellanox drin hat.

Link to comment
5 hours ago, Ford Prefect said:

Ich hatte Deine Äusserung so verstanden, dass Du mehr als die 2.5G zwischen VM und externen Gerät/Client/Server benötigt, weswegen Du eben die 10G mellanox drin hat.

Ich ahne, was nun hinter dem Vorschlag steckt, aber verstehe es weiterhin nicht:

Wenn ich keine Karte an die VM binde wird die Ethernetverbindung benutzt, die unraid (als einzige) zur Verfügung steht. Ich habe schließlich Internetzugang von der VM aus und unraid selber hat ja auch internet Zugang und die Shares werden auch freigegeben und erreicht.

Diese Verbindung läuft aktuell eben über die Mellanox 10GB Karte.

Also sollten beide (VM und unraid selber) doch 10GB haben (auch wenn diese natürlich nicht bei gleichzeitiger Nutung auf einmal magisch 20GB werden).

 

Sorry, ich stehe auf dem Schlauch und verstehe nicht, warum in der aktuellen Einstellung keine 10GB in der VM zur Verfügung stehen sollten um Daten mit der Geschwindigkeit aus/in der VM zu meinen anderen PC im Netzwerk zu transportieren? DIe Verbindung steht doch gleichzeitig beiden zur Verfügung und wird auch in Summe bis 10GB von der VM und unraid genutzt.

Gibt es hier doch eine Limitierung?

Link to comment
28 minutes ago, DataCollector said:

Sorry, ich stehe auf dem Schlauch und verstehe nicht, warum in der aktuellen Einstellung keine 10GB in der VM zur Verfügung stehen sollten um Daten mit der Geschwindigkeit aus/in der VM zu meinen anderen PC im Netzwerk zu transportieren? DIe Verbindung steht doch gleichzeitig beiden zur Verfügung und wird auch in Summe bis 10GB von der VM und unraid genutzt.

Gibt es hier doch eine Limitierung?

nein, das ist eigentlich schon richtig so, wie Du sagst....gilt aber eben für Datenverkehr von/nach Aussen. 

Nur da wird die Verbindung - die Mellanox - genutzt.

Aber zwischen VM und unraid hast Du einen virtuellen Adapter (virtio bzw. virtio-net) ...der ist zusätzlich, quasi in Software.

Die "Bridge" (br0, br1, ...) ist quasi wie eine Switch...an dem hängen die virtuellen Interfaces und die physischen ethX, welche man in der Konfig der Bridge zuordnet.

 

Nutzt Du nun allerdings virto-net für die VM ist der Durchsatz generell kleiner als 10G auf dem virtuellen, softwarebasierten Interface und damit auch für Traffic von/nach Aussen

Nutzt Du virtio, ist der Durchsatz - bei modernen, 3+GHz CPUs sogar höher (CPU-Bandbreite ... siehe meinen Link oben, auf meinem i3-8100 etwa 44Gbps).

Für Traffic von/nach Aussen limitiiert dann sogar hier der physische Port, die Mellanox.

 

Insgesamt ist aber virtio nicht so stabil, vor Allem in Verbindung mit Dockern auf der Bridge (br0).

Wenn Du das also vermeiden willst, aber mehr Durchsatz als virtio-net von der VM willst, reicht dann virtio-net nicht mehr, sondern nur eine echte NIC (10G) durchreichen.

 

...hoffe es ist jetzt klarer 

Edited by Ford Prefect
Link to comment
1 hour ago, Ford Prefect said:

nein, das ist eigentlich schon richtig so, wie Du sagst....gilt aber eben für Datenverkehr von/nach Aussen. 

Nur da wird die Verbindung - die Mellanox - genutzt.

Aber zwischen VM und unraid hast Du einen virtuellen Adapter (virtio bzw. virtio-net) ...der ist zusätzlich, quasi in Software.

Ja, soweit habe ich es verstanden.

 

1 hour ago, Ford Prefect said:

Die "Bridge" (br0, br1, ...) ist quasi wie eine Switch...an dem hängen die virtuellen Interfaces und die physischen ethX, welche man in der Konfig der Bridge zuordnet.

 

Nutzt Du nun allerdings virto-net für die VM ist der Durchsatz generell kleiner als 10G auf dem virtuellen, softwarebasierten Interface und damit auch für Traffic von/nach Aussen

Ja, das habe ich auch verstanden und deshalb nun auf VirtIO umgestellt (ohne net).

 

1 hour ago, Ford Prefect said:

Nutzt Du virtio, ist der Durchsatz - bei modernen, 3+GHz CPUs sogar höher (CPU-Bandbreite ... siehe meinen Link oben, auf meinem i3-8100 etwa 44Gbps).

Für Traffic von/nach Aussen limitiiert dann sogar hier der physische Port, die Mellanox.

Okay. Soweit hatte ich es auch verstanden.

 

1 hour ago, Ford Prefect said:

Insgesamt ist aber virtio nicht so stabil, vor Allem in Verbindung mit Dockern auf der Bridge (br0).

Hm. Aktuell nutze ich Docker nur für krusader/ich777 (und das auch nur, wenn ich mit dem mc nicht ausreichend bequem weiter kommen).

Weder krusader noch mc erfüllen mir alle Dateimanagerwünsche, weshalb ich primär weiterhin mit TotalCommander auf Win (in der VM) arbeite.

 

Somit habe ich nur eine VM (Win10) und durchgehend eigentlich kein Docker aktiv.

Also brauche ich in aktueller Situation keine Probleme befürchten?

 

1 hour ago, Ford Prefect said:

Wenn Du das also vermeiden willst, aber mehr Durchsatz als virtio-net von der VM willst, reicht dann virtio-net nicht mehr, sondern nur eine echte NIC (10G) durchreichen.

Das VirtIO-net limitiert, habe ich verstanden und deswgen umgestellt. Aber das sollte in der aktuellen Konstellation doch reichen.

 

 

Nur zur Erklärung:

Sofern sich nichts ändert ist unraid mein stromsparenderer Ersatz für eien Windowsmaschine, die bisher als (riesiges) NAS fungierte und auf der ich eben primär Dateioperationen und Rcoding unter WIndows durchführe.

Keine Heimautomatisierung, kein Plex, kein Webcam-Ki-Auswertung, keine Internetdienste, keine Cloud, kein Blod, keine fancy Dokumentenverwaltung, keine Spielemaschine, kein...

Vielleicht werde ich später daran etwas ändern/erweitern und wenn ich dann in ein entsprechendes Problem laufe (oder mir eine sehr billige Mellanox Dual 10GB SFP über den Weg läuft) werde ich das umstellen, aber in der aktuellen Konstellation und Nutzung (Usecase) erkenne ich weiterhin (nich) nicht, warum da ein Problem sein könnte.  Liegt vermutlich an meinem eher stark reduzierten Usercase von dieser unraid Maschine.

 

Danke für die Geduld und Deine Erklärung!

Link to comment
17 minutes ago, DataCollector said:

Somit habe ich nur eine VM (Win10) und durchgehend eigentlich kein Docker aktiv.

Also brauche ich in aktueller Situation keine Probleme befürchten?

....sagen wir mal so, die Chancen stehen gut. Insbesondere sollte da v6.10 mit ipvlans statt macvlans das Problem umgehen.

Verifiziert habe ich es aber selbst noch nicht, da ich VLANs nutze und daher macvlans für Docker brauche...daher dedizierte, ecgte NICs für VMs...da reichen mir aber 1G.

 

19 minutes ago, DataCollector said:

Danke für die Geduld und Deine Erklärung!

no worries....wollte Dich auch nicht verwirren

Link to comment
7 hours ago, DataCollector said:

Das VirtIO-net limitiert, habe ich verstanden und deswgen umgestellt. Aber das sollte in der aktuellen Konstellation doch reichen.

 

 

6 hours ago, Ford Prefect said:

....sagen wir mal so, die Chancen stehen gut.

 

und, die virtio Probleme ... sagen wir mal so, ich hatte diese bisher noch nie, ich hatte mal bei einem Release Fehlermeldungen ... jedoch ohne jegliche Auswirkungen ... das war es aber auch. Es ist sicherlich die Ausnahme dass diese Kombination Probleme verursacht und nicht die Regel.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...