5 minutes ago, _alo_ said:

und es geht auch um I/O der ssd. 
wenn du ne Millionen 1kB Dateien kopierst kommst auch nie auf 2GB/s

Ja schon klar ...  Der Speed ist auch nicht ausgedacht, sondern auch mal real getestet, als ich innerhalb der SSD kopiert habe. Da müsste dann also noch mehr Speed drin sein.

 

6 minutes ago, _alo_ said:

also läuft da über 1G vielleicht irgendeine Indizierung o.ä.?

 

Nee da ist nix. ... aber selbst wenn sollte ja das 10 G davon nicht betroffen sein.

 

7 minutes ago, Cannon said:

.. aber selbst wenn sollte ja das 10 G davon nicht betroffen sein.

Ja doch das kann eben schon sein. 
Schau mal unter Main ob von der ssd viel gelesen oder geschrieben wird im vermeintlichen Idle. 
wenn dem so ist und du versuchst was draufzukopieren kann das schon einbrechen und eben wieder hochgehen wenn du dieses unterbrichst. 

 

Ich teste übrigens auch immer maximaldurchsatz mit einer einzigen großen ca 100gb Datei um solche i/o Themen zu minimieren 

Und über welche Hardware sprechen wir eigentlich? Teilt sich die begrenzte (?) pcie Bandbreite evtl. irgendwie auf?

Das Problem ist jetzt weitestgehend gelöst. Es gab aus meiner Sicht mehrere Probleme:

1. TeraCopy, welches ja Kopiervorgänge deutlich schneller machen soll, funktioniert übers Netzwerk nicht richtig. Der Windows Explorer ist deutlich schneller. Auf die Idee wäre ich kaum gekommen.
2. Die Asus XG-C100C in der V3 hat irgendwie Schwierigkeiten, die 10 GbE überhaupt zu setzen. Zumindest unter Windows hat sie nur mit 1 GbE gearbeitet. Die Version V2 ging  bzw. geht allerdings. Auch macht die Karte Probleme überhaupt P2P-Verbindungen direkt aufzubauen. Das ging immer mal wieder nicht. Auch als ich mir nun doch noch einen Switch zugelegt habe, ging das bei den RJ-45-Ports mit beiden ASUS-Karten nicht.

Am Ende ist jetzt mein Setup folgendes:

• Mellanox ConnectX-3 MCX312A-XCBT aus China mit 2 10 GbE-Ports (ich hatte gehofft das Bounding geht auch unter Windows) im UnRaid-Server
• Asus XG-C100C V2 im Windows PC
• Switch HPE 1950-24G-2SFP+-2XGT
• Windows per RJ-45 am Switch
• UnRaid per SFP+ am Switch
• interne Ports GbE-Ports sind ungenutzt

Folgende Schwierigkeiten gibt es noch:

• Netzwerkverbindung riss heute komplett ab. Da half nur ein Neustart von Windows. Ob das ein längerfristiges Problem ist, kann ich noch nicht sagen.
• Verbindung ist immer noch nicht bei 10 GbE, sondern langsamer. Laut OpenSpeedTest 4.400 - 6.150 Mbps im Download und 6.200 - 7.100 Mbps im Upload. Sollte eigentlich mehr sein. Hier müsste ich aber einfach mal testen, evtl. auch mal andere Ports. Ich habe ja einige Dosen bei mir im Büro.

54 minutes ago, Cannon said:

• Verbindung ist immer noch nicht bei 10 GbE, sondern langsamer. Laut OpenSpeedTest 4.400 - 6.150 Mbps im Download und 6.200 - 7.100 Mbps im Upload. Sollte eigentlich mehr sein. Hier müsste ich aber einfach mal testen, evtl. auch mal andere Ports. Ich habe ja einige Dosen bei mir im Büro.

Ich würde immer erstmal lokal ohne irgendwas dazwischen PtP messen, sonst hast Du doch viel zu viele mögliche Fehlerquellen. Die inhouse-Verkabelung würde ich erst ganz am Schluss prüfen, wenn direkt alles geht. 

Ich hab mir auch gerade mal den OpenSpeedTest Docker Container installiert (kannte ich noch nicht 👍) und mal die direkte PtP-Verbindung Mac-Studio (Chrome) ---> unraid (AQC113C RJ45) getestet:

Das Kopieren von großen Dateien über diesen Link bricht in der Network-Traffic-Anzeige im unraid-Dashboard zwar auch immer mal wieder ganz kurz auf ca. 3Gbps ein, aber daran wird die NVMe oder das Filesystem schuld sein, denke ich. Aber damit kann ich gut leben...

Aber ich suche eben noch ein Tool, das am Ende des Kopierens mal vernünftig die durchschnittliche/min/max-Transferrate ausgibt. Das scheint es ja leider nicht zu geben...

32 minutes ago, _alo_ said:

Ich würde immer erstmal lokal ohne irgendwas dazwischen PtP messen, sonst hast Du doch viel zu viele mögliche Fehlerquellen. Die inhouse-Verkabelung würde ich erst ganz am Schluss prüfen, wenn direkt alles geht. 

Na irgendwas dazwischen ist ja immer.  Ohne Switch geht es nicht wegen RJ-45 und SFP+ und extra ein 20 m - Netzwerk-Kabel kaufen, nur um zu testen macht auch erst mal wenig Sinn. Am Ende wird es an den Dosen, am Patchpanel oder an der Verdrahtung liegen, die vielleicht nicht ganz perfekt vollzogen wurde. Das teste ich, wie gesagt, mal durch. Schon allein durch das wechseln der Ports, werde ich da sicher schlauer werden.

Du scheinst aber auch echt merkwürdige Probleme mit den asus Karten zu haben. Dass dir mit dem richtigen Treiber kein 10g können oder kein ptp beherrschen kann ich mir nicht vorstellen. Dass deine Verkabelung nicht in Ordnung ist (alle Adern inkl. Maße richtig aufgelegt?) dagegen schon. Daher würde ich mir die Mühe machen diese auszuschließen.

Wenn 20m patchkabel nicht vorhanden sind, würde ich eben einen Rechner rübertragen.

Wenn es undbedingt SFP+ sein soll, würde ich 20€ investieren und mir ein Kupfer-SFP zulegen. 
 

Wenn es am Ende -wie Du vermutest- nur eine falsch/schlecht aufgelegte Dose war, hast du u.U. Die SFP Karte, patchkabel und Switch umsonst gekauft 🤷🏻‍♂️

aber gut, viel Erfolg …

 

1 hour ago, _alo_ said:

Du scheinst aber auch echt merkwürdige Probleme mit den asus Karten zu haben. Dass dir mit dem richtigen Treiber kein 10g können oder kein ptp beherrschen kann ich mir nicht vorstellen. Dass deine Verkabelung nicht in Ordnung ist (alle Adern inkl. Maße richtig aufgelegt?) dagegen schon. Daher würde ich mir die Mühe machen diese auszuschließen.

Wenn 20m patchkabel nicht vorhanden sind, würde ich eben einen Rechner rübertragen.

Wenn es undbedingt SFP+ sein soll, würde ich 20€ investieren und mir ein Kupfer-SFP zulegen. 
 

Wenn es am Ende -wie Du vermutest- nur eine falsch/schlecht aufgelegte Dose war, hast du u.U. Die SFP Karte, patchkabel und Switch umsonst gekauft 🤷🏻‍♂️

aber gut, viel Erfolg …

Nur die V3-Karte läuft bei mir nicht korrekt. Die andere hingegen schon. Ich habe die 1:1 im Windows-Rechner ausgetauscht. Selbst Windows zeigt auch nur 1 GbE an. Der Speed dann entsprechend knapp bei 1000 Mps.

 

Falsch aufgelegte Dose sicherlich nicht. Der Speed ist halt nur etwas zu gering. Deshalb evtl. qualitativ zu schlecht oder Erdung nicht gut genug. Die Dosen/Patchpanel sind auch, glaube ich, auch nicht alle für 10 GbE ausgelegt. Die Kabel allerdings schon. Das sehe ich aber nicht so als  Drama. Das lässt sich schon noch finden.

 

Und umsonst gekauft nicht. Mir gingen ohnehin die Ports aus. Ich brauchte sowieso einen Switch.

 

Rechner rüber tragen ... ja wäre noch eine Option... schaue ich mal ...

Vielleicht noch mal eine kleine Ergänzung zum Speed. Ich habe das jetzt mal mit der Kopierfunktion vom Windows-Explorer getestet, mit einer großen Datei. Das weicht doch deutlich ab und ich komme da je nach Richtung auf 1,05 - 1,10 GB/s. Das ist deutlich mehr als OpenSpeedTest zeigt. Zumal zwischen FireFox und Chrome auch Welten liegen. Bei FireFox habe ja gerade mal 1,2 - 1,5 Mbps mit OPenSpeedTest. Also ist wohl darauf kein Verlass. Ich bin mit den Werten aus dem Windows-Explorer sehr zufrieden und es geht auch sehr schnell. Das sind ja auch 8.400 - 8.800 Mbps umgerechnet.