SMB Übertragung ca 8-10 Mbs


Sub-Zero

Recommended Posts

Hallo ich bin vollkommen neu im Bereich Unraid und habe leider das Problem wie viele und zwar thema Netzwerk Datenübertragung.

Bevor ich los lege möchte ich erstmal Konfiguration und Komponenten aufzeigen.

 

Mein Unraid selbstbau ist mit einem i3-12100 mit Grafikeinheit bestückt sowie 8GB ram.

Das Mainboard besitzt eine 2,5g lan Schnittstelle dazu aber später mehr (Falls genaue Bezeichnung notwendig reiche ich diese nach)

im Array ist eine 6TB HDD WD Red und eine 1TB HDD WD Red.

Als Cache nutze ich eine 1TB PCIE 4 nvme.

 

Netzwerk

 

Als Router ist die Fritzbox 7590 im Einsatz diese unterstützt nur 1gb lan das ist mir bewusst.

der Unraid ist verbunden über Powerlan von Devolo Magic 2. (gleiche Etage nur ein anderer raum)

 

In der fritzbox Oberfläche unter Heimnetzwerk steht der Server mit 1Gbit angebunden im Powerlan stehen als übertragungsgeschwindigkeit bis zu 800 mbits schwankend zwischen 600-800.

 

In der Unraid Oberfläche steht bei eth0 angebunden mit 1000mbit was 1gbit entspricht.

 

Die Freigabe wurde so eingerichtet dass Als Cache die Nvme genutzt wird (bevorzugt).

 

So nun unter Windows eine smb verbindung aufgebaut über die Freigabe und eine ISO kopiert Anfangs 4-5 mbits.

 

Später habe ich über sysctl vm.... die ram Auslastung auf 50 % gestellt und die übetragungsgeschwindkeit ging auf ca 10 mbs.

 

Die Unraid oberfläche zeigt während dessen eine Auslastung von ram 21 Prozent nvme 3 prozent und Netzwerk 98 mbits.

 

Ach so lan Kabel nutze ich ein cat 8.2 vorher ein cat 7 hat aber kein unterschied gemacht.

 

nutze keine vms oder docker derzeit.

 

Ich bin echt ratlos und hoffe ihr könnt mir helfen und entschuldigt Schreibfehler oder sonstiges (Tablet mit stifteingabe :D)

 

Link to comment
1 hour ago, Sub-Zero said:

Die Unraid oberfläche zeigt während dessen eine Auslastung von ram 21 Prozent nvme 3 prozent und Netzwerk 98 mbits.

Das macht ja irgendwie keinen Sinn. Wie kann Unraid 98 Mbit/s anzeigen und es gehen nur effektiv 10 Mbit/s durch?!

 

Teste bitte in smb-extra das:

 

aio write size = 1

 

Findest du in den SMB Einstellungen. Vom Windows Rechner dann kurz ab- und wieder anmelden, bevor du wieder eine Übertragung probierst.

Link to comment

Daran habe ich auch gedacht in der FRITZ!Box sind alle Ports auf 1 Gbit gestellt. Aber leider noch immer so.

 

Da die FRITZ!Box leider nur im Flur angeschlossen werden kann muss ich leider auf powerlan ausweichen. Ich versuche mal testweise morgen wie es ist wenn der Server direkt an der FRITZ!Box ist.

Link to comment
  • 5 months later...

Guten Tag in die Runde,

ich bin ebenfalls neu im Thema Unraid und habe fast exact das gleiche Problem. Mein unraid-Server ist direkt über LAN mit der FritzBox verbunden. Mein PC ebenfalls. Sende ich eine Datei vom PC auf meine Freigabe (Netzlaufwerk) auf den Unraid-Server, bricht die Verbindung nach kurzer Zeit ein. Anfng schiebt er noch die Datei mit ca. 100-120 MB/s in die Freigabe, dann sackt alles ab und er kräpelt sich einen langhin mit ca. 10 MB/s. Selbiges ist auch, wenn ich über Terminal MC Dateien innerhalb oder vom extern angeschlossenen Gerät (Festplatte USB) auf Array kopiere. Anfangs schnell, dann brichts ein. Nutze ich den Cach (SSD 512 GB) läuft es mit 100-120 MB/s. Das Moven jedoch dann wieder nur mit ca. 10 MB/s. Woran kann das liegen? Habe als Parity 1 x 8 TB WD Red Plus (3,5 Zoll HDD) und im Array 2 x 8 TB WD Red plus (3,5 Zoll HDD) und 1 x 4 TB WD (3,5 Zoll HDD). Bin leider Ratlos und würde mich freuen einen Hinweis oder Tipp zur Lösung zu bekommen. Durch die schwache Geschwindigkeit, laufen zum Beispiel auch meine täglichen Backups meiner 3 PCs im Netzwerk sehr lange.

Edited by Faxe
Link to comment
11 hours ago, Faxe said:

Das Moven jedoch dann wieder nur mit ca. 10 MB/s. Woran kann das liegen? Habe als Parity 1 x 8 TB WD Red Plus (3,5 Zoll HDD) und im Array 2 x 8 TB WD Red plus (3,5 Zoll HDD) und 1 x 4 TB WD (3,5 Zoll HDD). B

Das liegt an den lahmen DIsks, wenig RAM und wie das Fuse-Datei-System funktioniert, sowie der Artt&Weise, wie die Parity funktioniert...der Mover macht das ja ausserhalb SMB.

ich hätte aber vermutet, dass Du schon auf 50MB/sec kommen solltest...wieviel RAM und welche CPU hast Du am Start?

Edit: oder Verschlüsselung aktiviert?

Hast Du mal "turbo-Write" aktiviert -> https://wiki.unraid.net/Manual/Storage_Management#Array_Write_Modes und probiert? 

Edited by Ford Prefect
Link to comment

Moin @Ford Prefect, ich danke erst mal für deine Rückmeldung.

Ich kann mir ehrlich gesagt nicht vorstellen, dass es an den "lahmen" Disks liegen könnte. Aber man weiß ja nie. Die Disks haben eine Geschwindigkeit vom 5400 - 7200 oder so ähnlich. Die CPU ist eine Intel® Core™ i5-8259U CPU @ 2.30GHz und 16 GB DDR4 RAM sind verbaut. Verschlüsselung ist nicht aktiviert. Dein Stichwort Turbo-Write werde ich mir jetzt mal anschauen, da ich dass nicht auf dem Schirm habe/hatte.

Vielleicht hilft es ja.

 

Sollte ich noch erwähnen, dass meine 4 Disks in einem Fantec QB-35US3-6G liegen und über USB 3.0 mit meinem NUC verbunden sind, an dem der Unraid USB-Stick steckt?

 

Vielleicht gibt es ja noch andere nützliche Tipps die ich verfolgen kann?

Edited by Faxe
Link to comment
51 minutes ago, Faxe said:

Vielleicht gibt es ja noch andere nützliche Tipps die ich verfolgen kann?

nachdem ...

51 minutes ago, Faxe said:

dass meine 4 Disks in einem Fantec QB-35US3-6G liegen und über USB 3.0 mit meinem NUC verbunden sind

würde ich sagen ... wird es schwer jetzt die Ursache zu finden, das Thema USB und Array sollte bekannt sein, wenn nicht evtl. mal nachlesen ... da wirst du leider nicht viel weiter kommen da die hier so viele Faktoren dazwischen hängen und nur wenn jemand zufällig die gleiche Konstellation hätte evtl. ... du hast halt mit parity Betrieb auch permanente r/w Operations und das mag USB erst recht nicht ;)

Link to comment
1 hour ago, Faxe said:

Sollte ich noch erwähnen, dass meine 4 Disks in einem Fantec QB-35US3-6G liegen und über USB 3.0 mit meinem NUC verbunden sind, an dem der Unraid USB-Stick steckt?

Ich hatte mich mal ein vergleichbares Fantec 4fach Gehäuse mit eSATA und USB geholt (welches aber auch selber Raid konnte und deshalb nicht alle Daten mehrfach durch dieselbe Leitung quetschen musste).

 

Aus dieser uralten Erfahrung heraus: Du hast einen Flaschenhals gefunden. Das leider veraltete externe USB 3.0 Gehäuse (welches auch kein UASP beherrscht), in dem alle 4 Festplatten stecken!

normales Schreiben ins Array mit Parität bdeutet, das zeitgleich

- die Datenfestplatte beschrieben werden will

- die Daten der Paritätsfestplatte gelesen, modifiziert und wieder an die selbe Stelle geschrieben werden wollen.

Das Ganze gleichzeitig (Daten senden und empfangen) über eine einzige USB 3.0 Verbindung ohne UASP (Also real stehen da vielleicht knapp unter 230-250 MByte/s für Bulktransfer bereit).

Wenn Du wenigstens die Paritätsfestplatte über ein anderes Gehäuse/USB Kontroller mit UASP verbunden hättest, würden sich wenigstens nicht die Datenfestplatten und die Parität zeitgleich um den selben schmalen USB Tunnel streiten müssen, aber so bremst Du alles aus, sobald Du Deinen Cache voll hast und die Daten dann eben auf das Array gehen.

 

Und dann noch der Paritycheck ab und zu:

Bis zu 4 Datenträger, die sich um die ca. realen 230-250 MByte/s USB (im BOT Transfermodus) streiten und dann noch wegen Parität alles mehrfach in kurzer Zeit durch die selbe Anbindung muß. Gerade da bremst der alte BOT Modus, weil der eben eher für einen dicken Datentransport gedacht war und nicht dafür kleine Datenpakete immer wieder hin und her zu transferieren.

 

Nicht zu vergessen: die üblichen Stabilitätsbedenken wegen Arraydisks über USB.

 

Schon bei direkter SATA Anbindung (6GByte/s) und guter Befüllung brechen meine ST12000VN0007 schreibend mit Parity auf irgendwas um 60-70Mbyte/s pro Disk ein und die sind generell etwas flotter als Deine 8TB oder gar 4TB Festplatten.

Da bremst bei mir aber auch kein BOT-USB Transfer (UASP ist schon über 10 Jahre als, warum heute noch BOT Geräte in solchen Konstellationen nutzen?) & ich kann zeitgleich (über unabhängigen Anbindungen von einander) auf beide beteiligten Festplatten zugreifen. Das fällt bei USB mit BOT alles weg.

 

Solche USB-Multi-Festplattengehäuse sind fast so bremsend wie SATA Technik mit Portmultipliern.

Wenn man damit einzelne Datenträger ansprechen will und nicht maximale Performance will, sind die noch ganz okay, aber wenn man gleichzeitig mehrere Datenträger anspricht, wird die Bremse sehr stark bemerkbar.

Und dann noch versuchen gleichzeitig zu lesen und zu schreiben...  Naja, Du erlebst es ja.

 

Hier noch was zum Lesen und Anschauen:

https://www.electronicdesign.com/technologies/embedded-revolution/article/21800348/whats-the-difference-between-usb-uasp-and-bot

 

https://www.youtube.com/watch?v=iJc7eT-rw4o

(Linus in seinen frühen Tagen :) )

 

Edited by DataCollector
Link to comment
55 minutes ago, Faxe said:

5400 - 7200 oder so ähnlich

 

55 minutes ago, Faxe said:

Sollte ich noch erwähnen, dass meine 4 Disks in einem Fantec QB-35US3-6G liegen und über USB 3.0 mit meinem NUC verbunden sind, an dem der Unraid USB-Stick steckt?

 

1.) 5400er wären lange nicht so "zappig" wie 7200er

 

2.) USB? Ganz schlechte Idee. Ist hier schon dutzende Male thematisiert worden. USB Verbindungen sind definitiv nicht für RAID Systeme wie das Unraid Array gedacht. Nimm zu einfachen externen Gehäusen entweder eSATA oder lebe mit evtl. auftretenden Problemen.

 

Link to comment

@alturismo @DataCollector @hawihoney Danke für die ausführlichen Antworten!

 

Jetzt wird mir so einiges klar. Ich wollte es mir leider zu einfach machen mit meinem USB-Multi-Festplattengehäuse. Ich bin schon fertig gewesen, als ich den ParSync angeschmissen hatte und 9 Tage warten musste, haha.

Gut ich könnte jetzt maximal die Parity Platte noch aus dem Gehäuse nehmen und leider nur via "USB" am NUC anschließen. Aber das war es dann auch schon und sicherlich auch nicht das gelbe vom Ei.

Hmmm, mal überlegen wofür ich das Gehäuse dann jetzt noch verwenden kann. Ich werde mich dann doch eher vom kleinen handlichen NUC verabschieden und einen Tower zusammenbasteln. Dann kann ich die Platten direkt anschließen, ohne über USB zu fummeln. Wollte aber so ein riesen Gerät vermeiden.

 

Danke nochmal recht Herzlich für eure Hilfe. Ich bin begeistert.

Link to comment
3 hours ago, Faxe said:

Gut ich könnte jetzt maximal die Parity Platte noch aus dem Gehäuse nehmen und leider nur via "USB" am NUC anschließen.

Da beim Schreiben der Traffic zur Parityfestplatte am meisten bremst würde die Parityfestplatte in einem UASP fähigen Extra Gehäuse mit eigener USB UASP Anbindung schon etwas bringen. Ich kenne Deinen NUC nicht, aber wenn darin mindestens 2 unterschiedliche USB-Kontroller werkeln (oder der eine Kontroller 2 unterschiedliche Anschlüsse vollkommen getrennt voneinander ansprechen und bedienen kann) und Du Dein Datenarray und die Parityfestplatte an unterschiedliche Kontroller/Zweige anschließt, kommen die sich noch weniger in die Quere.

 

Hier ist zu beachten, daß USB Anschlüsse auf einem Mainboard meistens alle an ein und demselben Kontroller hängen. Ob sich die Ports also dennoch in die Quere kommen oder nicht  hängt dann stark von der Realisierung der USB-Chips (oder Funktion im Chipsatz/CPU) ab. Einen Versuch ist es wert, aber normale/Traumwerte sind bei Array über USB dennoch nicht zu erwarten.

 

Und die Problematik, daß USB im Array nicht wirklich immer die stabilste Lösung ist bleibt auch da. Und aufgrund von 2 USB Anschlüßen in unterschiedlichen gehäusen sogar in 2facher Gefahrt, daß eine der Firmwares sich mal zwischenzeitlich abmeldet und ein Array spontan zerbricht.

 

Und generell zum Thema NUC/MiniDesktop mit 3,5inch Festplattenarray:

Ja, die Idee hatten schon viele (ich auch), aber bisher las ich noch von keiner wirklich kompakten Lösung und sinnvollen. Einen PC mit Standardkomponenten in einem Standardgehäuse (Minitower/oder irgendwas kleines/ in vergleichbarere Richtung) hat sich für eine Arraylösung in der Regel als beste und sauberste Lösung etabliert.

Wenn Dein NUC vielleicht M.2 PCIe ermöglicht, könnte man da zumindest versuchen per Adaptierung SATA raus zu fummeln, aber dann hast Du

- ein NUC/MiniDesktop Gehäuse mit zusätzlichen Öffnungen oder einen offenen Deckel für die ausgehenden SATA Kabel,

- ein 2. externes Netzteil für die Stromversorgung der 3,5inch Festplatten

- und irgendeine Halterung für die Festplatten.

Wenn man das fliegend aufbaut sieht es eher 'sehr gebastelt' aus und wenn man es in ein Gehäuse/Kiste/Karton/Hundehaus stopft... kann man gleich wieder ein PC Gehäuse nehmen.

 

3 hours ago, Faxe said:

Hmmm, mal überlegen wofür ich das Gehäuse dann jetzt noch verwenden kann.

Ich habe mein Fantec Festplattengehäuse irgendwo im Chaos vergraben und weiß nicht einmal mehr genau wo es ist. Wenn ich es wiederfinde werde ich stark überlegen es zum Elektroschrott zu geben (auch, weil der enthaltene raidkontroller mit der Firmware eine Größenbeschränkung hat, die für mich heutzutage viel zu klein ist).

Mein vor einiger Zeit gekauftes QNAP TR-004 ist zwar leider auch nur USB 3.0 und ohne UASP, aber es kann wunderbar mit meinen 18TB Festplatten umgehen und eigentlich nutze ich es nur für ab und zu Backup-/Lagerbetrieb, wenn ich mal bis zu 72TB temporär sichern/zwischenlagern will (und vielleicht später als Erweiterung meines noch aktiven QNAP NAS, falls ich mit meinen unraid tests noch länger brauche und das NAS auch über läuft :) ).

 

3 hours ago, Faxe said:

Ich werde mich dann doch eher vom kleinen handlichen NUC verabschieden und einen Tower zusammenbasteln.

Das sehe ich als die empfehlenswerteste Lösung an. und wenn Du nict unbedingt das neueste vom neuesten haben willst: Aktuel sind PC Komponenten unterhalb der Intel 8th Gen ziemlich günstig im Gebrauchtmarkt zu bekommen (weil viele wegen Win11 Spezifikationen das Zeugs ausmisten). Irgendwas ab Skylake (6th) Generation aufwärts sollte unter unraid gute Diente leisten können (auch wenn man damit nicht zwingend die ultrasparsamten Konstellationen bastelt).

Wenn man ein bisschen sucht, findet man sogar Businessgeräte, die einem mit 4 oder mehr SATA und einem M.2 und ggf. ein paar PCIe 3.0 Slots sehr entgegen kommen können. bei einigen gehäusen: mit etwas Geschick und Bastelei bekommt man dann auch 4 oder mehr 3,5inch Festplatten da rein.

 

3 hours ago, Faxe said:

Dann kann ich die Platten direkt anschließen, ohne über USB zu fummeln. Wollte aber so ein riesen Gerät vermeiden.

So winzig wie NUC+Fabntec+2 Netzteile wird es nicht, aber diverse Minitower/SFF Gehäuse könnten sich schon als klein erweisen. Was ist denn größenmäßig Deine Schmerzgrenze?

 

Link to comment
  • 4 months later...

Hallo!

 

Alter Topic, wollte mich aber auch mal kurz zu Wort melden. Ich habe eine ähnliche Situation mit einem Mini PC und einem über USB angeschlossenen Fantec 4-bay case. Es funktioniert alles (seit ca. 2 Jahren), das heisst keine Parity Probleme oder Verbindungsabbrüche, aber "schnell" ist halt anders. Ich habe mich daher jetzt auch dazu entschlossen, einen "richigen" Unraid Server aufzusetzen - sie dazu meinen Post hier: 

 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.