Nils Arnold
-
Posts
18 -
Joined
-
Last visited
Content Type
Profiles
Forums
Downloads
Store
Gallery
Bug Reports
Documentation
Landing
Posts posted by Nils Arnold
-
-
Hallo,
Habe leider das selbe problem mit MariaDB und postgresql14. Ich brauche 5 sek. bis die Seite geladen ist. Gleiche Hardware unter Turenas Scale braucht nicht einmal 1sek.
Jeder andere Docker im Cach braucht etwar 300ms und die Seite ist da.
Die Daten sind laut anzeige alle im Cache. Was kann man denn noch machen damit das ding endlich normal schnell läuft?
-
9 hours ago, mgutt said:
CPUs lassen Prozesse im Millisekundentakt von Kern zu Kern wechseln. Daher ergibt sich manchmal ein unrealistisches Bild, bei der Lastanzeige pro Kern. Aber die Auslastung der Prozesse selbst ist verbindlich. Und da hast du 54% bei SMB und 44% bei SHFS. Demnach:
- Multichannel/RSS funktioniert nicht (weil nur ein SMB Prozess)
- du nutzt einen User Share als Ziel und keinen Disk Share (daher der SHFS Prozess)
Eventuell könntest du die Leistung noch steigern, in dem du im BIOS Hyperthreading deaktivierst, denn du könntest das Pech haben, dass SMB und SHFS auf einem Kern/HT Paar laufen.
unRAID schaltet vor das Array einen Cache Pool, während der User davon nichts mitbekommt und in einem Share die Dateien aus Array und Pool zusammen in einem Ordner sieht. Damit das geht, muss dem Betriebssystem ein virtuelles Dateisystem vorgegaukelt werden. Dieses benötigt extra Prozesse (SHFS), welche ohne Multichannel bei 10G zusammen mit dem SMB Prozess einen CPU Kern ans Limit bringen können. Muss aber nicht, hast du ja bei anderen Usern gesehen.
Bei Syno hat man dafür den Nachteil, dass ein SSD Cache nur den Stromverbrauch erhöht, statt ihn zu senken, weil die HDDs immer mitlaufen müssen. Nach meinen Tests bringen sie dazu eine erhöhte Lautstärke mit sich, weil der Kopf auf den HDDs wie bekloppt springt, weil niemals komplette Dateien im Cache liegen und auch ständig rausfliegen und der Durchsatz wird auch nur marginal erhöht. Auch killt man sich damit in relariv kurzer Zeit durch massig TBW die NVMe oder braucht ein teures Modell mit extra hohem TBW Wert. Dazu kommt, dass Syno in letzter Zeit auf miese AMD CPUs ohne iGPU setzt und daher für die meisten eh keine Alternative mehr ist.
So hat jedes NAS seine Eigenheiten.
Mögliche Lösungen:
- Intel System mit Mellanox
- SMB Multichannel+RSS
- Disk Shares nutzen
- benutzerdefinierte Shares mit /mnt/cache/sharename als Ziel über die smb-extra.conf erstellen
Danke für Infos. Ich Nutze erstmal Disk Shares bis der Ryzen 7 5800x hier ist, damit schau ich dann mal ob ein Kern genug leistung hat um zumindest mal 900mb/s mit diesem SHFS Prozess zu schaufeln. Ich Persönlich störe mich sehr an dieser Geschichte. Gibt es aussicht auf eine verbesserung?
-
7 hours ago, jj1987 said:
Nichts denn andere User (auch ich) schaff(t)en über SMB die gewünschte Datenrate (habe derzeit keine 10g Karte mehr verbaut).
Synology ist mehr oder weniger ein geschlossenes Ökosystem, natürlich ist da alles so gut wie möglich vorkonfiguriert. Warum kann ein Mac mit "normaler" X86 Hardware Dinge schneller als ein Windows System?
Das wird man bei einem so offenen System wir UNRAID es ist nur durch selbst Hand anlegen wirklich hinbekommen. Wobei ich die 700-800mb auch ohne weitere Anpassungen geschafft habe.
Die Rate wird mit meinem System nicht erreicht. Es liegt aber sicher nicht an der Leistung des Systems.
Die Infos was ihr da alle gemacht habt würde mir an sich schon reichen. Die vorschläge von Mgutt habe ich nun alle durch und keinen Erfolg gehabt.
Wenn ich Truenas Scale auf die Kiste werfe macht die mir auch 3 Gb/s. Auch dieses System ist relativ offen. Nicht so offen wie Unraid, aber man kann damit auch viel machen. Nebenbei Kostet Unraid Geld, man kann also auch hier erwarten das es so gut wie möglich vorkonfiguriert ist, und wenn nicht gehört eine Aleitung die auch funktioniert auf die Seite.
Deine CPU ist Pro Core nur minimal Stärker als meine. Muss ich denn wirklich einen Ryzen 7 5800X Kaufen um zu Prüfen ob es an der Leistung liegt? Was genau macht Unraid denn mit so viel Leistung?
-
3 minutes ago, mgutt said:
Multichannel wurde erst Ende letzten Jahres stabil:
Also nein, kannst du nicht erwarten. RSS brauchte außerdem eine spezielle Interface option. Ist hier beschrieben, auch wie man es testet:
https://forums.unraid.net/topic/97165-smb-performance-tuning/
SMB3 und damit Multichannel sind übrigens Erweiterungen von Microsoft, die in Linux erstmal nachprogrammiert werden mussten.
Übrigens ist RSS bei HDDs langsamer (pro CPU Kern ein paralleler Schreibzugriff), weshalb es sicher noch lange nicht standardmäßig aktiv sein wird.
Ok, Das Multichannel ist in funktion. Die CPU scheint kein Problem damit zu haben. auch unter windows ist das Aktiv genau so wie RSS.
Ok, bei HDDs mag das so sein, ich habe aber das Problem das es hier um den Ram oder M2 SSDs als Cache geht die Locker 3500 MB/s Schreiben können. Nebenbei wäre es noch schön wenn mir jemand erklären könnte warum eine Synology mit einem Atom CPU C3558 mal eben 600 - 700 MB/s Schreiben kann ohne zu basteln (RSS + Multichannel). Das ganze ist auch ein Linux System, das auch nur mit SMB Arbeitet. Was macht denn Unraid hier so Falsch? es ist doch ein NAS System?! Man muss dich damit rechnen das Nutzen die dieses System kaufen genau sowas machen wollen?!
Da die CPU/ Das Netzwerk ( der Switch,Client,Unraid Server )/ Der Client/ und der Ram nicht der Flaschenhals sind. Was ist es denn sonst?
Da die CPU sich bei der übertragung langweilt genau wie die CPU des Clients würde mir RSS vermutlich nicht viel bringen?
-
40 minutes ago, mgutt said:
RSS auch ? Auf dem Windows Client verifiziert? Was sagt htop während einem Transfer?
Wie Prüfe ich ob RSS an ist? Sollte RSS nicht von Haus aus an sein? sollte ein System für einen NAS nicht ohne größere einstellungen mit diesen Funktionen wie Multichannel oder RSS betrieben werden?
Nein auf dem Windows Client wurde nicht verifiziert. Warum sollte ich das tun? die erwartung ist klar die das ein NAS system solche Spielereien von Haus aus mitbringt. Aber ich teste es gerne, sollte es nicht von Haus aus erkannt werden.
HTOP: Wenn ich das richtige sehe gehen alle 8 Kerne/16 threads gleichmässig nachoben
Übertragen werden ~ 600 MB/s in den Ram. Wenn ich in Globale Freigabeeinstellungen Freigaben aktivieren: JA mache habe ich Sofort 1,15 GB/s
Ohne etwas an einem Windows Client o.ä zu ändern.
-
Leider ist das Problem auch nach dem tausch der Intel Karte vorhanden. Jedes andere NAS System packt mit meiner Maschine locker die 10G, nur Unraid bekommt es einfach nicht hin. Scheint ja ein größeres Problem zu sein.
SMB Multichannel ist an.
Was kann man denn sonst noch machen.
PS: mit einem Ryzen 7 2700 sollte sowas kein Problem sein. Sollte es doch ist eher das System ein Problem
-
28 minutes ago, mgutt said:
Weil SMB davor liegt und das eben nur Single Threaded ist. Wenn du "htop" im Terminal beim Transfer öffnest, siehst du, dass zig SHFS Prozesse laufen, aber nur einer hat eine hohe Last (der den SMB Transfer "empfängt"). Wie gesagt. Multichannel + RSS und dein Problem hat sich erledigt. Ich nutze das schon seit Jahren. Damals noch auf einer Syno.
Danke für deine Hilfe. eine solche Lösung kommt bei mir Aktuell nicht infrage, das muss so ohne Leistungsprobleme funktionieren.
Es ist etwas schade das es so scheinbar Akzeptiert wird statt eine Verbesserung beim System Hersteller zu bewirken
-
9 hours ago, mgutt said:
It's not a bug, it's a feature, wie man so schön sagt. Bei User Shares überwacht unRAID ständig ob die Dateien auf den Cache oder die HDD übertragen werden soll. Dazu müssen verschiedene Regeln beachtet werden wie der Füllgrad und welches Split-Level der Nutzer eingestellt hat. Dieses Komfort-Merkmal kostet Rechenleistung und dein Ryzen 2700 scheint nicht genug davon zu haben, so dass du es bei 10G merkst.
unRAID ist dabei eigentlich gar nicht mal so der Flaschenhals, sondern Samba, was nur auf einem CPU Kern ausgeführt wird. Die Kombination aus SHFS und Samba überlastet dann 1 bis 2 Kerne des Servers, selbst wenn man eigentlich genug davon hat.
Das nächste Problem ist, dass Samba nach wie vor kein Multichannel, geschweige denn RSS aktiv hat. Gerade RSS würde dir viel bringen, da sich die Last dann auf mehrere Kerne verteilt. RSS muss aber auf beiden Seiten (Client und Server) unterstützt werden und ist immer noch nicht offiziell freigegebn. Mehr dazu steht im Guide.
Diese Einschränkung gilt aber wie gesagt nur bei User Shares. Man kann sagen User Shares sind das Standard No-Brainer Setup und Disk Shares bzw Disk Pfade sind was für die Fortgeschrittenen, da man sie auch erst einsetzen sollte, wenn man das Konzept des Caches und des Movers verinnerlicht hat.
Aber wie schon gesagt muss es das nicht zwangsläufig sein. Es gab auch schon andere Ursachen.
in dem Moment wenn ein Ryzen 7 2700 nicht mehr für ein Nas und eine Übertragung von 1,25 Gb/s reicht ist das aus meiner Sicht eher eine Schlecht implementierte Lösung, warum wird hier nicht einfach SHFS auf allen Kernen berechnet? und man hätte fast kein Problem mehr
-
10 hours ago, mgutt said:
Wenn du es auf die schnelle testen magst: Disk Shares aktivieren und direkt auf den Cache hochladen.
Es scheint tatsächlich das Problem zu sein.
Ich habe beim Laden in den Cach entspannte 1100-1200 MB/s
nun zu der Lösung, ich brauch also eine CPU die Singel Core Leistung hat ohne ende?
würde ein Ryzen 7 5800X evtl das Problem lösen? gibt es hier erfahrungen wie Stark eine Cpu Core sein muss um dieses Leistung zu erbringen?
-
5 minutes ago, mgutt said:
Dann leidest du vermutlich unter dem SHFS Overhead. Dieser entsteht, wenn man Dateien nach /mnt/user hochlädt und nicht nach /mnt/cache. Mehr dazu hier:
https://forums.unraid.net/topic/97165-smb-performance-tuning/
Wenn du es auf die schnelle testen magst: Disk Shares aktivieren und direkt auf den Cache hochladen.
Ich Teste es Morgen.
Sollte es besagtes Problem sein, kann man davon ausgehen das der Hersteller des Systems gegen dieses Problem etwas macht oder ist dem Hersteller sowas Egal? ist dieses Problem bei einem NAS System überhaupt tragbar?
-
4 minutes ago, Ford Prefect said:
...dann kontrolliere die Einstellungen nochmal, bitte.
Wenn die Hardware nicht das Problem ist, dann ist das der "typische Fehler"
Ich Prüfe alles nochmal und melde mich dann hier, gibt es bekannte Sachen die man nochmals Prüfen sollte?
kannst du mir erklären was du mit dem typischen Fehler meinst?
5 minutes ago, Ford Prefect said:...bei Anderen (unraid Usern) funktioniert es aber...wieso soll es also ein unRaid Fehler sein.
Ich habe das Gefühl, dass Du sauer bist und jetzt eher jemanden sucht, der Dir beipflichtet anstatt der Ursache des Problems systematisch auf den Grund zu gehen
Nein, sauer bin ich überhaupt nicht. Ich habe viele Hilfen zu dem Thema gefunden, was für mich heißt das viele dabei Hilfe brauchen. Hier sehe ich dann auch ein Problem im System, ich meine warum braucht man bei einem NAS System um solch rudimentären Sachen zum laufen zu bringen Hilfe? das ist doch so nicht richtig. Hier habe ich Maximal etwas Unverständnis, bin aber froh wenn mir jemand helfen möchte.
17 minutes ago, Ford Prefect said:Denke Das ware ne Intel Karte, dann sollte die funktionieren.
Netzwerkkarte ist eine: Intel X540-T1 ich habe mal nicht gefunden was gegen eine Funktion der Karte spricht
-
1 minute ago, Ford Prefect said:
Also hast Du den 10G Link zwischen Switch und unRaid nicht getestet, da Du ja allgemein davon ausgehst, das es sonst, auf den anderen Links auch funktioniert...das muss aber nicht so sein.
Daher meine Frage nach iperf, um das auszuschliessen.
Doch habe ich.... wie geschrieben: wenn ich Truenas auf dem Selben Server Installieren ( auf der Selben Hardware mit dem Selben Link und der Selben Leitung) ist kein Problem mehr da.
2 minutes ago, Ford Prefect said:...gut, auch das wurde schon mehrfrach gefragt, aber bisher nicht klar beantwortet.
Doch wurde es, wenn ich Schreibe das es mit dem selben Rechner bei anderen Geräten kein Problem gibt heißt das doch klar, das der Rechner kein Leistungsproblem hat oder?
4 minutes ago, Ford Prefect said:...Du magst ja die Hardware haben, hast aber nicht verstanden, das die Hardware allein nicht entscheidend ist, bei unRaid
Daher meine Frage, ab Du mit einem User Share getestet hast, das im unraid auf Cache-Only gestellt ist.
Die hast Du nicht beantwortet....
Das stimmt, hier habe ich noch keine Antwort gegeben, dem komme ich aber sofort nach.
genau wie beschrieben habe ich eine Übertragung auf einen User Share gemacht der auf Cache-Only gestellt war.
das selbe auch noch mit einem Share der auf die Cache Nutzung eingestellt war.
Ich Stimme dir zu, ich verstehe nicht warum man ein Nas System auf dem Markt kaufen kann das nicht einmal 1,25GB/s über eine Leitung bekommt und das mit einem NVME Cache , sowas sollte auf den Standardeinstellungen bei so einem System ohne Probleme laufen. Dies tut es aber leider nicht.
-
1 hour ago, Ford Prefect said:
....mal mit iperf getestet, ob das Netzwerk allein die 10Gbps hinbekommt?
Also der Windows-PC hat auch ne NVMe, welche die 1GByte/sec auch liefern kann?
Hast Du mal mit einem Cache-only share getestet?
wie hier schon geschrieben:
Kabel 10Gbit/s ist die Verbindung die an andere Geräte an diesem Switch auch die Leistung bringt, hier kann also kein Problem vorliegen.
Ja, der Rechner hat auch eine NVME SSD und bekommt mit Diversen Synology Nas (DS1821+,RS3621XS+) die Leistung ohne Probleme auf die Leitung
1,25GB/s sind hier in den Cache überhaupt kein Problem.
Es kann also kein Fehler an dem Windows Rechner sein und auch kein Fehler des Netzwerks, somit bleibt nun noch der Unraid Server.
Die Netzwerkkarte oder allgemein die Hardware ist auch nicht das Problem, da beim Aufspielen von Truenas auf die Unraid Hardware mit Schreibcache die Leistungen auch mit der selben Hardware ohne Probleme erreicht wird.
nun sind wir beim System Unraid was mein Problem verursacht, hier habe ich aber leider keine idee mehr warum ein System mit einem NVME SSD Cache keine 1,25 GB/s R/W erreichen sollte.
Danke für die Hilfe im voraus!
-
nilsmediaserver-diagnostics-20210904-1714.zip
Die Anbindung ist PCIE X2 was für deutlicher mehr reicht als 440 MB/s.
Hersteller ist Samsung und das Model der SSDs sind 1TB Große 970 EVO also NVME SSDs
*10 Gbit/s ist die Verbindung
von einem Windows Rechner der mit 10 Gbit/s über einen Switch angebunden ist.
Kabel 10Gbit/s ist die Verbindung die an andere Geräte an diesem Switch auch die Leistung bringt, hier kann also kein Problem vorliegen.
Ich stimme zu, es hört sich wie eine Sata SSD an, es ist aber keine. Wenn ich die SSD unter Unraid Benche habe ich auch die Leistungen die man Von PCIE X2 erwarten kann.
Diagnose ist anbei.
Ideen?
-
Hallo,
Ich habe mir in meinen Unraid Pool einen Cache mit 2 NVM SSD eingebunden, nun habe ich diverse gründe gefunden warum ich mit meiner 10G Verbindung zu dem Server nicht mit 10 GB/s sondern nur um die 440 MB/s schreiben kann.
da ich viel dazu gefunden habe, frage ich mich warum dieses Problem nicht schon lange behoben ist?
was und warum ist dieses Problem vorhanden?
Es ist etwas Traurig wenn ein Spielzeug wie eine DS1821+ von Synology mit einem SSD Cache Extrem viel bessere Leistung bringt.
gibt es hier einen fortschritt bei Unraid? ist etwas geplant?
Danke für die Antworten
-
ZFS PLS
-
2
-
SMB Leistung Mangelhaft
in Deutsch
Posted
Danke!
Aber der R7 5800X ist verbaut und bekommt tatsächlich um die 1000Mb/s hin