Langsame Datenübertragung von großen Dateien

[Cramp4600]

Hi,

 

ich musste leider feststellen, dass ich beim Verschieben von großen Dateien aus dem Videoschnitt sehr schlechte Übertragungsgeschwindigkeiten habe.

 

Zu meinem Setup:

Ich habe Unraid an einem 10Gbit Port an meinem Switch hängen und den PC an einem 2,5 Gbit Port beide an dem gleichen Switch.

 

M/B:ASRockRack X570D4U-2L2T S/N 220923170000193

BIOS:American Megatrends International, LLC. Version P1.70 Datiert 09/15/2022

CPU:AMD Ryzen 7 5700X 8-Core @ 3400 MHz

HVM:Aktiviert

IOMMU:Aktiviert

Cache:L1 - Cache: 512 KiB, L2 - Cache: 4 MiB, L3 - Cache: 32 MiB

Arbeitsspeicher:64 GiB DDR4 Multi-bit ECC (Maximal installierbare Kapazität 128 GiB)

Netzwerk:eth0: 10000 Mbps, full duplex, mtu 1500

Kernel:Linux 6.1.79-Unraid x86_64

OpenSSL:1.1.1v

 

Als Festplatten benutze ich 5-mal die Seagate Exos X20 20 TB

1 als Parität, die anderen 4 als Datenträger mit ZFS verschlüsselt.

Für den Cache benutze ich 2-mal Samsung SSD 980 PRO 2 TB im Modus Spiegeln und auch mit ZFS verschlüsselt.

 

Die CPU-Auslastung während des Kopierens sollte meiner Meinung auch kein Problem sein denn Im Hintergrund laufen noch einige Docker Container.

 

Ich verschiebe die Dateien aus Freigabe A mit Cache auf Freigabe B ohne Cache-Unterstützung.

Zum Anfang habe ich auch noch die volle Übertragungsgeschwindigkeit, aber nach kurzer Zeit bricht diese deutlich ein. Ich habe bereits TurboWrite installiert und das hat auch etwas Verbesserung gebracht. Aber irgendwas scheint die Übertragung auszubremsen.

 

[DataCollector]

55 minutes ago, Cramp4600 said:

Als Festplatten benutze ich 5-mal die Seagate Exos X20 20 TB

1 als Parität, die anderen 4 als Datenträger mit ZFS verschlüsselt.

Für den Cache benutze ich 2-mal Samsung SSD 980 PRO 2 TB im Modus Spiegeln und auch mit ZFS verschlüsselt.

Ich verschiebe die Dateien aus Freigabe A mit Cache auf Freigabe B ohne Cache-Unterstützung.

Zum Anfang habe ich auch noch die volle Übertragungsgeschwindigkeit, aber nach kurzer Zeit bricht diese deutlich ein. Ich habe bereits TurboWrite installiert und das hat auch etwas Verbesserung gebracht. Aber irgendwas scheint die Übertragung auszubremsen.

 

 

Interpretiere ich Deien Aussage richtig:

Du liest ein großes Videofile vom Array und schreibst es gleichzeitid in einen Share des selben Array ohne, daß dieses Zielshare einen SSD Cache hat?

 

Mit Turbowrite hast Du es zwar etwas beschleunigt, aber dennoch muß nun (schlimmstenfalls von der gleichen Festplatte) lesen und pufferst dann den Schreibvorgang nicht mit einem Pool/SSD ab.

Das bremst eben.

Mir erscheienn die unter 30MByte/s zwar auch eher gering, aber falls die festplatten schon gut gefüllt sind erreichen die selbst alleinig lesend nicht unbedingtt ihre Spitzenwerte von 280MByte/s, sondern eher 130 MByte/s (im langsamen Innenbereich). Dazu dann eben noch lesen und schreiben gleichzeitig mit ständiger Kopfneupositionierung.

 

Ich würde an deiner Stelle schreibend einen flotten SSD cache zwischenschalten.

[MAM59]

ach Gott! wieder mal eins der berüchtigten "ZFS-im-Array" Opfer!

Du findest hier im Forum reichlich Threads zu dem Thema und vor allen Dingen, warum man es NICHT MACHEN SOLLTE!

(Kurzversion: ZFS "optimiert", ohne Rücksicht auf UNRAID Array. Deshalb fliegen die Köpfe nur so umher, während UNRAID krampfhaft versucht, die Parität in Sync zu halten. Das Ganze schaukelt sich so auf, bis fast nix mehr geht. Deine 20Mb/s sind schon das Maximum was man aus dieser Konstellation erhoffen kann!)

 

[Cramp4600]

33 minutes ago, DataCollector said:

 

Interpretiere ich Deien Aussage richtig:

Du liest ein großes Videofile vom Array und schreibst es gleichzeitid in einen Share des selben Array ohne, daß dieses Zielshare einen SSD Cache hat?

 

Ich würde an deiner Stelle schreibend einen flotten SSD cache zwischenschalten.

Ja so könnte man so sagen.

 

Die Daten kommen von Disk 4 und werden auf Disk 2 geschrieben.

Beide Platten sind noch unterhalb voll.

 

Ich habe jetzt den SSD-Cache dazwischengeschaltet, jetzt läuft es definitiv schneller ca. 120 MByte/s dann aber auch mal wieder Einbrüche auf 5 MByte/s.

Kann ich noch was optimieren oder umstellen? z.B. zusätzliche SMB Konfigurationen?

[MAM59]

3 hours ago, Cramp4600 said:

Kann ich noch was optimieren oder umstellen? z.B. zusätzliche SMB Konfigurationen?

SCHALT DIE UNRAID PARITY AB!!!

Du brauchst sie eh nicht, ist doppelt gemoppelt, denn das ZFS Array ist RAID-5 und hat eine eigene Parity Verwaltung.

 

[jj1987]

46 minutes ago, MAM59 said:

denn das ZFS Array ist RAID-5

Wie kommst du denn auf das schmale Brett?

Das sind normale Single Devices. Wie sollte da ein RAID5 entstehen - ohne UNRAID Parity?

Oder hast du das extremst verkürzt geschrieben und meinst eigentlich er soll die in einen Pool schmeißen und das dann als zfs raidz1 laufen lassen?!

[MAM59]

13 minutes ago, jj1987 said:

Wie kommst du denn auf das schmale Brett?

Das sind normale Single Devices. Wie sollte da ein RAID5 entstehen - ohne UNRAID Parity?

hmm, ja, kann sein, die Anzeige ist da nicht so ganz eindeutig. Bei genauerer Betrachtung fehlt bei Cache2 das FS, also gehen wir mal davon aus, dass die 4 Platten dann eins haben. Hab ich wohl falsch gelesen.

 

Aber dann lieber als ein zfs raidz pool betrieben, als so.

 

[Cramp4600]

Oder sollte ich einen Pool mit RAIDZ2 anlegen, weil ich eigentlich die Möglichkeit haben wollte, 2 Festplattenausfälle zu überstehen (dann würden natürlich noch weitere Festplatten dazu kommen). Dann bin ich wahrscheinlich auch schneller als in der aktuellen Konfiguration.

Denn mit meinem alten WD NAS im RAID 5 hatte ich eine deutlich stabilere Schreibrate der Daten.

Ja für den Cache habe ich die beiden SSDs in einem RAID 1.

 

Habe ich jetzt überhaupt eine richtige Ausfallsicherheit von einer Platte mit der Parity im Array?

 

Gibt es irgendwo Tests zu der Performance?

[jj1987]

1 hour ago, Cramp4600 said:

Habe ich jetzt überhaupt eine richtige Ausfallsicherheit von einer Platte mit der Parity im Array?

Pro (funktionierender) Parity HDD ist eine Daten HDD gesicher.

Geht die einzige Parity futsch darf keine Datendisk Fehler haben.

Ist bei einer Parity Disk bereits eine Datendisk ausgefallen, darf keine weitere ausfallen.

ABER: selbst wenn doch sind die Daten der noch funktionieren Disks (extern) noch auslesbar. Man verliert im worst Case nur die Daten der defekten Disk(s)

1 hour ago, Cramp4600 said:

Gibt es irgendwo Tests zu der Performance?

Schreibend (direkt aufs Array ohne Cache) ca 1/2 - 1/3 der max Geschwindigkeit der Datendisk. Idr also zwischen 60-90 MB/s

Lesend halt die Geschwindigkeit der jeweiligen disk

[Cramp4600]

2 hours ago, jj1987 said:

Schreibend (direkt aufs Array ohne Cache) ca 1/2 - 1/3 der max Geschwindigkeit der Datendisk. Idr also zwischen 60-90 MB/s

Lesend halt die Geschwindigkeit der jeweiligen disk

Also ist meine beste Möglichkeit für mehr Performance alles zuerst auf den Cache zu schreiben.

 

Und dann bei Gelegenheit noch eine zweite Parity einzubauen das ich da auch auf der sicheren Seite bin.

 

Aber wenn ich es richtig verstanden habe habe ich keine Absicherung gegen Bit Rot oder?

Deswegen gehe ich monatlich alle Platten mit File Integrity durch ich hoffe das ist sinnvoll.

Sorry für die ganzen Fragen aber ich will um jeden Preis eine Datenverlust durch falsch Konfiguration vermeiden.

Edited April 26 by Cramp4600

[DataCollector]

4 hours ago, Cramp4600 said:

Also ist meine beste Möglichkeit für mehr Performance alles zuerst auf den Cache zu schreiben.

 

Ja, und genau das ist ja auch der Grund dem Array einen Pool mit SSD(s) vorzuschalten

Die Parity bei einem Array mit mehr als 2 Festplatten bremst eben.

 

4 hours ago, Cramp4600 said:

Und dann bei Gelegenheit noch eine zweite Parity einzubauen das ich da auch auf der sicheren Seite bin.

 

Naja, Du bist mit 2 Paritydatenträgern sicher gegen den Ausfall von maximal 2 Datenträgern im Array.

Wenn das die gesuchte (Ausfall)Sicherheit ist: ja.

Gegen so gut wie (fast) alles andere was passieren kann bist Du damit nicht sicher.

 

4 hours ago, Cramp4600 said:

Aber wenn ich es richtig verstanden habe habe ich keine Absicherung gegen Bit Rot oder?

 

unraid selber kann BitRot nicht erkennen oder gar beheben. Es gibt ein FileIntegrity Plugin, welches ich aber nach Tests nicht mehr einsetze. Ich setze auf halbautomatisch (über ein Windowssystem) erzeugte Checksummen um in späteren Prüfläufen zu erkennen ob da etwas nicht mehr stimmt.

 

4 hours ago, Cramp4600 said:

Deswegen gehe ich monatlich alle Platten mit File Integrity durch ich hoffe das ist sinnvoll.

 

Wenn es Dir das bringt, was Du willst: okay.

 

4 hours ago, Cramp4600 said:

Sorry für die ganzen Fragen aber ich will um jeden Preis eine Datenverlust durch falsch Konfiguration vermeiden.

 

Naja, "um jeden Preis" ist eine vielleicht doch sehr teure Sache.

Aber dann wird es wohl Zeit für diverse gespiegelte Systeme auf der Welt.

[Cramp4600]

3 hours ago, DataCollector said:

Wenn das die gesuchte (Ausfall)Sicherheit ist: ja.

Gegen so gut wie (fast) alles andere was passieren kann bist Du damit nicht sicher.

Was sollte ich denn noch berücksichtigen? 

Meinst du damit das noch andere Hardware kaputt gehen kann wie der Cache oder das MB oder eher Fehler die mit den Daten passieren können?

 

3 hours ago, DataCollector said:

Naja, "um jeden Preis" ist eine vielleicht doch sehr teure Sache.

Aber dann wird es wohl Zeit für diverse gespiegelte Systeme auf der Welt.

Ja genau das ist der Punkt wo fängt man an und wo hört man auf weil es die kosten sprengt.

Unraid hängt bei mir an einer USV und eine Überspannungsschutz des weiteren backuppe ich alles wichtige auf einen externen Server.

Was könnte ich den noch sinnvolles machen?

[saber1]

1 hour ago, Cramp4600 said:

Was könnte ich den noch sinnvolles machen?

Mehr als das: https://www.ionos.de/digitalguide/server/sicherheit/3-2-1-backup-regel/

würde die

1 hour ago, Cramp4600 said:

kosten spreng(en).

 

[DataCollector]

Dieser Beitrag enhält meine persönliche Meinung zu diesem Fall. Jede andere Person darf gerne eine andere Meinung haben, die ich ihr/ihm auch nicht abspreche.

 

 

5 hours ago, Cramp4600 said:

Was sollte ich denn noch berücksichtigen?

 

Was Du sollst, kann ich Dir nicht sagen.

 

Bei einem System mit aktuell (wenn ich oben richtig in Erinnerung habe) gesamt 4 Datenfestplatten im späteren Gedankengang 2 Parity einzuplanen ist schon ein sehr großes Sicherheitsbedürfnis, welches über das hinausgeht, was wohl die meisten unraidnutzer für Ihre Daten als erforderlich ansehen.

Aber das ist ja das schöne an unraid: man kann es machen, wenn man es will.

 

Aber der Ausfall einer oder 2 Festplatten sind nicht wirklich alles, was den Ausfall des Systemes bewirken kann:

Ausfall der CPU, 

Ausfall des Netzteiles,

Spannungsschwankungen des nur teildefekten Netzteiles,

Ausfall einer relevanten Kabelverbindung,

Oxidation oder schlechter Kontakt von Steckverbindern (man erinnere sich an diverse verschmorte PCIe Powerstecker bei Grafikkarten oder wie häufig hier von steigenden Festplattenproblemen geschrieben wird, was sich durch auswechseln der Kabel oder zumindest reinigen der Kontakte beheben lies), 

Kinderhände die Taster finden, 🚸

Mitbewohner mit denen man sehr heftigen (Trennungs)Streit hat (es soll bei einem Streit ja nicht nur Geschirr kaputt gegangen sein), 👺

Einbruch/Diebstahl,

Hacker/Ransomware/Trojaner

Blitzschlag,⛈️

Hochwasser,🌊

LKW rast ins Haus,🚚

Angriffe einer fremden Staatsmacht,🪖

Nuklearschlag/-unfall,💣

Alieninvasion 👾

 

Such Dir etwas aus, was Du für Dich als zu vermeiden erachtest und überlege, wie Du "um jeden Preis" eine Lösung für Deinen unraidserver findest.

 

 

5 hours ago, Cramp4600 said:

Meinst du damit das noch andere Hardware kaputt gehen kann wie der Cache oder das MB oder eher Fehler die mit den Daten passieren können?

 

Ich meine damit alles. Es gibt immer einen Vektor/Richtung die die Ausfallsicherheit kompromittieren kann.

Ich sehe schon die Idee mit 2 Parity auf 4 Datenfestplatten (also ein Verhältnis von 1:2) für Daten im Privatbereich nur wegen der Ausfallsicherheit als ... etwas viel an.

Ich habe auch 2 Parityfestplatten, aber die sichern dann auch aktuell 24 und später 28 Datenfestplatten im Array ab.

 

Wenn man bei so wenigen Datenfestplatten eine Parity für die Ausfallsicherheit und dazu noch halbwegs aktuelle Backups hat und die auch ab und zu auf Korrektheit prüft, ist das schon viel und im Privatbereich überwiegend ausreichend.

 

Ich bin nicht allwissend, aber kann mir eben nicht vorstellen, welche unwiederbringlichen privaten Daten da drauf sein könnten, die eine so hohe Ausfallsicherheit benötigen, daß man es nicht verschmerzen kann, daß beispielsweise das einizige Video der Geburt/Hochzeit/Kindergeburtstag nicht 24/7 jede Skeunde zu sofort aufrufbereit vorhanden sein muß.

Das ein Einspielen eines Backups ein bisschen Zeit in Anspruch nimmt ist mir klar, aber welcher Schaden entsteht im Privatbereich, wenn man mal einen Tag lang nicht auf diese Daten zugreifen kann, weil man gerade eine 20TB Festplatte wieder einspielt?

 

Okay, wenn man da in irgendeiner Weise berufliches drauf hat und ein Ausfall des Systemes dennoch die Bezahlung einer 30 köpfigen Mannschaft beim Däumchendrehen nach sich zieht, dann macht es Sinn.

Auch wenn die komplette Steuerung und Kontrolle des Beatmungsgerätes der Oma im Haus dran hängt: kann macht es Sinn.

 

Wenn aber nur das eine oder andere Blockbustervideo oder Spieleimage drauf liegt und ein Ausfall nicht gleich eine Raserei nach sich zieht, in der der wutentbrannte Betrachter mit einer Axt durch die Bude rennt und alles umhaut, was in 2m Entfernung ist, dann ist es doch ein recht hohes Bedürfnis an Ausfallsicherheit/Dauerbetriebsfähigkeit.

 

5 hours ago, Cramp4600 said:

Ja genau das ist der Punkt wo fängt man an und wo hört man auf weil es die kosten sprengt.

 

Vielleicht sollte man im Auge behalten, welche Kosten durch einen temporären Ausfall entstehen.

Wie gesagt: wenn in der Firma dann eine mehrköpfige Manschaft Däumchen dreht und man denen dennoch pro Person ihren Lohn von xx Euro pro Stunde bezahlen muß: dann ist es sehr sinnvoll eine extrem hohe Ausfallsicherheit einzuplanen und zusätzlich ein mehrstufiges und ggf. sogar extarn geloagertes Backupkonzept umzusetzen. Dann wiegen die Kosten im Ausfalll-falle die Kosten für den Aufwand rechnerisch schnell auf.

 

Im Privatumfeld hingegen sind die Kosten für den nicht mehr vorhanden Betrieb (wegen Ausfall) dann doch eher überschaubar.

Wenn man da für Kumpels kostenlos mit plext oder einen Gameserver betreibt, dann haben die eben mal Pech. Die werden daran nicht sterben.

Wenn man im Haus den Ausfall hat sinkt zwar die Laune der Mitbewohner, aber das ist dann Schicksal.

Dann gehen die eben raus Federballspielen, spazieren oder hängen mit den 'Bros' ab.

 

5 hours ago, Cramp4600 said:

Unraid hängt bei mir an einer USV

 

Die (normale batteriebetrtiebene) USV hilft Dir im Zusammenhang mit dem gewünschten Dauerbetrieb nur bei kurzzeitigem Ausfall. Solange Du da nicht noch ein Dieselaggregat mit großem Tank oder so hast, wird ein längerfristiger Ausfall schon den Serverbetrieb beinträchtigen.

https://de.wikipedia.org/wiki/Münsterländer_Schneechaos#Stromausfall

Die USV wirkt zwar auch bei eben einem kurzen Stromausfall mit (stellt aber auch wieder einen Single Point of Failure dar), ist aber eigentlich eher für die Datensicherheit und nicht die Ausfallsicherheit gedacht.

Mit einer USV wird bei einem Stromausfall über einen längeren Zeitraum bewirkt, daß unraid in einen definierten Zustand herunter fahren kann, weil Daten im RAM sonst bei spontanem Ausfall verloren gehen. Das ist eben dem Design geschuldet, daß unraid auf Linux aufbaut und Linux (per deflaut) vieles im Ram behält und dies ggf. erst nach einiger Zeit irgendwohin schreibt. Und genau dafür ist RAM ja auch da.

 

Und da ich es oben erwähnte, wenn Du den USV Single Point of Failure umgehen willst, brauchst Du eine Server PSU, welche mit 2 oder 3 redundanten Netzteilen über unterschiedliche Stromwege betrieben wird. Dann kan eien USV in einem Stromweg helfen, bis beispielsweise die Notstromversorgung eines anderen Stromweges angesprungen ist.

 

5 hours ago, Cramp4600 said:

und eine Überspannungsschutz

 

Auch hier, was im normalen Haushalt so Uberspannungsschutz genannt wird ist eher für kleinste Spannungsspitzen. und da muß man auch meist etwas weiter denken. Was ist, wenn eine hohe Überspannung auf einem anderen als dem 230V Hausnetzwege zum Computer kommt? LAN per Kupfer hat zwar ein paar "Spannungsabfangende" Bauteile in den Netzwerkanschlüssen, aber bei einem höheren Energiegehalt der Überspannung ist das auch zu überbrücken.

Und was ist mit angeschlossenen Monitoren und deren Signalwegen oder so?

 

5 hours ago, Cramp4600 said:

des weiteren backuppe ich alles wichtige auf einen externen Server.

 

Wofür im Privatumfeld dann die zweite Parity im Array mit nur 4 Datenfestplatten?

 

Du kannst machen, was Du willst, aber eine zweite Parityfestplatte schützt nur gegen Festplattenausfall von eben maximal 2 Festplatten im Array.

Wenn Du Dein System gesamt Ausfallsicher machen willst, mußt Du weit mehr betrachten als nur die 'drehenden Eisen'.

Sollte es Dir hingegen gar nicht um die Ausfallsicherheit des unraidservers gehen, sondern nur um Datensicherheit, tja, dann ist eben ein geeignetes Backupkonzept viel sinnvoller als die Speicherkapazität/Geld in eine 2. Parity zu stecken.

 

 

Wobei ich der Fairneß halber nicht verschweigen will, daß ich auch da etwas extremer unterwegs bin.

Meine mir wichtigen Daten liegen auf Raid6 (aber mit mindestens ca. 10 Festplatten pro Raidverbund), mein großes unraidsysteme hat auch 2 Parity (aber eben für weit mehr Datenfestplatten) und ich habe von (fast) jeder Festplattengröße mindestens eine Coldspare im Regal liegen, um auch über Wochenenden/Feiertage /etc... Probleme ausbügeln zu können.

Aber mein Ziel ist eben die Datensicherheit. Ob das eine oder andere System mal ein paar Tage/Wochen offline ist  ist kein Problem für mich. Hauptsache die Daten überleben.

Beispielsweise hat mein großes unraidsystem schon seit Anfang Dezember '23 einen Ausfall von 20 der 26 Festplatten (wg. den SAS Kontroller). Das Array ist also eigentlich seit fast 1/2 Jahr tot.

Stört es mich: ja.

Ist es wirklich relevant: nein, da ich die Daten eben auch auf mehreren Systemen noch wo anders habe und bisher keine Zeit/Lust aufkam das Thema neu anzugehen.

Ausfallsicherheit ist bei mir zwar wichtig aber nicht so relevant.

Datensicherheit ist mir hingegen extrem wichtig.