iSCSI Datenübertragung

[Roach]

Moin zusammen,

ich hab da mal ne frage…

 

Ich habe zwei Unraid Server (nennen wir diese mal „Master“ & „Slave“).

Der Master-Server hat mehr RAM und einen stärkeren Prozessor mit einer NVidia Quadro K5500 zusätzlich fürs transkodieren bei Plex.

Plex ist auf beiden installiert. 
Beide Server sind HP-Modelle:

HP DL380 G8, welche je 4x 1GBit Anschlüsse besitzen.

Jetzt das Problem:

Jeweils 2 dieser Anschlüsse sind direkt mit meinen Storage via iSCSI verbunden.

Das Storage hat zwei iSCSI-Controller verbaut (A & B).

Da ich oft grosse Dateien (*.mkv) verschiebe aufs Storage, ist mir aufgefallen, das beim Verschieben zu Beginn eine Rate von über 500MByte erreicht wird, jedoch nach etwa 15 - 20 Sekunden fällt die Rate unter die Gbit Grenze auf tragische 20-30MByte…

und stagniert auf dieser Geschwindigkeit.

 

Somit dauert das verschieben aufs Storage länger als wenn ich die Datei herunterlade..

Auf dem Masterserver sind 96Gb RAM verbaut. 
So wie ich hier mich durchgelesen hab, kommt die hohe Übertragungsrate wohl vom Schreiben vom Cache ( Cache besteht aus 2x 1TB SSD ) in den RAM.

 

Während der Übertragung vom Server zum Storage sehe ich aber, dass bloss einer der beiden iSCSI-Kanäle verwendet wird. 
obwohl ich zwei „active sessions“ habe (pro Server).

 

Apropo, vom Master Server gehe ich mit eth2 auf Controller A und mit eth3 auf Controller B des Storage‘s…

Natürlich mit fixen IP‘s und pro Controller ein eigenes Subnetz.

 

Bsp: 

Anschluss 1 Server: 172.16.10.10/24

geht auf Storage Controller A: 172.16.10.2/24

Anschluss 2 Server: 172.16.20.10/24

geht auf Storage Controller B:

172.16.20.2/24

 

Mache ich da ein Überlegungsfehler oder wo liegt das Problem mit der Übertragungsrate..?

 

Gruss Roach

[ich777]

2 hours ago, Roach said:

Moin zusammen,

Bitte im Deutschen Bereich Posten, ich hab deinen Thread mal verschoben.

 

2 hours ago, Roach said:

NVidia Quadro K5500 zusätzlich fürs transkodieren bei Plex

Nicht die beste Wahl wenn ich das hier so anmerken darf da die kein h.265 (HEVC) kann.

 

2 hours ago, Roach said:

Jeweils 2 dieser Anschlüsse sind direkt mit meinen Storage via iSCSI verbunden.

Wie hast du das genau gelöst wenn ich fragen darf, mit den erhältlichen Plugins in der CA App?

Hast du die iSCSI als Block devices im Array/Pool/Unassigned Devices

Sind es drehende Festplatten, sprich HDDs oder?

Wenn im Array ist dann eine Parity vorhanden?

 

Kannst evtl. mal deine Diagnostics von einem Server posten bitte?

 

2 hours ago, Roach said:

So wie ich hier mich durchgelesen hab, kommt die hohe Übertragungsrate wohl vom Schreiben vom Cache ( Cache besteht aus 2x 1TB SSD ) in den RAM.

Wieviele Daten verschiebst du und auf welchen Share?

Hast du Use Cache auf Yes?

 

2 hours ago, Roach said:

Während der Übertragung vom Server zum Storage sehe ich aber, dass bloss einer der beiden iSCSI-Kanäle verwendet wird. 
obwohl ich zwei „active sessions“ habe (pro Server).

Bündelung wird vom iSCSI Plugin nicht unterstützt wenn du das verwendest.

[Roach]

Moin ich777,

schön das sich gleich der "Meister" persönlich meldet. Schon mal vielen Dank im voraus.

 

Also, viele Fragen erfordern viele Antworten.

 

Ja das mit der Quadro ist mir sehr wohl bewusst, jedoch bekam ich diese praktisch geschenkt.

Und das Transcodieren ist für mich ein hübsches Nebenbei, da ich ein privates Hi-Fi / Atmos Kino habe

und mein Serverschrank dort stationiert ist, laufen grundsätzlich alle Filme in Originalquali durchs Kino-Netzwerk zum nVidia Shield, welches die Filme abspielt.

Dies ist auch der Grund für die grossen Dateien, da 4K/HDR und verlustfreie Atrmos Tonspuren nun mal seinen Platz benötigen.

 

Das nächste Thema:

Ja ich hab das quasi mit deinem iSCSI Plugin angefertigt.

Das Storage ist ebenfalls ein HP Model, P2000 G3 soweit ich weiss..

Darauf habe ich die letzte Firmware draufgeschmissen, damit es SATA Festplatten >1 TB fehlerfrei erkennt.

Nun sind 12 Stk. WD 4TB Red`s verbaut, welches im RAID 50 konfiguriert ist, der gesammte verfügbare Speicher von rund 40TB ist einmal gesplittet.

Das heisst 18,9 TB für den Master Server und 18,9 TB für den Slave Server.

 

 

Ich habs versucht jedes Laufwerk einzeln einzulesen und als Array zu konfigurieren, jedoch bekam ich immer diverse Laufwerkfehler.

Diese Konfiguration läuft seit mehreren Monaten stabil, ohne Fehler. Falls eine HD hackt, wird mir das Storage dies direkt mitteilen.

Das RAID50-Laufwerk wird via iSCSI im Poolbereich von unRAID gemountet.

 

 

Die UHD`s werden via jDownloader im Cache gespeichert und entpackt.

Die fertigen Dateien werden dann von mir umbenannt und in den entsprechenden Ordner auf dem Storage übertragen.

Meistens sammle ich ein paar Dateien an um dann etwa so 3-5 Filme am Stück zu verschieben,

dabei wird ein Datenvolumen von rund 150 - 200 GB vom Cache auf das Storage verschoben.

 

((( Und NEIN es ist nicht illegal Filme/Serien etc. herunterzuladen in der Schweiz. Solange dies für den privaten Zwecke dient,

was hier der Fall ist. Das weiterverbreiten von Daten ist Strafbar.

Hier im guten helvetischen Ländle, kannst de ziehen ohne Ende. [(Art. 19 Abs. 1 lit. a Urheberrechtsgesetz URG)] )))

 

Die Diagnostic`s könnte ich dir heute Abend noch reinschmeissen...

Ehm, benötigst du das ganze ZIP File, oder nur einzelne Ordner daraus...?

 

Gruss

[Roach]

Ah.. Da ist noch was...

 

Die komplette Hardware,

das heisst das HP Storage und die beiden HP Server konnte ich quasi geschenkt mitnehmen.

Da in unserer Firma diverse Lizenzen und Supportverträge abgelaufen sind, konnte ich diese Hardware mitnehemen.

Bevor sie der Logistiker schwungvoll und im hohen Bogen in die Mulde werfen wollte.

 

Mein Ziel ist eigentlich bloss, das beste aus dieser, zwar eher älteren aber trotzdem immer noch voll funktionstüchtigen Hardware, rauszuholen.

 

Ich hab viel versucht, viel mal gescheitert, oftmals komplett neu angefangen und immer weiterversucht.

Komplett das Konzept geändert bezüglich der Einteilung der Storagefestplatten, Mal hier und da was ausprobiert.

unRAID schon mehrmals komplett neu aufgesetzt.

Ja der Einstieg in die Welt der Linuxsysteme war hart, aber konnte enorm viel lernen.

 

Also bin auch für ein anderes Konzept offen, oder ganz andere Konfigurationsvorschläge...

 

Was auf dem Storage ist, ist zwar nicht gerade Tagesaktuell auf einem BackUp vorhanden, somit könnte man auch darüber diskutieren das Storage andersweitig zu konfigurieren.

Dies nur so als Ergänzung..

 

[ich777]

19 hours ago, Roach said:

schön das sich gleich der "Meister" persönlich meldet. Schon mal vielen Dank im voraus.

Weiß aber nicht ob ich helfen kann.

 

19 hours ago, Roach said:

Ja das mit der Quadro ist mir sehr wohl bewusst, jedoch bekam ich diese praktisch geschenkt.

Okay, ich würd trotzdem überlegen die aus dem System zu schmeißen da die nur "unnötig" Strom zieht, alternative wäre eine Nvidia T400 die bekommst wirklich für kleines Geld, vielleicht bezahlt sich die auch durch den Verkauf der Kepler...

 

19 hours ago, Roach said:

Ja ich hab das quasi mit deinem iSCSI Plugin angefertigt.

Schön mal zu sehen das es wer so benutzt...

 

19 hours ago, Roach said:

Ich habs versucht jedes Laufwerk einzeln einzulesen und als Array zu konfigurieren, jedoch bekam ich immer diverse Laufwerkfehler.

Weißt du noch welche das waren, ungefähr?

 

19 hours ago, Roach said:

in der Schweiz

Um das geht es hier gar nicht...

 

19 hours ago, Roach said:

Ehm, benötigst du das ganze ZIP File, oder nur einzelne Ordner daraus...?

Super wären die ganzen Diagnostics, aber ich vermute das ich nicht viel rauslesen kann.

 

18 hours ago, Roach said:

Ja der Einstieg in die Welt der Linuxsysteme war hart, aber konnte enorm viel lernen.

Freut mich zu hören.

 

18 hours ago, Roach said:

Also bin auch für ein anderes Konzept offen, oder ganz andere Konfigurationsvorschläge...

Also nochmal für mich, du kopierst die Medien, wenn sie noch am Cache liegen auf das "Masterplex" iSCSI Volumen richtig?

Hast du schon mal versucht einen iSCSI Pool auf einem Windows (oder was auch immer dein Betriebssystem deiner Wahl ist) daten auf dein iSCSI Volumen zu kopieren?

 

Bitte beachte aber vorher bitte das du den iSCSI Pool trennst (bzw. bei Unraid das Array stoppst (bewerkt das gleiche), bei iSCSI sollte immer nur ein Comptuer verbunden sein.

 

Ich kann mir nur vorstellen das dein RAID nicht hinterher kommt mit dem Schreiben, ist aber nur eine wage Vermutung da RAID50 eigentlich einen hohen Datendurchsatz haben sollte.