Everything posted by Roach
-
iSCSI Datenübertragung
Ah.. Da ist noch was... Die komplette Hardware, das heisst das HP Storage und die beiden HP Server konnte ich quasi geschenkt mitnehmen. Da in unserer Firma diverse Lizenzen und Supportverträge abgelaufen sind, konnte ich diese Hardware mitnehemen. Bevor sie der Logistiker schwungvoll und im hohen Bogen in die Mulde werfen wollte. Mein Ziel ist eigentlich bloss, das beste aus dieser, zwar eher älteren aber trotzdem immer noch voll funktionstüchtigen Hardware, rauszuholen. Ich hab viel versucht, viel mal gescheitert, oftmals komplett neu angefangen und immer weiterversucht. Komplett das Konzept geändert bezüglich der Einteilung der Storagefestplatten, Mal hier und da was ausprobiert. unRAID schon mehrmals komplett neu aufgesetzt. Ja der Einstieg in die Welt der Linuxsysteme war hart, aber konnte enorm viel lernen. Also bin auch für ein anderes Konzept offen, oder ganz andere Konfigurationsvorschläge... Was auf dem Storage ist, ist zwar nicht gerade Tagesaktuell auf einem BackUp vorhanden, somit könnte man auch darüber diskutieren das Storage andersweitig zu konfigurieren. Dies nur so als Ergänzung..
-
iSCSI Datenübertragung
Moin ich777, schön das sich gleich der "Meister" persönlich meldet. Schon mal vielen Dank im voraus. Also, viele Fragen erfordern viele Antworten. Ja das mit der Quadro ist mir sehr wohl bewusst, jedoch bekam ich diese praktisch geschenkt. Und das Transcodieren ist für mich ein hübsches Nebenbei, da ich ein privates Hi-Fi / Atmos Kino habe und mein Serverschrank dort stationiert ist, laufen grundsätzlich alle Filme in Originalquali durchs Kino-Netzwerk zum nVidia Shield, welches die Filme abspielt. Dies ist auch der Grund für die grossen Dateien, da 4K/HDR und verlustfreie Atrmos Tonspuren nun mal seinen Platz benötigen. Das nächste Thema: Ja ich hab das quasi mit deinem iSCSI Plugin angefertigt. Das Storage ist ebenfalls ein HP Model, P2000 G3 soweit ich weiss.. Darauf habe ich die letzte Firmware draufgeschmissen, damit es SATA Festplatten >1 TB fehlerfrei erkennt. Nun sind 12 Stk. WD 4TB Red`s verbaut, welches im RAID 50 konfiguriert ist, der gesammte verfügbare Speicher von rund 40TB ist einmal gesplittet. Das heisst 18,9 TB für den Master Server und 18,9 TB für den Slave Server. Ich habs versucht jedes Laufwerk einzeln einzulesen und als Array zu konfigurieren, jedoch bekam ich immer diverse Laufwerkfehler. Diese Konfiguration läuft seit mehreren Monaten stabil, ohne Fehler. Falls eine HD hackt, wird mir das Storage dies direkt mitteilen. Das RAID50-Laufwerk wird via iSCSI im Poolbereich von unRAID gemountet. Die UHD`s werden via jDownloader im Cache gespeichert und entpackt. Die fertigen Dateien werden dann von mir umbenannt und in den entsprechenden Ordner auf dem Storage übertragen. Meistens sammle ich ein paar Dateien an um dann etwa so 3-5 Filme am Stück zu verschieben, dabei wird ein Datenvolumen von rund 150 - 200 GB vom Cache auf das Storage verschoben. ((( Und NEIN es ist nicht illegal Filme/Serien etc. herunterzuladen in der Schweiz. Solange dies für den privaten Zwecke dient, was hier der Fall ist. Das weiterverbreiten von Daten ist Strafbar. Hier im guten helvetischen Ländle, kannst de ziehen ohne Ende. [(Art. 19 Abs. 1 lit. a Urheberrechtsgesetz URG)] ))) Die Diagnostic`s könnte ich dir heute Abend noch reinschmeissen... Ehm, benötigst du das ganze ZIP File, oder nur einzelne Ordner daraus...? Gruss
-
iSCSI Datenübertragung
Moin zusammen, ich hab da mal ne frage… Ich habe zwei Unraid Server (nennen wir diese mal „Master“ & „Slave“). Der Master-Server hat mehr RAM und einen stärkeren Prozessor mit einer NVidia Quadro K5500 zusätzlich fürs transkodieren bei Plex. Plex ist auf beiden installiert. Beide Server sind HP-Modelle: HP DL380 G8, welche je 4x 1GBit Anschlüsse besitzen. Jetzt das Problem: Jeweils 2 dieser Anschlüsse sind direkt mit meinen Storage via iSCSI verbunden. Das Storage hat zwei iSCSI-Controller verbaut (A & B). Da ich oft grosse Dateien (*.mkv) verschiebe aufs Storage, ist mir aufgefallen, das beim Verschieben zu Beginn eine Rate von über 500MByte erreicht wird, jedoch nach etwa 15 - 20 Sekunden fällt die Rate unter die Gbit Grenze auf tragische 20-30MByte… und stagniert auf dieser Geschwindigkeit. Somit dauert das verschieben aufs Storage länger als wenn ich die Datei herunterlade.. Auf dem Masterserver sind 96Gb RAM verbaut. So wie ich hier mich durchgelesen hab, kommt die hohe Übertragungsrate wohl vom Schreiben vom Cache ( Cache besteht aus 2x 1TB SSD ) in den RAM. Während der Übertragung vom Server zum Storage sehe ich aber, dass bloss einer der beiden iSCSI-Kanäle verwendet wird. obwohl ich zwei „active sessions“ habe (pro Server). Apropo, vom Master Server gehe ich mit eth2 auf Controller A und mit eth3 auf Controller B des Storage‘s… Natürlich mit fixen IP‘s und pro Controller ein eigenes Subnetz. Bsp: Anschluss 1 Server: 172.16.10.10/24 geht auf Storage Controller A: 172.16.10.2/24 Anschluss 2 Server: 172.16.20.10/24 geht auf Storage Controller B: 172.16.20.2/24 Mache ich da ein Überlegungsfehler oder wo liegt das Problem mit der Übertragungsrate..? Gruss Roach