[SOLVED] NAS Testserver als Vorbereitung für was größeres.

[Chrisu]

Hallo ihr lieben

Ich stelle mich kurz vor. Bin ein Ösi , Handwerker aber relativ fit im Googeln wenn es um Probleme geht die ich ohne meine Versuche mit Linux Raspberry Pi oder Unraid nicht gehabt hätte.

Istzustand:   Win 10 Pc 13 Jahre alt Voll Langsam und 13 TB (Filme Programme nicht gesichert)

                    Laptop Lenovo P51 mit 32 GB Ram 3 Disk 500GB,1TB,4TB und 4k Ist meine stärkste Maschine.

                    Raspberry Pi 4 synchronisiert die wichtigen DATEN (4TB) über Nextcloud an Ubuntu Server 20.04 auf beiden Rechnern.

Daher DATEN auf 3 Festplatten immer Synchron + 1 externe 2,5 Zoll 5TB mit DATEN+Image vom Lap bei Mutter.

 

Einsatzzweck:     PC Alltag Surfen am Lap Fotobearbeitung und Videoschnitt in 4K und Bereitstellen der Filme über Plex

Ziel Aktuell:         Mehr Platz und Sicherheit für die 13 TB.

                          Erfahrungen mit Unraid sammeln Win10VM für Alltag die schneller ist als 13 Jahre alter PC.

Ziel langfristig:    Lap bleibt. Unraid ServerNAS 10Gbit mit Platz skalierbar. Ein neuer leistungsstarker PC für Videoschnitt mit USB4 .

                           Daher erst im kommenden Jahr oder später. Ob Windoff10 oder Unraid wird der Test zeigen.

Komponenten:      Vorhanden oder im Zulauf

                           Bord: Gigabyte GA-Z270N-WIFI (1*M.2Slot 6 Sata leider kein ECC)

                           CPU: Intel Pentium Gold G4620 ( iGPU für Unraid)

                           GPU: Nvidia Quadro 4000 (weiterleiten auf die VM)

                          RAM: Corsair Vengeance LPX 16GB, DDR4-3000, CL15-17-17-35 (Kein ECC)

M.2 SSD:              Samsung SSD 970 EVO Plus 1TB

                           Samsung SSD PM961 256GB, M.2 (MZVLW256HEHP)

                           PNY XLR8 CS2130 2TB, M.2 (M280CS2130-2TB-RB)

Sata SSD:            Samsung SSD 850 EVO 250GB

                          SanDisk SSD Plus 480GB

Sata HDD            3*Seagate Backup Plus 14 TB die geschlachtet werden (sollen IronWolf Pro enthalten)

 

Mein Plan:          Array aus den 3 14TB Platten erstellen mit einer Parity Platte nutzbar 28TB.

                        SSD Cache + schneller Speicher für WinVm und den Rest.

                        GPU Durchreichen zur Win10 Vm so das man vernünftig damit arbeiten kann. Wenn das klappt wird der Server der Übergangsrechner.

 

Fragen:             Bis jetzt ein grober Fehler in meinen Überlegungen?

                        Welche SSD für Cache und wie aufteilen?

                        Welches Dateisystem auf dem Array? (XFS Btfs oder ZFS ohne ECC)

 

                        Dass ich viel lesen und lernen muss ist mir klar. Ein fertiges Nas kaufen wäre einfacher aber dann wären wir alle nicht hier.

                        Das es keine optimale Lösung ist ist mir klar daher bin ich bereit sinnvoll zu investieren für die längerfristige Nutzung.

                        Das Ganze soll jetzt einfach mal laufen und den 13 Jahre alten Pc wenn möglich ersetzen.

                        Und aus den Erfahrungen und Fehlern aus der Testphase wird dann der neue PC gebaut.

                        Der Testserver steht  dann in der Ecke und macht einfach was es soll.

                        Daten sicher aufheben und per SMB und Nextcloud und Plex verfügbar machen.

                        Denke das reicht fürs erste.

                        Ich hoffe Ihr unterstützt mich bei meinem Projekt?

                        Mir geht mein Windoff langsam am Sack ich will wieder Herr auf meinem Rechner sein und nicht zwangsbeglückt werden.

Cu und schönen Tag wünscht Chrisu

[mgutt]

1 hour ago, Chrisu said:

Welches Dateisystem auf dem Array? (XFS Btfs oder ZFS ohne ECC)

Das Unraid Array unterstützt kein ZFS. Es gibt aktuell nur ein optionales Plugin, wo man das ZFS RAID per Kommandozeile erstellen kann.

 

Im Unraid Array nutzt man XFS.

 

Ob ein RAID Pool oder ein Unraid Array hängt von deinen Bedürfnissen ab. Die meisten nutzen das Array um Strom zu sparen. Ein RAID erfordert ja sonst immer das Laufen aller Platten.

 

1 hour ago, Chrisu said:

Vorhanden oder im Zulauf

                           Bord: Gigabyte GA-Z270N-WIFI (1*M.2Slot 6 Sata leider kein ECC)

                           CPU: Intel Pentium Gold G4620 ( iGPU für Unraid)

 

Kaufst du die Dinge extra oder besitzt du diese bereits?

 

Es gibt Boards mit 2x M.2 und es gibt auch Boards mit ECC Support. Mit 1x M.2 besitzt dein Cache keine Ausfallsicherheit. Oder willst du 2x SATA SSD für den Cache nehmen?

 

1 hour ago, Chrisu said:

Nvidia Quadro p4000 (weiterleiten auf die VM)

 

Eine P4000 extra kaufen würde ich nicht. Mit einem einfachen BIOS Mod laufen auch Consumer GPUs in einer VM.

 

1 hour ago, Chrisu said:

Corsair Vengeance LPX 16GB, DDR4-3000, CL15-17-17-35

Willst du eine Gaming VM nutzen oder warum so schneller RAM?

 

 

[Chrisu]

Danke dir für die Antwort

Hardware ist vorhanden. 

Bestellt sind nur die 3 Stück 14 TB Platten.

Nvidia Quadro 4000 ist Richtig . ( p war falsch)

Ein wenig zu laut aber als Übergangslösung denke ich ausreichend für die VM. ( Wenn der Server nur mehr NAS ist kommt sie raus)

Cache das ist ja die Frage wie ich das vorhandene am besten einsetzen kann?

Ausfallsicherheit? Wenn die VM am Cache liegt sollen meine erstellten DATEN sofort über Nextcloud wegesichert werden.

Und die Vm aus der Cache SSD  nach der Nutzung am Abend (ca1800-2200 uhr) auf das Array gesichert werden. (Wenn jetzt die SSD im PC den Geist aufgibt ist alles bis zum letzten Image weg.) Der Cache selbst (Schreib Lesespeicher wäre nur einfach vorhanden wenn ich die M.2 nutze.

Was kann er für Daten enthalten die nicht über die Sicherung auf Nextcloud oder über das Bakup auf Array abgesichert sind?

Maximal einen Abend? Oder habe ich jetzt einen Denkfehler ?

Wenn ich am Testende den Server nur mehr als Nas nutze ohne Aktive Win Vm würde ich die GPU entfernen und so eine Kombikarte von Qnap einsetzen die 10Gbit und 2 m.2 Steckplätze bereitstellt.

Es sei den ein neues Mainbord mit diesen Eigenschaften kommt billiger.

Spielen ist kein Thema für mich.

Schön wäre wenn Lightroom laufen würde in der Vm aber dafür ist die Hardware zu schwach vermute ich.

Es ist als Hauptpc in der VM wenn überhaupt ja nur eine Übergangslösung. Jetzt geht es primär um zu lernen und einschätzen zu können ob ich es mir zutraue so ein System auch zu verwalten. Wenn der Test in die Hose geht kommt irgendeine Fertig Nas ins Haus und ein Stinknormaler Windoff PC.

Das Basteln und austüfteln macht mir Spass in begrenztem Umfang. Die Basis des Eigenbau PC läuft seit  13 Jahre problemlos und wurde immer wieder aufgerüstet.

Der NEUE dessen Hardwareanforderungen und Softwareausstattung aus diesem Test hervorgehen soll auch wieder lange nutzbar sein.

Auf ihm sollen die Fotoprogramme und DaVinci Resolve laufen können. Ob das unter Unraid in einer Windows vm möglich ist wird sich erst zeigen.

Es sei den Jemand hier hat Erfahrung damit?

Buget für den Test ist begrenzt auf das was nötig ist um Den Testserver nachher als Nas nutzen zu können.

Wenn ich weis was klappt und was nicht kann ich besser planen was Hardware und Buget betrifft.

Es gibt Videoschnitt PC von 1000 bis 8000 Euro fertig. Das ist nicht machbar und notwendig.

Mit Kosten zwischen 2-3000 Euro rechne ich dann schon

Ich hoffe mit dieser Antwort wird mein Vorhaben für euch klarer.

Cu mfg Chrisu

 

Edited January 9, 2021 by Chrisu

[MartinG]

Servus.

Deine Posts sind nicht einfach zu verstehen.

Du willst Erfahrung Sammeln. Gute Idee.

 

Frage: Warum sollte man ein Betriebssystem virtualisieren, Hardware durchreichen um dann über Netzwerk mit einer unsicheren Darstellung (Farbräume...) Fotos und Videos zu bearbeiten?

Frage: Was soll ein Test mit den genannten Komponenten bringen, sind sie doch eh viel zu schwach für die Anwendung?

Frage: Warum bei Neukauf der Verzicht auf ECC Ram wenn offensichtlich Massen an Daten vorhanden sind und auch weiterhin erstellt werden sollen und eines der langfristigen Ziele Sicherheit ist?

Frage: Warum sollte man mit dem Kauf eines PCs warten, wenn zu erwarten ist daß aktuelle Technik (USB4) auch per Steckkarte nachgerüstet werden kann und es erfahrungsgemäß Monate, wenn nicht Jahre dauern wird bis sich der Standard bei Mainboards durchgesetzt hat und Peripherie überhaupt mal verfügbar ist?

 

Ein schneller aktueller Videoschnitt und Fotobearbeitungs PC hat wenigstens eine 8C16T CPU.

Um einen Zukunftssicheren PC zu haben würde ich sogar eher zu einem Prozessor mit 12 Kernen und 24 Threads greifen.

Vor allem bei Videoschnitt bringt (Abhängig von der Software) jeder weitere CPU Kern eine Verbesserung.

 

 

Beim Umstieg von einem alten PC (Core i5 750 aus "2010) auf einen relativ aktuellen Ryzen 5 3600 (6c12t)/ 16GB / SSDs / nvidia GTX1650s ist mir folgendes aufgefallen:

Lightroom unterstützt aktuelle DirectX 12 Grafikkarten auch im Entwicklungsmodul.

Lightroom unterstützt zwar MultiThreading aber aktuell hauptsächlich beim Export.

Damit die Bearbeitung und die Sichtung schnell läuft ist es wichtig alles auf SSDs zu haben.

Der Unterschied zwischen der GTX 1650s und einer nicht beschleunigenden 0815 Grafikkarte ist immens!

 

Und die vielleicht beste Erkenntnis: Lightroom ist halt einfach auch ein lahmes Programm.

Und es ist vielleicht bequem den Katalog und die Dateien auf dem Server liegen zu haben aber ich sehe sonst eher Nachteile.

 

Meine Meinung: (Ich bin vielleicht ein wenig zu oldchool)

Virtualisierung wird gehyped. Von allen Seiten. Es bringt aber nix. Irgendwo muss die Leistung herkommen.

Warum sollte mein Server, der ständig läuft, mit einer stromfressenden Grafikkarte und zu viel Hardware vollgestopft sein um nur hier und da mal virtualisiert darauf arbeiten zu können?

 

Quote

wenn es um Probleme geht die ich ohne meine Versuche mit Linux Raspberry Pi oder Unraid nicht gehabt hätte.

 

Ganz genau.

Während Du versuchst eine VM als Privatperson mit endlichen Zeitressourcen so hinzubekommen daß Du darauf sauber arbeiten kannst, hast Du Die Workstation schon lange fertig gebaut und installiert und nutzt sie schon.

Mit virtualisierten Betriebssystemen zu arbeiten ist unbequem und manchmal unerklärlich hakelig.

Es kostet wie eine "richtige" Installation Lizenzen und Deine Supportzeit!

Der Support von Programmherstellern ist möglicherweise eingeschränkt:

https://helpx.adobe.com/de/enterprise/kb/technical-support-boundaries-virtualized-server-based.html

 

Verstehe mich nicht falsch. Unraid ist super und Virtualisierung von einzelnen Tools ist auch klasse.

 

Gruß

Martin

 

 

 

[Chrisu]

MartinG Danke dir für deine Antwort und Denkanstöße.

Bezüglich Neukauf es ist bis zu den 14TB Platten alles im Bestand.

Deine Einwände im Punkt Foto und Videobearbeitung verstehe ich und gebe dir recht.

Vermutlich wird es das beste sein die vorhandene Hardware soweit sinnvoll nur als NAS mit 2 Docker Containern ( Nextcloud, Plex) zu nutzen.

Und für den Bereich Videoschnitt etwas komplett eigenständiges auf Win 10 Basis zu machen.

Die Nutzerdaten lokal und das Nas nur als Bakup.

Dein Argument bezüglich abwarten mit Kauf.

Mainbords mit USB 4 wurde für Ende 2020 angekündigt das wollte ich abwarten.

Das die Umsetzung bis am Markt verfügbar solange dauert war mir nicht bewußt.

Jetzt habe ich am alten PC nur Usb 2. Ich wollte nichts bauen was sofort überholt ist und dann erst wieder schnell aufrüsten müssen.

Steckplätze sind begrenzt und alles was das Bord von sich aus kann hilft Erweiterungsmöglichkeiten zu erhalten.

Es ist jetzt eine Test Überlegungs und Planungsphase.

Unraid goggle ich schon ein paar Wochen. Es kommt dir immer wieder unter wenn es um Nas geht.

Seit 2 Tagen auf einem Stick zum testen. Erkenntniss bisher. Es ist viel zu lernen aber bei Windoff stand ich auch mal am Anfang.

Unraid fühlt sich am ersten Blick gut an und scheint eine Zukunft zu haben die bei Hardware umstellungen oder Änderungen am System hilft.

Cu mfg Chrisu

[mgutt]

11 minutes ago, Chrisu said:

nur mehr als Nas nutze ohne Aktive Win Vm würde ich die GPU entfernen und so eine Kombikarte von Qnap einsetzen die 10Gbit und 2 m.2 Steckplätze bereitstellt.

Das setzt voraus, dass du die Treiber dafür findest. Mir sind keine bekannt. Die Karte hat einen speziellen PCIe Controller. Dazu kommt, dass sie nur mit PCIe 2.0 x4 angebunden ist. Also nur 2000 MB/s Bandbreite, die sich auf 10G und 2x M.2 aufteilen. 10G + 1x M.2 hätten also um die 900 MB/s. Bei 2x M.2 sollte es nur noch die Hälfte sein. Da bist du dann also bei SATA Geschwindigkeiten.

 

250 € sind auch eine Ansage. Ein neues B365 Board mit 6x SATA, 2x M.2, darauf ein G5400 und eine 10G Karte kommen preislich auf das selbe. Allerdings nicht ITX, sondern mATX. Was ich aber damit sagen will. Für das Geld dieser einen Karte bekommst du quasi schon einen neuen Rechner.

 

55 minutes ago, Chrisu said:

Ob das unter Unraid in einer Windows vm möglich ist wird sich erst zeigen.

Vom Prinzip geht das alles. Die Frage ist nur eben ob man ein NAS mit potenter Hardware und entsprechendem Stromverbrauch überhaupt (dauerhaft) haben will.

 

Was du mit deiner vorhandenen Hardware aktuell machen kannst:

Wenn die VM möglichst schnell sein soll, würdest du die 2TB M.2, die GPU und einen 1G LAN Port an die VM durchschleifen. Dann hätte die CPU nicht so viel zu virtualisieren und so hast du mehr CPU Leistung für die eigentliche VM. Erklärungen dazu bei Bedarf.

 

Da du nur 3x HDDs einsetzen möchtest, blieben für Unraid, also den NAS-Teil auch noch Ports für einen Dual SATA SSD Cache. Hier könnte dann Nextcloud drauf laufen oder was dir sonst noch an Docker Containern einfällt. Die kleinere SATA SSD begrenzt den Cache auf 250GB. Ob das reicht hängt von deinen täglich transferierten Datenmengen ab. Der Mover bewegt diese Daten dann alle x Stunden auf das HDD Array (einstellbar).

 

Wie potent nun Davinci darin läuft, hängt auch davon ab, ob du eine Lizenz hast. Ohne Lizenz läuft Davinci auf der CPU und wird zusätzlich künstlich gedrosselt. Mit Lizenz kann Davinci die GPU zur Hardwarebeschleunigung nutzen. Auch hängt es von deinem Videomaterial ab. Bekanntlich verursachen Intermediate/Mezzanine Codecs viel weniger Last. Auch Lightroom kann mit einer GPU beschleunigt werden. All das muss man aber verifizieren (Task-Manager und die Quadro GPU Last beim Arbeiten prüfen).

 

 

1 hour ago, Chrisu said:

Wenn der Test in die Hose geht kommt irgendeine Fertig Nas ins Haus und ein Stinknormaler Windoff PC.

In einem Fertig-NAS laufen die HDDs 24/7 in einem RAID. Hier spielt Unraid seinen Vorteil aus, in dem zu 90% des Tages nur die Cache SSDs laufen. Das war für mich der Hauptgrund auf Unraid zu setzen. Andere bevorzugen die Container-Templates, mit dem man zB sehr schnell und einfach so etwas wie Nextcloud zum Laufen bringt. Andere mögen die komfortable Oberfläche für VMs und das Durchschleifen von Hardware. Und natürlich, dass man so ein System aufrüsten und reparieren kann, aber das gilt ja für alle Selbstbau-NAS-Betriebssysteme. Wenn dir der Stromverbrauch egal ist, dann kannst du auch eine DS420j holen. Für Nextcloud ist die absolut ausreichend.

[mgutt]

 

1 hour ago, MartinG said:

Ein schneller aktueller Videoschnitt und Fotobearbeitungs PC hat wenigstens eine 8C16T CPU.

Um einen Zukunftssicheren PC zu haben würde ich sogar eher zu einem Prozessor mit 12 Kernen und 24 Threads greifen.

Vor allem bei Videoschnitt bringt (Abhängig von der Software) jeder weitere CPU Kern eine Verbesserung.

Viele Kerne können einem helfen, aber nutzt man Effekte, die nur von der GPU berechnet werden können, dann ändert man mit vielen Kernen gar nichts. In dem Video spricht er von einem Sweetspot bei 8 Kernen. Dabei gilt es aber zu beachten, dass er "nur" einen 3000er Ryzen getestet hat. Ein Ryzen 7 5800X ist mit seiner hohen Single Thread Leistung eine gänzlich andere Welt. Ich würde also widersprechen. Nimmt man den richtigen 8-Kerner, dann braucht man nicht mehr Kerne. Aber für privat geht auch ein Ryzen 5 5600X mit 6 Kernen. Jeder von denen ist außerordentlich potent:

https://overclock3d.net/reviews/cpu_mainboard/amd_ryzen_5_5600x_review/10

 

 

[Chrisu]

mgutt Danke dir für deine Antwort

Ich denke die Steckkarte ist aus dem Rennen.

Ebenso leistungsstarke Win Vm.

Eine VM auf der man Alltagsaufgaben meistern kann und ein wenig Surfen sollte mit der Hardware umsetzbar sein. (90% der Zeit vorm Pc)

Und wenn es mehr Leistung sein muss gehe ich vorerst noch auf den Lap und in Zukunft auf den NEUEN Schnitt Pc.

Neuer Planansatz laut deiner Empfehlung.

m.2 SSD als VM laufwerk (Welche ist technisch mal abgesehen von der Größe am besten geeignet?)

3 HDD an Sata als Datengrab

Begleitet von 2 Sata SSD als Cache 

Welche 2?

Eine 2 SanDisk mit 480 GB würde ich um 50 Euro bekommen.

Eine 2 850 Evo 250 GB um knapp 100

Oder ist es egal wenn es verschiedene SSD sind?

Im Notfall könnte ich auch die Boot SSD aus dem alten Rechner frei machen das wäre eine 850Evo mit 500 GB und stattdessen die SanDisk dort rein.

Wenn ich das Konzept mit dem Cache richtig verstehe könnte ich zum Datenübertrag auf das Nas am Abend zb per USB 3 Festplatte 250GB auf den Cache kopieren und über Nacht würden die auf das Array verschoben und die Parität berechnet?

Auf jeden Fall wir es klarer.

Ich habe jetzt noch einiges gelesen um Grundlagenwissen aufzubauen.

Ich will verstehen was ich mache nicht nur wo draufklicken weils ein anderer sagt.

Danke schon mal für Eure Mitarbeit

Cu mfg Chrisu

 

 

Edited January 9, 2021 by Chrisu

[mgutt]

4 minutes ago, Chrisu said:

Oder ist es egal wenn es verschiedene SSD sind?

 

Das ist egal. Die kleinere bestimmt nur eben den maximalen Speicherplatz, da der SSD Cache im RAID1 läuft. Du musst einfach mal ausrechnen wie viel Speicherplatz deine "heißen" Daten benötigen. Also die, die dauerhaft auf der SSD liegen sollen, damit das HDD Array gar nicht erst anlaufen muss. Ich habe zB auch meine MP3-Sammlung auf den Cache ausgelagert, da wir hier täglich mehrfach Hörspiele und Musik starten.

 

5 minutes ago, Chrisu said:

Welche ist technisch mal abgesehen von der Größe am besten geeignet?

Auch egal. Selbst das kleinste Modell würde gehen. Für den Videoschnitt würde ich natürlich eine größere nehmen, damit möglichst alle Projektdaten auf der M.2 liegen.