Neuer Medienserver / Datenserver auf Basis von Unraid & zweiter unRaid Server


Pixelpaule

Recommended Posts

On 12/9/2020 at 6:52 PM, mgutt said:

Hier wird beschrieben wie man die iGPU in Plex nutzbar macht und ich denke das sollte auf Emby übertragbar sein:

https://forums.unraid.net/topic/77943-guide-plex-hardware-acceleration-using-intel-quick-sync/

Hey, danke für die Info. Bin den Guide mal durchgegangen und läuft auch alles. Die Windows VM werde ich wahrscheinlich garnicht mehr benötigen da ich für alles jetzt soweit Docker Apps gefunden habe. Aber mal sehen wo für man Sie noch gebrauchen kann. Grafikkarte habe ich in der Windows VM jetzt garnicht mehr aktiviert da ich sie ja eh nur per Remote App nutze. Ich sehe mir später noch den Emby Guide an, einfach mal um zu schauen was die dort spezielles noch so gemacht haben.

 

Das einzige was mich etwas wunder ist der Stromverbrauch. Bin da von etwas anderen Werten ausgegangen. Hatte mir da erst nen System rausgesucht was bei elefacts.de empfohlen wurde. Mal sehen ob man da noch was optimieren kann?!

 

 

Link to comment
On 12/3/2020 at 10:49 AM, mgutt said:

Ich persönlich halte nicht viel von der 10ten Intel Generation:

Ich sagte ja, dass die 10te Generation nicht so effizient zu sein scheint.

 

Aber womit (genaues Modell) hast du überhaupt den Verbrauch gemessen?

 

Liefen die HDDs? Wie viele HDDs?

 

Im BIOS solltest du CEC2019 aktivieren und wenn nicht benötigt, Audio deaktivieren. LEDs natürlich auch aus.

 

Ebenfalls wichtig ist powertop:

https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/

 

 

Link to comment

@mgutt Vielen Dank für deine Antwort. Also ich hab jetzt mal versucht das ganze etwas aufzuschlüsseln. Zu folgenden Ergebnissen bin ich da gekommen. Das ganze habe ich mit einem Profitec KD 202 gemessen.

 

310382437_Bildschirmfoto2020-12-16um11_29_35.png.8c0874ad8fa9f270d5665d4566a2fee6.png

 

CSC2019 habe ich in den BIOS Einstellungen leider nicht gefunden. Dein Tutorial mit powertop werde ich mir noch mal ansehen. Du schreibst in deinem Tutorial zu "powertop" das du ca. 24 W mit deinem Server verbrauchst, was hast du denn da für Komponenten im Einsatz?

Edited by Pixelpaule
Link to comment
49 minutes ago, Pixelpaule said:

CSC2019 habe ich in den BIOS Einstellungen leider nicht gefunden.

Das ist komisch, da das seit längerem eigentlich Standard ist bei Gigabyte. Die Einstellung sorgt dafür, dass die Komponenten besonders tiefe Schlafzustände erreichen, was erst den Verkauf in Kalifornien ermöglicht.

 

Beim Vorgänger stand es sgoar noch extra bei den Features:

https://www.gigabyte.com/de/Motherboard/B360M-D3H-rev-10#kf

 

Im BIOS ist das bei Power Management wo auch ErP aufgeführt ist:

1566939774_2020-12-1612_33_26.png.8f9e60e02a7fe08cd9fd714b8c178019.png

 

Wenn die Option bei dir nicht vorhanden ist, musst du alles von Hand einstellen:

1.) Alle CPU C-States aktivieren

2.) C-State Maximum Limit auf C10 stellen

3.) ASPM aktivieren

4.) PEG/PCH/DMI etc weiß ich leider gerade nicht mehr wie das aussah, aber das Ziel ist, dass alles auf "L1" wechseln kann

5.) LEDs aus

6.) Aggressives ALMP aktivieren

7.) Optional: Audio deaktivieren

8.) Optional: Falls vorhanden, nicht benötigte LAN Ports deaktivieren

 

Frag vielleicht auch mal Gigabyte, warum CEC2019 bei den B460 Boards fehlt. Bei den Z490 Boards gibt es diese Option laut Beschreibung, aber nicht laut Anleitung, was auch komisch ist.

 

1 hour ago, Pixelpaule said:

das du ca. 24 W mit deinem Server verbrauchst, was hast du denn da für Komponenten im Einsatz?

Gigabyte C246N-WU2, 2x 32GB ECC RAM, 1TB NVMe, 10x HDD (bei der Messung im Ruhezustand) und 10G Netzwerkkarte. Alleine die Netzwerkkarte macht 6W aus. Die Platten ca 0.5W pro Stück. Außerdem verschwendet mein Corsair SF450 Platinum Netzteil noch mal ca 3W, wie ich mittlerweile durch einen Vergleich mit einer PicoPSU weiß. Allerdings ziehen die Platten beim Booten über 250W, weshalb ich keine PicoPSU einsetzen kann.

 

Aktuell liege ich bei 28W, da ich die NVMe gegen einen IOCrest 5x SATA Adapter ersetzt habe und der keine Schlafzustände unterstützt bzw ich muss noch mal genau analyisieren wie ich die restlichen Onboard-SATA-Ports zum schlafen schicke, ohne dass mir die IOCrest Karte abpfeift.

 

 

Eventuell ist dein Netzteil im Niedriglastbereich auch sehr ineffizient. Leider gibt es so gut wie keine Testergebnisse für sowas. Von hier weiß ich, dass das LC-Power LC420-12 300W recht effizient im Niedriglastbereich sein soll. Eventuell kannst du dir das ja mal für einen Vergleichstest besorgen.

 

1 hour ago, Pixelpaule said:

310382437_Bildschirmfoto2020-12-16um11_29_35.png.8c0874ad8fa9f270d5665d4566a2fee6.png

 

Die SSD verbraucht zu viel, weil sie nicht schlafen kann. Das sollte mit aggressivem ALPM und powertop gelöst werden. Der Verbrauch sinkt dann auf unter 0,5W. Außer da ist ständig Traffic drauf zB wegen eine VM oder so. Aber das siehst du ja in der Unraid Disk Übersicht.

 

Die HDDs verbrauchen viel, weil sie laufen. Die musst du schlafen schicken (Disk Einstellungen in Unraid). Man kann die Disks ja auch manuell herunterfahren. Entweder alle auf einmal unten in der Disk-Übersicht oder links bei jeder Disk auf das Status-Symbol klicken.

 

Für die Verbrauchsmessung stoppst du aber eh am besten das Array und führst die folgenden Befehle über das WebTerminal aus:

mdcmd spindown 0
mdcmd spindown 1
mdcmd spindown 2
mdcmd spindown 3
mdcmd spindown 4
mdcmd spindown 5
mdcmd spindown 6
mdcmd spindown 7
mdcmd spindown 8
mdcmd spindown 9

Also entsprechend der Anzahl der HDDs, die du im Einsatz hast. Die werden dann heruntergefahren. Eventuell musst du die Befehle nach einer Minute wiederholen. Lausch einfach ob wirklich alle HDDs aus sind. Ohne Array ist jedenfalls Docker und VM deaktiviert und du bekommst einen verbindlicheren und stabilen Messwert.

Link to comment

Vielen Dank für die tolle Anleitung. Eventuell komme ich heute dazu das Ganze einmal praktisch durchzugehen. Ich habe vorher aber noch mal ein paar Fragen bezüglich der Festplatten und des Spindown. 

 

In den Einstellungen sind bei mir aktuell alle Festplatten so eingestellt das diese nicht automatisch in den Spindown gehen. Ich denke das ist standardmäßig so in unRaid?!

 

Aktuell habe ich kein Cache Laufwerk eingestellt aber ein paar Docker Container am laufen. Wäre es hier sinnvoll eine SSD als Cache zu nutzen auf der ich nur die VMs (wenn ich mal eine benötigen sollte) und Docker laufen lasse, damit die HDDs in den Ruhemodus fahren können? Kann die Parity Disc eigentlich überhaupt in den Ruhemodus geschickt werden oder muss die immer laufen? Habt ihr eure Server so eingestellt das diese komplett in den Ruhemodus fahren oder nur dass die Festplatten ausgeschaltet werden?

Link to comment
1 hour ago, Pixelpaule said:

In den Einstellungen sind bei mir aktuell alle Festplatten so eingestellt das diese nicht automatisch in den Spindown gehen. Ich denke das ist standardmäßig so in unRaid?!

Korrekt, aber wer will das schon, wenn er Strom sparen will?

 

1 hour ago, Pixelpaule said:

Wäre es hier sinnvoll eine SSD als Cache zu nutzen auf der ich nur die VMs (wenn ich mal eine benötigen sollte) und Docker laufen lasse, damit die HDDs in den Ruhemodus fahren können

Ja, genau mein Anwendungsfall. Mal abgesehen davon, dass eine SSD 10x schneller wieder da ist, wenn sie doch mal schläft und die geringe Latenz und und und...

 

1 hour ago, Pixelpaule said:

Kann die Parity Disc eigentlich überhaupt in den Ruhemodus geschickt werden oder muss die immer laufen?

Die schläft genauso. Die ist nur beim Schreiben aktiv.

 

1 hour ago, Pixelpaule said:

Habt ihr eure Server so eingestellt das diese komplett in den Ruhemodus fahren oder nur dass die Festplatten ausgeschaltet werden?

Bei mir ist der Server 24/7 an, weil ich Docker & Co jederzeit benötige bzw die Dateien auf den Shares wie zb Musik und Filme. Die Platten fahren aber alle runter. Die sind zu >95% am Tag im Standby.

Link to comment
4 hours ago, mgutt said:

Ja, genau mein Anwendungsfall. Mal abgesehen davon, dass eine SSD 10x schneller wieder da ist, wenn sie doch mal schläft und die geringe Latenz und und und...

Okay, ich habe bislang nur HDDs verbaut, da ich aus Geschwindigkeitsgründen bislang keinen SSD Cache benötige. Bei meinem Gigabit LAN komme ich auch ohne ganz gut zurecht. Aber ich würde es dann so machen das ich eine m2 SSD als Cache einbaue und diese dann halt einfach für die Docker Container oder für eine mögliche VM nutze. Muss dann denke ich nur mal über die größere Lizenz nachdenken. ☺️

 

4 hours ago, mgutt said:

Denk dran, dass eine SSD keine Parität hätte. Ich sichere daher regelmäßig die Daten der SSD. Andere nutzen lieber zwei SSDs im RAID1.

Die Daten auf der Cache SSD würde ich dann mit einigen anderen wichtigen Daten von meinem unRaid Server auf mein Synology NAS backupen bis ich eine andere gute Lösung in der Cloud gefunden habe. Denn ich möchte auf jeden Fall noch ein Backup außerhalb meines Hauses haben. 
 

@mgutt Vielen dank mal wieder für die Hilfe!

Link to comment
7 minutes ago, Pixelpaule said:

Okay, ich habe bislang nur HDDs verbaut, da ich aus Geschwindigkeitsgründen bislang keinen SSD Cache benötige.

Für Uploads macht meiner Ansicht nach RAM sogar mehr Sinn. Ich habe zb 64GB RAM und 50% vm.dirty_ratio eingestellt. Dadurch kann ich immer 20 bis 30 GB an Dateien mit 10G hochladen, selbst wenn das Ziel das HDD Array ist und mehr brauche ich nur sehr selten.

 

Ich habe zb die NVMe vor kurzem gegen einen M.2 auf 5x SATA Adapter ersetzt und nutze nun eine SATA SSD als Cache. Dass die Geschwindigkeit dann nach ca 30 Sekunden / 30 GB auf 500 MB/s sinkt, kann ich gut verschmerzen. Wenn es ging, würde ich sofort 128GB RAM verbauen.

14 minutes ago, Pixelpaule said:

Die Daten auf der Cache SSD würde ich dann mit einigen anderen wichtigen Daten von meinem unRaid Server auf mein Synology NAS backupen

Geht auch. Ich kopiere einfach nur 1x pro Tag inkrementell auf eine Array HDD / einen Share, der keinen User besitzt. Das reicht sogar gegen Ransomware.

Link to comment
  • ich777 changed the title to [SOLVED] Neuer Medienserver / Datenserver auf Basis von Unraid

Hallo zusammen, ich möchte die Tage meine m2 SSD in meinen unRaid Server bauen. Aktuell liegen 4 Docker Container im Array. Den Cache nutze ich aktuell noch nicht. Später möchte ich eine zweite m2 SSD als Cache einbauen so dass diese im RAID 1 laufen. 
 

Wie gehe ich am besten vor wenn ich den Cache jetzt nachträglich aktivieren will?
 

Kann ich später die zweite m2 SSD einfach einbauen und in unRaid auswählen und unRaid macht den Rest?

Link to comment
3 hours ago, Pixelpaule said:

Wie gehe ich am besten vor wenn ich den Cache jetzt nachträglich aktivieren will?

 

Docker und VM vollständig über die Einstellungen deaktivieren. Array Autostart deaktivieren. Server herunterfahren. M.2 einbauen. Server starten. Bei den Shares appdata, system und domains den Cache auf "Prefer" stellen. Array starten. Mover starten. Warten bis der Mover fertig ist. Dann über Shares > rechts auf View und schauen ob die Location nun überall auf "Cache" steht. Wenn ja, dann kann Docker und VM wieder gestartet werden. Wenn nein, Logs prüfen.

 

3 hours ago, Pixelpaule said:

Kann ich später die zweite m2 SSD einfach einbauen und in unRaid auswählen und unRaid macht den Rest?

Das weiß ich leider nicht, aber ich vermute, dass man den Cache dann erst mal leeren muss. Also Cache auf "Yes" stellen, Docker/VM deaktivieren und per Mover den Cache erstmal leeren lassen. Nachher, wenn das RAID1 steht, mit "Prefer" wieder rückgängig machen. Ansonsten auch mal das Video schauen:

 

 

 

Link to comment

Hey, danke für deine Anleitung. Ich bin die Schritte mal durchgegangen. Allerdings kann ich im Array keine Disk für den Cache auswählen. Die Option wird mir garnicht geboten. Also in der Übersicht wo ich neue Festplatten hinzufüge oder auch die Parity Disks auswähle ist keine Option für die Auswahl eines Cache Drives. Muss ich da noch irgendwo in den Einstellungen was ändern? In der Übersicht habe ich nur die Option "Add Pool".

 

Edit: Ich glaube ich habe es hinbekommen: Nachdem ich einfach auf Add Pool geklickt habe, wurde mir schon angeboten einen neuen Pool mit dem Namen "Cache" zu erstellen und ich konnte auch auswählen aus wie vielen Slots er bestehen soll. Hier habe ich erst mal 1 gewählt.

 

Bei mir läuft die Version 6.9.0-rc1.

 

 

Edited by Pixelpaule
Link to comment
  • 5 months later...

Hallo zusammen,

 

ich muss das Thema mal wieder aufleben lassen... Durch meine Überlegungen zu meiner Backup Strategie und einem Off-site Backup meiner Daten, möchte ich einen zweiten unRaid Server betreiben. Da auf meinem aktuellen unRaid Server auch meine Blu-ray, Musik und Hörbücher Sammlungen gespeichert sind, kommen hier schon einige Terrabyte zusammen. Für den zweiten Server benötige ich natürlich wieder Hardware, weshalb ich aktuell überlege vielleicht meinen "Haupt" unRaid Server abzuändern und die vorhandene Hardware für den Zweit-Server zu nutzen?! 

 

Aktuell nutze ich folgende Hardware wie in meinen Anfangspost beschrieben:

  • CPU: Intel Core i3-10100
  • Mainboard: Gigabyte B460M D3H
  • Arbeitsspeicher: G.Skill Aegis DIMM Kit 16GB, DDR4-2400, CL17-17-17-39 (F4-2400C17D-16GIS)
  • Netzteil: be quiet! Pure Power 11 CM 400W ATX 2.4 (BN296)

Der zweite unRaid Server soll bei meinen Eltern aufgestellt werden und nur als Backup Lösung dienen. Es werden vielleicht vereinzelte Daten über die Rechner meiner Eltern, auf dem Server gespeichert, aber das wird nicht viel sein. 

 

Die Anforderungen an meinen Hauptserver haben sich eigentlich nicht geändert. Sparsamkeit steht weiterhin an oberster Stelle. Außerdem frage ich mich ob ein zweiter LAN-Port eventuell Sinn macht? Aktuell nutze ich "noch" ein 1 GBit LAN in meinem Haus was ich aber vielleicht mal auf 10 Gigabit abändern möchte.

 

Macht ein SSD Cache Sinn, wenn der Server über Internet als Backup Server genutzt werden soll?


Was würdet Ihr vielleicht abändern?

Link to comment
  • Pixelpaule changed the title to Neuer Medienserver / Datenserver auf Basis von Unraid & zweiter unRaid Server
4 hours ago, Pixelpaule said:

Macht ein SSD Cache Sinn, wenn der Server über Internet als Backup Server genutzt werden soll?

Ich habe eine kleine 256GB SATA SSD verbaut, damit evtl Docker nicht die Platten wecken. Aber da hätten auch eine noch kleinere gereicht. So kleine SSDs bekommt man ja echt günstig. Also bau einfach eine ein. Wenn die steht, verbraucht die quasi nichts. Hast nur eben 30 € rausgehauen ^^

 

Beim Rest hat sich nichts geändert. Ich würde nach wie vor nicht neuer als 10te Intel Generation gehen. Schon die 10te hatte einen leicht höheren Verbrauch. Ab der 11ten ist es aber eine Katastrophe und GVT-g geht damit auch nicht. Und der Rest hängt von der Geldbörse und dem Bedarf ab (ein W480M mit 6-Kern Xeon und ECC RAM ist schon sexy ^^).

Link to comment
On 8/4/2021 at 12:27 AM, mgutt said:

Beim Rest hat sich nichts geändert. Ich würde nach wie vor nicht neuer als 10te Intel Generation gehen. Schon die 10te hatte einen leicht höheren Verbrauch. Ab der 11ten ist es aber eine Katastrophe und GVT-g geht damit auch nicht. Und der Rest hängt von der Geldbörse und dem Bedarf ab (ein W480M mit 6-Kern Xeon und ECC RAM ist schon sexy ^^).

 

Hei,

bzgl. GVT-g & 11th Generation, hast du nicht in diesem Post https://forums.unraid.net/topic/104877-kompatibilit%C3%A4t-zu-intel-gen-11-prozessoren/?do=findComment&comment=1015207 geschrieben, dass durch dieses Plugin auch die 11th Generation unterstützt wird? https://forums.unraid.net/topic/108650-plugin-intel-gvt-g/

Somit dürfte doch hinsichtlich GVT-g nichts gegen die 11th Generation sprechen, oder verstehe ich da vll. etwas falsch?

 

Edited by Happy
Link to comment
1 hour ago, Happy said:

hast du nicht in diesem Post https://forums.unraid.net/topic/104877-kompatibilit%C3%A4t-zu-intel-gen-11-prozessoren/?do=findComment&comment=1015207 geschrieben, dass durch dieses Plugin auch die 11th Generation unterstützt wird?

Das habe ich leider unvollständig erklärt. Der W480 Chipsatz unterstützt ja die 10te und 11te Generation. Das ergänze ich dann noch in dem Beitrag. Danke für den Hinweis.

Link to comment

ok verstehe, danke euch Beiden.

Steht ja auch hier: Do 11th Generation Intel® Processors Support GVT-g Technology?

 

Gibt es außer GVT-g mit der 11th Gen von Intel sonst noch Kompatibilitätseinschränkungen (was ein Wort...) in Verbindung mit UNRAID? Für den IGP Support muss ich Befehle in der syslinux.config hinterlegen, das habe ich z.B. hier gelesen: https://forums.unraid.net/topic/105034-uhd-750-rocket-lake-igp-support/

 

Schlussendlich möchte ich eigentlich nur eine Windows 10 VM aufsetzen, geht das dann überhaupt problemlos bzw. welche Einschränkungen habe ich sonst noch aktuell?

Link to comment
20 minutes ago, Happy said:

Für den IGP Support muss ich Befehle in der syslinux.config hinterlegen

Das geht mittlerweile über das Intel Plugin von ich777 automatisch.

 

20 minutes ago, Happy said:

Schlussendlich möchte ich eigentlich nur eine Windows 10 VM aufsetzen, geht das dann überhaupt problemlos

Ja, aber sie kann eben nicht über die iGPU beschleunigt werden. Die grafischen Bestandteile werden also durch die CPU berechnet. Das ist ok, wenn du nur ein bisschen Office machen willst oder um Software zu testen etc, aber für eine Workstation etc wäre das evtl nachteilig. Natürlich könnte man dafür auch eine separate Grafikkarte verbauen und die an die VM durchschleifen. Die Option hat man ja immer.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.