Power-Server steht endlich und läuft...einige Fragen offen...


MasterD

Recommended Posts

Hi Zusammen,

 

ich als Unraid-Anfänger habe nun endlich meinen UNRAID Server zum Laufen gebracht und stehe vor der Aufgabe die richtige/passende Einstellung für mich zu finden. Ich weiß das wird noch etwas Zeit in Anspruch nehmen, weil vieles noch nicht so klar ist. Bin in der zweiten Testphase und würde die Einstellungen und Anpassungen gerne vor Ablauf erledigen.

 

Aber mit der Hilfe der Community wird das schon klappen.

Ich denke bevor ich mit meinen Fragen und Problemen anfange ist es besser den aktuellen Ist-Zustand aufzulisten.

 

Folgende Hardware:

2x2690v4 | Gigabyte MW70-3S0 | 256GB DDR4 ECC | 14x MX500 1TB + 2x 860 1TB + 3x Firecuda510 1TB | TAPE | P400 | intel561T 10Gbe | EVGA SuperNova GA750W | Chenbro RM41416 | 5x Arctic P14 PWM PST

 

Folgende Aufstellung:

  • 8x MX500 1TB (2x (4x1TB ZFSRaid1)
  • 5x MX500 1TB einzelne Shares - direkte Disk Zuordnung (inkl. exkl. Disk )

         1x MX500 1TB ist genau heute laut Unraid defekt! 

         und mein 2tes ZFS meldet dass eine SSD Probleme macht! 

  • 3x Firecuda510 1TB einzelne Shares - direkte Disk Zuordnung (inkl. exkl. Disk )

 

ZFS: SMB Extras:

[ZFS_SSD]
path = /ZFS_SSD/
browseable = yes
guest ok = yes
writeable = yes
read only = no
create mask = 0775
directory mask = 0775

-->chmod 777 /ZFS_SSD

 

[ZFS_SSD1]
path = /ZFS_SSD1/
browseable = yes
guest ok = yes
writeable = yes
read only = no
create mask = 0775
directory mask = 0775

-->chmod 777 /ZFS_SSD1

 

___________________________________

 

/boot/config/go:

#!/bin/bash
# Start the Management Utility
/usr/local/sbin/emhttp &

# -------------------------------------------------
# Optimize write cache
# -------------------------------------------------
sysctl vm.dirty_ratio=50
sysctl vm.dirty_expire_centisecs=3000

_____________________________________

 

Schnittstellenbeschreibung:

MAC Adresse:

xx:64:A9:xx:xx:xx

Netzwerkbündelung Aktivieren:

 Nein

Netzwerkbrücke Aktivieren:

 Nein

Netzwerkprotokoll:

 Nur IPv4

IPv4 Adresszuweisung:

 Statisch

IPv4 Adresse:

192.168.2.1

IPv4 Standard Gateway:

  2

Gewünschte MTU:

9014

VLANs Aktivieren:

 Nein

 

 

Bei mir sieht die Aufstellung etwas anders aus, also nicht Unraid typisch...

Mein Wunsch ist es den Server nur mit SSD und NVME zu nutzen. Denke daher benötige ich keinen "Zwischenspeicher" als Cache. 

Als Zwischenspeicher habe ich 50% meines RAMs genommen in der Hoffnung das der auch voll ausgenutzt wird.

Dieses System soll eigentlich nur als Storage und als Testumgebung für weitere Projekte (Monitoring/VMs/etc...) genutzt werden.

Ein Backup der Daten wird separat auf einen anderen Backup-Server durchgeführt.

Es spricht aber nichts dagegen eine interne Sicherung (Parity) irgendwann mal zu integrieren.

 

Folgende Fragen:

 

1. Wieso hab ich beim Kopieren mal 1GB/s und mal 500mb. Hängt das vom ZFS und den einzelnen Shares ab?

Oftmals schwankt es...Ich starte einen Kopiervorgang fängt mit 1GB/s an und fast in der Mitte fällt es dann ab auf 500mb. Das File ist etwa 60GB groß. Testweise auch zwei Dateien kopiert und beide erstmal mit 250mb. Dann pausierte ich eine Datei und der andere lief dann mit 1GB/s komplett durch! Da hätten doch beide 500mb machen sollen...Manchmal läuft der Kopiervorgang komplett mit 1GB/s durch.

Mir kommt es so vor, dass die beiden ZFSraids mit 1GB/s arbeiten und die einzelnen Platten im Array "nur" mit 500mb.

Denke die 128GB Cache vom RAM sollten für größere Kopiervorgänge ausreichend sein.

 

2. ZPOOL: mir ist aufgefallen (zpool status), dass nachdem ich die beiden Pools erstellt hatte .. die Bezeichnung von sdk sdl sdi sdm etc... auf scsi (Nr.) ändert! Wieso ändert Unraid die Bezeichnung und was hat das zu bedeuten?

 

  pool: ZFS_SSD1
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-8A
config:

        NAME                      STATE     READ WRITE CKSUM
        ZFS_SSD1                  ONLINE       0     0     0       

          (sdk) scsi-330014380356ac6e1  ONLINE       0     0     0
          (sdj) scsi-330014380356ac6e8  ONLINE       0     0     0
          (sdl) scsi-330014380356ac6e2  ONLINE       0     0     0
          (sdm) scsi-330014380356ac6ea  ONLINE       0     0     0

errors: Permanent errors have been detected in the following files:

        /ZFS_SSD1/Gamez/<xattrdir>/user.DOSATTRIB

 

--->finde diese Datei(n) nicht! 

 

 

2. Gibt es Einstellungen, die ich vornehmen kann, um die Lebensdauer von SSD's und NMVE's nicht zu "gefährden"?

Hatte mal gelesen, dass nur SSD und NVME Devices mit Unraid nicht empfohlen sind. 

 

 

3. Was spricht gegen eine direkte Zuordnung von Platten auf Shares? Weil mein "Fix Common Problems meldet 

"Share Doku1 is set for both included (disk4) and excluded (disk1,disk2,disk3,disk5,disk6,disk7,disk8,disk9) disks"

"While if you're careful this isn't a problem, there is absolutely no reason ever to specify BOTH included and excluded disks. It is far easier and safer to only set either the included list or the excluded list. Fix it here"

 

Für eine direkte Zuordnung würde eine "direkte" Nutzung sprechen, denn dann wird auch nur diese eine Platte bearbeitet und nicht alle in diesem Array...oder sehe ich das falsch. 

 

 

4. Gibt es eine App oder was anders von Unraid um defekte Platten am Gehäuse bzw. am Festplatteneinschub erkenntlich zu machen. Wie weiß ich genau bei vielen Platten welche jetzt genau herauszuziehen ist. Ok außer ich gehe bei der Erstellung der ZFS und Arrays alles einzeln durch und markiere mir die Cases. Wäre das aber trotzdem irgendwie möglich?

 

 

5. Der Server fährt ordnungsmäßig herunter und dann startet er wieder und bootet. Habt ihr dieses Prob auch mal gehabt? Ich lass ihn herunterfahren schaltet ihn dann mit dem Netzteil aus! Das ist auf Dauer net gesund ....

 

 

 

Denke das reicht für den Anfang...falls ich was unklar erklärt haben sollte habt etwas Nachsicht.

 

THX

MasterD

 

 

Edited by MasterD
Link to comment

Zu 3. Den Hinweis deute ich so, dass es nicht notwendig ist include und exclude zu definieren. Hier würde include disk4 für den share Doku1 genügen. Wahrscheinlich kann die Kombi aus beiden zu Problemen führen wenn man nicht „aufpasst“ und den Share keiner Disk zuordnet… Nur eine Vermutung.

Link to comment

Servus MasterD, da ich nur 2 Platten im Array hab kann ich das nicht nachstellen. Meine Vermutung ist folgende:

Was passiert mit dem Share wenn du aus Versehen jetzt disk4 auch auf excluded setzt? Falls das überhaupt möglich ist.

Ein anderer Ansatz könnte auch das Verhalten sein wenn disk4 voll läuft. Wenn alle anderen disks excluded sind, wohin mit den Daten?

 

oder hier mal nachfragen beim Support für das Plugin.

 

Edited by cz13
Link to comment
21 minutes ago, MasterD said:

Wenn das wirklich damit gemeint ist dann kann ich damit leben... mir gehts halt darum, dass die anderen Platten in ruhe gelassen werden.

 

Ist so. Steht auch in der GUI Hilfe ...

 

Quote

Specify the disks which can be used by the share. By default all disks are included; that is, if specific disks are not selected here, then the share may expand into all array disks.

 

... sowie im Manual:

 

Quote

Included disk(s)

 

The included disks(s) parameter defines the set of disks which are candidates for allocation to that share. All disks may be used by the user share when the Included disk(s) parameter is left blank. Specify the disks to include here. For example, set the included disk(s) to "disk1,disk2,disk3" to allow the share to only use disk1, disk2 and disk3.

 

Link to comment

Man hat bei Inkludieren/Exkludieren einfach beide Möglichkeiten geschaffen. Interessant, bei sehr vielen Disks im Array.

Aber es ist nur eine von beiden Optionen nötig.

Die Disks, die bei Inkludiert nicht angehakt sind, sind automatisch exkludiert.

Jetzt auch noch bei Exkludiert die entsprechenden Disks angehakt, ist einfach "Doppelt-gemoppelt" und unnötig.

Link to comment

ok, es hat also keine negativen Auswirkungen auf Gesundheit und Performance... dann können die 9 Platten so eingestellt bleiben. Ahja die systemeigenen Shares wie Domain oder Appdata sind auf alle verteilt! hmm sollte ich die auch lieber auf eine einzelne packen?

Denke somit wäre Punkt 3 geklärt :) Danke...

 

Link to comment

Hallo @MasterD

9 hours ago, MasterD said:

5. Der Server fährt ordnungsmäßig herunter und dann startet er wieder und bootet.

Hast Du Wake on LAN/ Wake on USB/ Wake on Key/ Wake on Mouse/ Wake on PCIe/ oder etwas ähnliches im BIOS/UEFI eingestellt?

 

9 hours ago, MasterD said:

Habt ihr dieses Prob auch mal gehabt?

Nur, wenn ich einen der Wake on... Zustände aktiviert hatte und von dort auch etwas kam.

Gerade die Mouse neigte bei mir dazu  mal eben um 1 DPI zu wackeln und deshalb den PC spontan wieder aufzuwecken.

 

9 hours ago, MasterD said:

Ich lass ihn herunterfahren schaltet ihn dann mit dem Netzteil aus! Das ist auf Dauer net gesund ....

Ich verstehe nicht, wieso das Stromfrei/am Netzteil ausschalten des PC im heruntergefahrenen Zustand ungesund sein soll.

Link to comment
3 hours ago, DataCollector said:

Hallo @MasterD

Quote

Hast Du Wake on LAN/ Wake on USB/ Wake on Key/ Wake on Mouse/ Wake on PCIe/ oder etwas ähnliches im BIOS/UEFI eingestellt?

Also Wake on Thunderbolt war im Bios an. Aber leider ohne Erfolg...bin weiterhin auf der Suche nach dem richtigen Schalter. Bin schon im Handbuch unterwegs mal schauen ob ich da was anders finde.

 

3 hours ago, DataCollector said:

Nur, wenn ich einen der Wake on... Zustände aktiviert hatte und von dort auch etwas kam.

Gerade die Mouse neigte bei mir dazu  mal eben um 1 DPI zu wackeln und deshalb den PC spontan wieder aufzuwecken.

 

Quote

Ich verstehe nicht, wieso das Stromfrei/am Netzteil ausschalten des PC im heruntergefahrenen Zustand ungesund sein soll.

Wenn ich den Server heruntergefahren habe bleibt er ca. 2-3 Sekunden aus und startet wieder. Ich versuch dann genau in dieser Zeit mit dem NT den Server auszuschalten. 

 

Link to comment
  • MasterD changed the title to Power-Server steht endlich und läuft...einige Fragen offen...

Jetzt findet unraid meine Netzwerkkarte (intel561T) nicht. Unter /boot/config/network.cfg sehe ich die Einstellungen jedoch unter Systemgeräte sehe ich falsche NICs!

 

IOMMU group 85:[8086:1528] 02:00.0 Ethernet controller: Intel Corporation Ethernet Controller 10-Gigabit X540-AT2 (rev 01)

IOMMU group 86:[8086:1528] 02:00.1 Ethernet controller: Intel Corporation Ethernet Controller 10-Gigabit X540-AT2 (rev 01)

 

Das müssten X561T sein...wie kann sich das von selbst ändern? bzw. wie soll ich das anstellen, dass unraid die richtigen erkennt? hmmm....

Ich hab nur einmal die Netzwerkkarte rausgenommen...

 

 

edit: habs jetzt hinbekommen: hab den einfach trot der falschen Meldung unter Netzwerkeinstellungen die richtige IP eingetragen und getestet .... die ZFS_POOLs werden konstant mit 1GB/s versorgt! ...hat wohl irgendwie die Config verloren gehabt!

 

Wenn ich mit der Maus unter Systemgeräte über die X540-AT2 fahre dann kommt diese Meldung:

 

image.png.02e50416b6e531efa3879cb0995ec84b.png 

 

Denke das sollte stimmen oder? 

Edited by MasterD
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.