Neuer Ryzen Server - Komponenten Diskussion/Rückfrage


Recommended Posts

1 hour ago, mgutt said:

 

HBA x8

Dual 10G x4

Quad M.2 x16

GPU x2

 

Letzteres wird dich evtl wundern, aber mehr brauchst du weder für eine officetaugliche VM, noch für Transcoding. Selbst beim Gaming ist der Unterschied zwischen x8 und x16 gering.

Bin ich voll bei dir denn ich hatte bei den Boards nicht auf 16er Lanes geschaut sondern die Gesamtportanzahl da kam halt das gleiche bei rum.

Link to comment
On 1/24/2021 at 4:32 PM, MartinG said:

Da ich aber wissen möchte ob die Sache funktioniert bin ich dafür daß Du die AMD Lösung baust und uns stündlich berichtest. :D

 

 

On 1/24/2021 at 6:51 PM, mgutt said:

Genau meine Meinung :D

 

Stunde Null hat begonnen denke aber es gibt erste nächste Woche einen Test weil einige Komponenten grad schlecht lieferbar sind ;-)

Link to comment
9 hours ago, Smolo said:

 

 

Stunde Null hat begonnen denke aber es gibt erste nächste Woche einen Test weil einige Komponenten grad schlecht lieferbar sind ;-)

Ja, bauen muss man das Ding ja auch irgendwann und bis so ein Preclear einer Festplatte durch ist geht auch einiges an Zeit drauf... 36h warens bei mir für eine Toshiba 8TB N300..

Link to comment
31 minutes ago, MartinG said:

Ja, bauen muss man das Ding ja auch irgendwann und bis so ein Preclear einer Festplatte durch ist geht auch einiges an Zeit drauf... 36h warens bei mir für eine Toshiba 8TB N300..

Naja der Server ist ja schnell zusammengebaut ich will aus dem kein Wakü Projekt machen wie bei meinem Desktop. Bei diesem bin ich für eine Demontage/Montage gerne mal 8h beschäftigt. ;-) Die 36h sind mal eine Ansage bei meinem Testsystem habe ich diesbezüglich nichts weiter gemacht das muss ich auf jeden Fall auf die ToDo Liste setzen.

 

Bezüglich "bifurcation" Support habe ich vom ASROCK Rack Support folgende Rückmeldung bekommen:

  • Only PCIE Slot6 is available with Link width [X4/X4/X8] option
  • RB4M2_G4 can only be used in PCIE Slot6
Edited by Smolo
Link to comment
On 1/25/2021 at 1:53 PM, jj1987 said:

Also soweit ich weiß, gibt es noch immer >8TB bei WD nur CMR-Laufwerke.

ABER: Inzwischen ist <12TB Luftgefüllt und nicht mehr Helium.

Meine 4x 8TB MyBooks sind zumindest alle noch CMR+Helium (letzeres lässt sich ja als SMART-Wert auslesen), allerdings auch bereits in Q1+Q2/20 gekauft. Aber wie gesagt, alles was ich in diesem Internet bislang gelesen habe, besagt nur, dass da kein Helium mehr drin ist.

Ja, hast recht, CMR sind sie das stimmt.

 

Bei mir sind die Modelle verbaut

 

 

WDC HGST Ultrastar He10........10TB

WDC HGST Ultrastar He10..........8TB

WDC WD120EMAZ-11BLFA0........12TB

 

Bei der 12 er könnte es sein das diese Luft gefüllt ist. Hatte ich vorher nicht gesehen. 

Wird jetzt aber nicht den großen unterschied machen.

 

Ich bin mit dieser Serie sehr zufrieden und hab trotz Ausbau Garantie auf den Platten.

Link to comment

Also ich habe aktuell zwei 4TB WD Red EFAX SMR Festplatten verbaut und habe keinerlei Probleme.

Auf Anraten von @mgutt habe ich eine solche Festplatte aber nicht als Parity Laufwerk verwendet.

 

Da auf diesen Festplatten zukünftig sowieso dauerhafte Daten wie Musik und Filme gespeichert sein werden sehe ich da überhaupt kein Problem.

 

Allerdings sind meine Festplatten mit dem Standard XFS versehen.

 

Gruß

Martin

Link to comment

Ja die SMR sollte man nicht komplett abhaken. Wer ein richtig leises NAS bauen möchte, dem kann ich dazu sogar nur raten. Die 6TB SMR WD Red war die leiseste Platte, die ich jemals in der Hand gehalten habe. Nur für die Parität sollte man etwas anderes nehmen. Außer man aktiviert TurboWrite, aber dann müssten immer alle Platten laufen, wenn man Dateien hinzufügt.

Link to comment

Kleines Update:

 

Mainboard ist heute gekommen hätte mir echt nicht vorstellen können das ich mal 470€ allein für ein Mainboard hinlege aber was solls schaut schon mal aufregend unspektakulär aus 🙂 Lieferzeit war trotz wenigen Händler und keiner Lagerware nur 3 Tage 🙂

Link to comment

Also System steht jetzt erstmal soweit.

 

Folgende Komponenten

  • CPU: AMD Ryzen 5 5600X (6 Core)
  • Mainboard: ASRock Rack X570D4U-2L2T
  • RAM: 2x32GB Kingston Server Premier DDR4-3200 Dual Rank
  • Netzteil: be quiet! Pure Power 11 400W ATX 2.4
  • Gehäuse: Inter-Tech 4U-4410
  • Cache Drive: 2x Gigabyte Aorus Gen4 SSD 1TB > PCIE 4x und mehr IOPS
  • Parity:  1x Toschiba N300 8TB, SATA 6Gb/s
  • Daten: 1x Toschiba N300 8TB, SATA 6Gb/s
  • CPU Lüfter - Noctua NH-U9S

Konfiguration:

  • Lüfter wurden nur der NT Lüfter und der CPU Lüfter verwendet
  • Ausnahme: ein kleiner Noctua 42x25 für den Mainboard Chipsatz wurde temporär aktiviert (hätte theoretisch 0,5w bei voller Power)
  • Frisches Unraid mit durchgelaufendem Parity Check

Wie wurde gemessen:

  • FritzDect210
  •  Blitzwolf SHP6 mit Tasmota Firmware und auf eine 75w Glühbirne kalibriert
  • Der Blitzwolfadapter wurde in den Dect210 eingesteckt und er benötigt ca. 0,6w
  • Die Messungen wurden 5-10min beobachtet
  • Für den BMC habe ich bei den Differenzberechnung 7,5w verwendet

 

image.thumb.png.efefa90b7a8dc92f46ea3b3568a3237f.png

 

@Ergebnis

Im Spin Down mit BMC liegt das System bei 28-30w wenn wir den BMC abziehen, landen wir bei wahrscheinlich bei 22w im Idle für dieses System. 

Wenn alles läuft mit 10GBE wird das System bei 45w rum liegen was denke ich ganz in Ordnung ist.

 

@Feststellungen

  • Der Chipsatz wird brutal heiß
  • Die Doku vom Mainboard ist überschaubar
  • Den Browser Bios Modus bekomme ich nicht zum laufen
  • Bios Update ging nur über den BMC! Der x5600 konnte nicht booten
  • Powertop auto-tune schiesst das Netwerkinterface auf der Maschine ab

 

Fragen:

  • Lässt sich der BMC deaktivieren? Ich konnte dazu rein garnichts finden.
  • Gibt es noch Tweaks im Unraid um Strom zu sparen?
Link to comment
7 hours ago, Smolo said:

Lässt sich der BMC deaktivieren? Ich konnte dazu rein garnichts finden.

Nein. Leider bei gar keinem Board. Verstehe ich auch nicht, warum da noch keiner auf die Idee gekommen ist einen Jumper zu verbauen.

 

7 hours ago, Smolo said:

Gibt es noch Tweaks im Unraid um Strom zu sparen?

 

- Aktiviere nicht den Advanced Mode bei den Containern (Bug, Docker überwacht sonst auch, wenn die GUI zu ist = Last auf CPU)

- powertop

- im BIOS ungenutzte Komponenten deaktivieren wie zb Audio

 

7 hours ago, Smolo said:

Powertop auto-tune schiesst das Netwerkinterface auf der Maschine ab

 

Dann führe die Kommandos ohne powertop aus. Das spart auf jeden Fall noch.

 

Die Kommandos findest du hier unter Script:

https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/

 

 

Du kannst jeden Block auch über das WebTerminal einzeln ausführen, bis du den gefunden hast, der deine Netzwerkkarte killt. Danach startest du powertop und schaust mit der Tab Taste, welche Komponenten noch auf "Bad" stehen. Poste davon dann einen Screenshot bzw sag welcher Block das Problem war.

 

 

Link to comment
12 hours ago, mgutt said:

Nein. Leider bei gar keinem Board. Verstehe ich auch nicht, warum da noch keiner auf die Idee gekommen ist einen Jumper zu verbauen.

- Aktiviere nicht den Advanced Mode bei den Containern (Bug, Docker überwacht sonst auch, wenn die GUI zu ist = Last auf CPU)

- powertop

- im BIOS ungenutzte Komponenten deaktivieren wie zb Audio

Ist klar und erledigt.

 

Quote

Dann führe die Kommandos ohne powertop aus. Das spart auf jeden Fall noch.

 

Die Kommandos findest du hier unter Script:

https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/

Ja habe ich zwischenzeitlich schon gemacht und die Netzwerkkarte einfach unberührt gelassen.


           Pkg(OS)  |            Core(OS) |            CPU(OS) 0   CPU(OS) 6
POLL        0.0%    | POLL        0.0%    | POLL        0.0%    0.0 ms  0.0%    0.0 ms
C1          0.7%    | C1          1.0%    | C1          1.0%    0.4 ms  1.1%    0.5 ms
C2         99.0%    | C2         97.8%    | C2         98.8%   25.4 ms 96.8%   35.8 ms

                    |            Core(OS) |            CPU(OS) 1   CPU(OS) 7
                    | POLL        0.0%    | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    | C1          0.9%    | C1          0.5%    0.6 ms  1.3%    0.5 ms
                    | C2         98.6%    | C2         98.7%   41.0 ms 98.5%   47.9 ms

                    |            Core(OS) |            CPU(OS) 2   CPU(OS) 8
                    | POLL        0.0%    | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    | C1          0.1%    | C1          0.2%    0.7 ms  0.0%    0.0 ms
                    | C2        100.6%    | C2         99.4%   72.0 ms101.8%  215.1 ms

                    |            Core(OS) |            CPU(OS) 3   CPU(OS) 9
                    | POLL        0.0%    | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    | C1          0.4%    | C1          0.3%    0.7 ms  0.4%    0.3 ms
                    | C2         98.8%    | C2         99.7%   82.4 ms 97.9%  123.7 ms

                    |            Core(OS) |            CPU(OS) 4   CPU(OS) 10
                    | POLL        0.0%    | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    | C1          0.6%    | C1          0.4%    0.7 ms  0.9%    0.2 ms
                    | C2         99.8%    | C2         98.9%   79.4 ms100.7%   45.9 ms

                    |            Core(OS) |            CPU(OS) 5   CPU(OS) 11
                    | POLL        0.0%    | POLL        0.0%    0.0 ms  0.0%    0.0 ms
                    | C1          0.9%    | C1          0.7%    0.6 ms  1.1%    0.4 ms
                    | C2         98.5%    | C2         99.0%   59.7 ms 98.0%   52.8 ms



			Package |             Core    |            CPU 0       CPU 6
3.71 GHz     0.0%   | 3.71 GHz     0.0%   | 3.71 GHz     0.0%        0.0%
2.81 GHz     0.0%   | 2.81 GHz     0.0%   | 2.81 GHz     0.0%        0.0%
2.21 GHz     0.0%   | 2.21 GHz     0.0%   | 2.21 GHz     0.0%        0.0%
Idle         0.0%   | Idle         0.0%   | Idle         0.0%        0.0%

                    |             Core    |            CPU 1       CPU 7
                    | 3.71 GHz     0.0%   | 3.71 GHz     0.0%        0.0%
                    | 2.81 GHz     0.0%   | 2.81 GHz     0.0%        0.0%
                    | 2.21 GHz     0.0%   | 2.21 GHz     0.0%        0.0%
                    | Idle         0.0%   | Idle         0.0%        0.0%

                    |             Core    |            CPU 2       CPU 8
                    | 3.71 GHz     0.0%   | 3.71 GHz     0.0%        0.0%
                    | 2.81 GHz     0.0%   | 2.81 GHz     0.0%        0.0%
                    | 2.21 GHz     0.0%   | 2.21 GHz     0.0%        0.0%
                    | Idle         0.0%   | Idle         0.0%        0.0%

                    |             Core    |            CPU 3       CPU 9
                    | 3.71 GHz     0.0%   | 3.71 GHz     0.0%        0.0%
                    | 2.81 GHz     0.0%   | 2.81 GHz     0.0%        0.0%
                    | 2.21 GHz     0.0%   | 2.21 GHz     0.0%        0.0%
                    | Idle         0.0%   | Idle         0.0%        0.0%

                    |             Core    |            CPU 4       CPU 10
                    | 3.71 GHz     0.0%   | 3.71 GHz     0.0%        0.0%
                    | 2.81 GHz     0.0%   | 2.81 GHz     0.0%        0.0%
                    | 2.21 GHz     0.0%   | 2.21 GHz     0.0%        0.0%
                    | Idle         0.0%   | Idle         0.0%        0.0%

                    |             Core    |            CPU 5       CPU 11
                    | 3.71 GHz     0.0%   | 3.71 GHz     0.0%        0.0%
                    
                    
                    
                    

Power est.    Usage     Device name
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
            100.0%        USB device: Virtual Keyboard and Mouse (American Megatrends Inc.)
            100.0%        USB device: Virtual Hub (American Megatrends Inc.)
            100.0%        USB device: Virtual Cdrom Device (American Megatrends Inc.)
            100.0%        USB device: Cruzer Fit (SanDisk')
            100.0%        USB device: xHCI Host Controller
            100.0%        USB device: Virtual HardDisk Device (American Megatrends Inc.)
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
            100.0%        USB device: USB Keyboard (SIGMACHIP)
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode]
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
            100.0%        PCI Device: Phison Electronics Corporation E16 PCIe4 NVMe Controller
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Switch Upstream
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Cryptographic Coprocessor PSPCPP
            100.0%        PCI Device: Phison Electronics Corporation E16 PCIe4 NVMe Controller
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller
            100.0%        PCI Device: Intel Corporation I210 Gigabit Network Connection
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge
            100.0%        PCI Device: Intel Corporation I210 Gigabit Network Connection
            100.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
             13.9 pkts/s  nic:bond0
             13.0 pkts/s  Network interface: eth1 (igb)
              4.6 pkts/s  nic:br0
              0.0 pkts/s  nic:erspan0
                  20.6 pkts/s  nic:bond0
              8.1 pkts/s  nic:br0
              0.0%        USB device: xHCI Host Controller
              0.0 pkts/s  nic:virbr0-nic
              0.0 pkts/s  nic:sit0
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: xHCI Host Controller
              0.0%        USB device: Virtual Ethernet (American Megatrends Inc.)
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 6
              0.0 pkts/s  Network interface: eth0 (igb)
              0.0 pkts/s  nic:virbr0
              0.0 pkts/s  nic:gre0
              0.0 pkts/s  nic:bonding_masters
              0.0 pkts/s  nic:gretap0
              0.0 pkts/s  nic:docker0
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 4
              0.0 pkts/s  nic:erspan0
              0.0%        USB device: xHCI Host Controller
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Root Complex
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 3
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 1
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse IOMMU
              0.0 pkts/s  nic:tunl0
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Function
              0.0 pkts/s  nic:ip_vti0
                        0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 5
    NaNW     -0.0%        CPU use
              0.0%        runtime-pcspkr
              0.0%        runtime-PNP0C14:00
              0.0%        runtime-PCCT
              0.0%        runtime-IPI0001:00
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 0
              0.0%        I2C Adapter (i2c-3): SMBus PIIX4 adapter port 4 at 0b00
              0.0%        I2C Adapter (i2c-1): SMBus PIIX4 adapter port 2 at 0b00
              0.0%        runtime-platform-framebuffer.0
              0.0%        PCI Device: ASPEED Technology, Inc. ASPEED Graphics Family
              0.0%        I2C Adapter (i2c-2): SMBus PIIX4 adapter port 3 at 0b00
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller
              0.0%        runtime-microcode
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 2
              0.0 pkts/s  nic:ip_vti0
              0.0%        USB device: xHCI Host Controller
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode]
              0.0%        runtime-PNP0C0C:00
              0.0%        PCI Device: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
              0.0%        runtime-alarmtimer
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 7
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP
              0.0%        runtime-serial8250
              0.0%        runtime-AMDI0030:00
              0.0%        runtime-PNP0103:00
              0.0%        runtime-PNP0800:00
              0.0%        PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
              0.0%        I2C Adapter (i2c-0): SMBus PIIX4 adapter port 0 at 0b00
              
              
PowerTOP 2.13     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            
   Good          Runtime PM for port ata4 of PCI device: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode]
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 3
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller
   Good          Runtime PM for PCI Device Phison Electronics Corporation E16 PCIe4 NVMe Controller
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 1
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
   Good          Runtime PM for port ata1 of PCI device: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode]
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse IOMMU
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 6
>> Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Function      
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse Root Complex
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 4
   Good          Runtime PM for PCI Device Phison Electronics Corporation E16 PCIe4 NVMe Controller
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode]
   Good          Runtime PM for PCI Device Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge


>> Disabled      Wake-on-lan status for device eth0                                                                     
   Disabled      Wake-on-lan status for device eth1
   Disabled      Wake status for USB device usb5
   Disabled      Wake status for USB device usb3
   Disabled      Wake status for USB device usb1
   Disabled      Wake status for USB device usb6
   Disabled      Wake status for USB device usb4
   Disabled      Wake status for USB device usb2
   Disabled      Wake status for USB device 3-5
   Disabled      Wake status for USB device 3-1
   Disabled      Wake status for USB device 3-5.4

PowerTOP 2.13     Overview   Idle stats   Frequency stats   Device stats   Tunables   WakeUp                            
    0 mW      0.0%                      Device         runtime-IPI0001:00
    0 mW      0.0%                      Device         PCI Device: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge
    0 mW      0.0%                      Device         PCI Device: ASPEED Technology, Inc. ASPEED Graphics Family
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller
    0 mW      0.0%                      Device         runtime-microcode
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 2
    0 mW      0.0%                      Device         USB device: xHCI Host Controller
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 5
    0 mW      0.0 pkts/s                Device         nic:ip_vti0
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode]
    0 mW      0.0 pkts/s                Device         nic:bonding_masters
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host B
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host B
    0 mW      0.0%                      Device         runtime-alarmtimer
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] Matisse Device 24: Function 7
    0 mW      0.0%                      Device         PCI Device: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP
    0 mW      0.0%                      Device         runtime-serial8250
    0 mW      0.0%                      Device         runtime-AMDI0030:00
    0 mW      0.0%                      Device         runtime-PNP0103:00
    0 mW      0.0%                      Device         runtime-PNP0800:00

 

Quote

Du kannst jeden Block auch über das WebTerminal einzeln ausführen, bis du den gefunden hast, der deine Netzwerkkarte killt. Danach startest du powertop und schaust mit der Tab Taste, welche Komponenten noch auf "Bad" stehen. Poste davon dann einen Screenshot bzw sag welcher Block das Problem war.

Was genau meinst du mit dem WebTermin, das von Unraid? Ich bekomme darüber keine HTML Datei erzeugt?

 

powertop --html=/mnt/cache/powertop.html
modprobe cpufreq_stats failedLoaded 0 prior measurements
RAPL device for cpu 0
RAPL device for cpu 0
Devfreq not enabled
glob returned GLOB_ABORTED
Preparing to take measurements
Segmentation fault

 

?

 

Ergebnis aktuell:

28w war jetzt der Minimum Wert alles im SpinDown und was geht deaktiviert bzw. wo ich weiß das es geht ohne 10Gbe Lan. D.h. schon ganz gut für so ein System. Im Bios weiter zu tweaken da fehlt mir einfach ne Info das Mainboard hat wirklich 100hunderte Settings und natürlich nichts beschrieben 😐 Ansonsten hatten weder PowerTop noch eines der anderen Bios Settings einen merklichen Unterschied keine Ahnung ob das jetzt gut oder schlecht ist?

 

Aktuell hat es leider meine Sensoren in Unraid deaktiviert (IMPI) hast du eine Ahnung was das sein könnte diese sind einfach nicht mehr sichtbar?

Link to comment
1 hour ago, Smolo said:

Was genau meinst du mit dem WebTermin, das von Unraid? Ich bekomme darüber keine HTML Datei erzeugt?

Damit meinte ich die manuelle Ausführung der einzelnen Befehle über das Unraid WebTerminal sie zb den Befehl:

# Enable SATA link power management
for i in /sys/class/scsi_host/host*/link_power_management_policy; do
    echo 'med_power_with_dipm' > $i
done

 

Wenn du das bereits gemacht hast und das legt ja deine "Good" Liste aus Powertop nahe, dann hast du bereits das Maximum ausgeschöpft.

 

Ich sagte dir ja, dass der Chipsatz viel ausmacht. 11W Chipsatz (laut derBauer), 5W IPMI (laut Erfahrungsberichten), 1W 3200 MHz RAM (vs 2400) und 6W 10G (laut Intel bei 1x 10G, bei Dual 11W). Da optimierst du nichts mehr.

 

1 hour ago, Smolo said:

lediglich auf 800mb/s gekommen

Lies mal meinen Guide:

https://forums.unraid.net/topic/97165-smb-performance-tuning/

 

Meine 10G Karte zieht übrigens auch 6W, aber ich rüste jetzt auf SFP+ und DAC Kabel um. Spart 50% Strom.

Link to comment
49 minutes ago, mgutt said:

Damit meinte ich die manuelle Ausführung der einzelnen Befehle über das Unraid WebTerminal sie zb den Befehl:


# Enable SATA link power management
for i in /sys/class/scsi_host/host*/link_power_management_policy; do
    echo 'med_power_with_dipm' > $i
done

 

Wenn du das bereits gemacht hast und das legt ja deine "Good" Liste aus Powertop nahe, dann hast du bereits das Maximum ausgeschöpft.

 

Lies mal meinen Guide:

https://forums.unraid.net/topic/97165-smb-performance-tuning/

 

Meine 10G Karte zieht übrigens auch 6W, aber ich rüste jetzt auf SFP+ und DAC Kabel um. Spart 50% Strom.

 

Du hattest einen i3 mit deinen 20w mit GBE oder?

 

Quote

Ich sagte dir ja, dass der Chipsatz viel ausmacht. 11W Chipsatz (laut derBauer), 5W IPMI (laut Erfahrungsberichten), 1W 3200 MHz RAM (vs 2400) und 6W 10G (laut Intel bei 1x 10G, bei Dual 11W). Da optimierst du nichts mehr.

IMPI sind 7,5w

10G sind <5w  bzw. Dual 6,5w

 

----

 

Was mich grad in den Wahnsinn treibt ist das ich selbst beim Schreiben auf Only Cache aktuell nicht über 35mb/s komme als wenn ich irgendwo eine Bremse eingebaut habe?!

Link to comment
8 hours ago, Smolo said:

Du hattest einen i3 mit deinen 20w mit GBE oder?

19,59W mit i3, 8 HDDs im Spindown, 64GB ECC RAM 2400, 10G LAN, 1TB NVMe und USB Stick. Eine Platte macht 0,54W aus. Also mit 2 HDDs wären es 16,35W.

 

8 hours ago, Smolo said:

IMPI sind 7,5w

10G sind <5w  bzw. Dual 6,5w

 

7.5W für IPMI macht keinen Sinn, weil der AST2500 auf keinem Board einen Kühlkörper besitzt. Es sind eher weniger als 5W. Ich habe ASPEED mal gefragt, weil es online keine Infos dazu gibt.

 

10G zieht Single 6W Single und Dual 11W, siehe Doku auf Seite 1119:

https://www.intel.com/content/dam/www/public/us/en/documents/datasheets/ethernet-x550-datasheet.pdf?asset=12457

 

Offizielle Antwort von ASPEED:

AST2500 power consumption (mean value) is 1.5W, AST2600 is 1.8W.

 

Wobei das im Widerspruch zu meiner Messung des Supermicro Atom Boards steht. Das zog abgeschaltet 4.4W. Ziehe ich 30% Netzteil-Ineffizienz ab, sind es immer noch 3W. Neben dem Chip verbraucht wohl auch noch was anderes Strom. Heise hat damals übrigens auch 4W gemessen (laut Kommentar):

https://www.heise.de/ct/ausgabe/2013-25-Test-Mainboards-fuer-den-Haswell-Xeon-E3-1200-v3-2310524.html

Link to comment

Das ist sehr seltsam ich hatte wie gesagt im Offline Modus 6,5 bis 7,5w? Dafür aber weniger Verbrauch mit den eingeschalteten 10g LAN.

 

D.h. aktuell ein Unterschied von <10w im Vergleich zu deinem System den Speicher muss man ja auch noch abziehen. Wäre wirklich interessant wie das System mit einem B550 da steht und wieviel die CPU jetzt zieht.

 

Hast du einen Tip wegen meinem Netz Problem mit den 35mb/s auf das Cache Laufwerk?

Link to comment
52 minutes ago, Smolo said:

Offline Modus 6,5

 

Hat das BIOS eine ErP Option? Damit werden alle Ports deaktiviert, wenn das Board runterfährt. Dann sollte wirklich nur das BMC noch an sein. Ich vermute einfach, dass da wie bei mir sonst deutlich mehr als nur der IPMI Chip aktiv ist.

 

54 minutes ago, Smolo said:

Dafür aber weniger Verbrauch mit den eingeschalteten 10g LAN.

 

Wo? In der Tabelle sehe ich 26,88W mit 10G und ohne 22,1W. Das spricht dafür, dass der 10G Controller selbst bei den 22,1W noch Strom zieht. Hattest du mal versucht die LAN-Ports über das BIOS vollständig zu deaktivieren? Wobei das nicht zwangsläufig den Controller lahmlegen wird. Jedenfalls zieht meine 10G Karte 3W und wenn ich ein Kabel verbinde, dann noch mal 3W.

 

57 minutes ago, Smolo said:

Hast du einen Tip wegen meinem Netz Problem mit den 35mb/s auf das Cache Laufwerk?

 

Wohin kopierst du? Auf //tower/sharename? Kopier mal testweise auf //IP/sharename und auf //tower/cache (dafür müssen Disk Shares müssen aktiviert werden). Steht aber beides in meinem Guide, wobei ich selbst ohne Tuning nie so eine schlechte Übertragungsrate hatte. Hast du evtl in Linux den Schreibcache deaktiviert?

Link to comment
12 hours ago, mgutt said:

 

Hat das BIOS eine ErP Option? Damit werden alle Ports deaktiviert, wenn das Board runterfährt. Dann sollte wirklich nur das BMC noch an sein. Ich vermute einfach, dass da wie bei mir sonst deutlich mehr als nur der IPMI Chip aktiv ist.

 

Natürlich nicht bzw. hab ich nichts dergleichen gefunden. 😞

 

Quote

 

Wo? In der Tabelle sehe ich 26,88W mit 10G und ohne 22,1W. Das spricht dafür, dass der 10G Controller selbst bei den 22,1W noch Strom zieht. Hattest du mal versucht die LAN-Ports über das BIOS vollständig zu deaktivieren? Wobei das nicht zwangsläufig den Controller lahmlegen wird. Jedenfalls zieht meine 10G Karte 3W und wenn ich ein Kabel verbinde, dann noch mal 3W.

 

 

Wohin kopierst du? Auf //tower/sharename? Kopier mal testweise auf //IP/sharename und auf //tower/cache (dafür müssen Disk Shares müssen aktiviert werden). Steht aber beides in meinem Guide, wobei ich selbst ohne Tuning nie so eine schlechte Übertragungsrate hatte. Hast du evtl in Linux den Schreibcache deaktiviert?

 

Alles probiert ohne Erfolg.

 

Ich bin genervt schraube jetzt schon zwei Tage an dem Mist rum 😐 aktuelle Erkenntnis > BIOS BMC Self Test failed daher wird das IPMI auch nicht mehr laufen. Das Mainboard zeigt im Bios auch keine Sensoren mehr an. Leider ist neu flashen nicht möglich weil ASROCK Rack keine für den AT2500 aktuell keine Firmware bereitstellt 😞

 

Nach x versuchen habe ich heute das Bios Reset und einen Neustart versucht und noch mal zwei Neustarts später hatte ich wieder 117mb/s auf der 1Gb Strecke. Und jetzt festhalten, ich habe die 10Gb Adapter deaktiviert und plötzlich sind wieder nur 36mb/s drinnen.

 

In das AMI Remote Bios komme ich ebenfalls nicht per WebInterface rein...es nervt und das für so einen Preis 😞

 

Anfragen zum Support sind raus mal gucken was als Antwort kommt. Alternative denke ich grad über ein B550 Board nach.

B550 AORUS MASTER (rev. 1.0) Key Features | Motherboard - GIGABYTE Global

> Das Board hat wengistens gleich 3 m.2 Plätze mit 2 Lan Anschlüssen gibt es eines. Soll ich bei den B550 Boards noch auf was achten?

 

Frage ich dachte der B550 hat kein PCIE4? Laut dem Mainboard aber schon?

Link to comment
33 minutes ago, Smolo said:

Frage ich dachte der B550 hat kein PCIE4

Wurde nachträglich auch bei B550 freigeschaltet.

 

Aber wie schafft der B550 drei M.2 bei so wenig Lanes?

 

EDIT: ok, der teilt die Bandbreite von einem x16 auf x8 + 2x x4 für NVMe auf. Die dritte NVMe ist direkt an der CPU. Außerdem ersetzen 2x SATA einen PCIe x4 Slot:

 

IMG_20210203_013432.thumb.jpg.abef588d3f70bcab4f97519f7ff9be4f.jpg

 

Damit bliebe dir noch ein x8 und ein x4 (für 10G) übrig. Oder du installierst in dem x4 Slot später eine 5-fach SATA Karte und verzichtest auf die 2 SATA Buchsen. Dann hättest du 4+5. Auch der WiFi Slot könnte für 2x SATA genutzt werden (wäre nur was Gebastel).

 

Schade, dass es sowas nicht als mATX gibt, weil schlussendlich hat man ja eh nicht mehr als zwei PCIe Slots übrig.

 

Ob das nun zu den sparsamen B550 Board gehört... Musst du dann rausfinden ^^

 

Link to comment

So grad noch mal getestet wenn ich die 10G Ports deaktiviere bekomme ich auf dem 1G Port nur noch 35mb/s Durchsatz...wer denkt sich sowas aus 🙄

 

Bezüglich der Rechnung hab ich grad mal überlegt:

  • 10G Lan
  • SATA Port Erweiterung (min. 8 SATA)
  • Grafik
  • Optional Bifurcation 16x PCIE4 für NVMe

Mit dem B550 von Gigabyte wären es dann folgende Varianten

 

1) Bifurcation

  • 10G Lan
  • dGPU
  • 5x NVMe
  • > nur 4 SATA Ports

 

2) SATA Variante

  • PCIE4x Sata Adapter = 8/9 SATA Ports
  • 10G LAN
  • dGPU
  • 3xNVME
  • > kein Bifurcation

 


Im Gegensatz zur aktuellen Varianten:

image.thumb.png.4c93334459217d25b5c5e183b0c6961a.png

1) Bifurcation

  • 5x NVMe (oder 6 dann aber nur 8 SATA )
  • 8 bis 12x SATA
  • 10G
  • > Keine dGPU

2) dGPU

  • 8 SATA
  • 5 NVME
  • dGPU
  • 10G

 

3) dGPU

  • 12(13)x Sata (SATA Erweiterung)
  • dGPU
  • 10G
  • 2x NVME

 

4) dGPU mit Dual m.2 Karte (jeweils pcei x8)

  • 8 / 12 (SATA Erweiterung)
  • dGPU
  • 10G
  • (4x) / 3x NVME
  • Je nach dem ob ich lieber 4 zusätzliche SATA  oder eine zusätzliche NVMe Möglichkeit nutzen möchte

 

Ich glaube da muss ich noch mal auf die Suche gehen...ist das kompliziert. Ein zusätzlicher 8xPCIe am Bus und alles wäre gut. 

 

Edit sagt:

Ich brauche eigentlich keine Möglichkeit für Bifurcation mit 4xNVME, es sollte auch eine 2fache Variante ausreichen, um den Cache Redundant zu gestalten und im Array noch Platz für NVME für schnellen lesenden Zugriff zu haben. Alternativ wäre dann natürlich auch die Möglichkeit SATA SSDs zu verwenden je nach Wunsch.

 

Ich werde mich mal nach einem Board mit B550 umschauen bei dem ich die Variante 4 fahren kann.

Edited by Smolo
Link to comment

Zwei Varianten passend zum B550 AORUS MASTER:

 

Variante A

Wenn 2x M.2 reicht, kannst du beim B550 AORUS MASTER das einbauen:

http://www.iocrest.com/index.php?id=2070

1597723166425236.jpg.5c4cff01235ad4f4494a90dbbaf2a54c.jpg

 

Dann hättest du 11x SATA und 2x M.2. Durch SATA4+5 wird ein PCIe x4 Slot deaktiviert und dir bleiben noch ein x4 Slot für 10G und ein x8 für eine dGPU.

 

Variante B

Du verzichtest auf SATA4+5 und baust diese Karte ein, so dass du auf 9x SATA kommst:

http://www.iocrest.com/index.php?id=2067

1597723106260232.jpg.1adc11d64a780fbad733e2b219de9ba9.jpg

 

Du kannst 3x M.2 verbauen, wodurch x16 auf x8 fällt. Dort kommt die dGPU rein. Der freie x4 Slot wäre für die 10G Karte.

 

In beiden Fällen könnte man noch das (mit einem Verlängerungskabel) in den Wifi Slot einbauen:

http://www.iocrest.com/index.php?id=2275

1598959087400112.jpg.e9cb1a96f3acaba9d936edaa5a6f8d64.jpg

 

Wenn der Stromverbrauch wichtig ist, würde ich übrigens keine 10G RJ45 Karte verbauen, sondern eine SFP+ Karte wie diese:

https://geizhals.de/intel-x710-da2-x710da2blk-a1163659.html

 

Mit DAC Kabeln im Dual Port (!) gerade mal 3.3W:

565757937_2021-01-2717_05_07.png.c25aa18ef5dec524a1391726566845ef.png

 

Mach dir keinen Kopf, wenn die im x4 Slot steckt. x4 sind immer noch 4000 MB/s, also doppelt so viel wie 2x 10G benötigen. Und dass die dGPU nur x8 hat, ist auch egal:

https://www.gamersnexus.net/guides/2488-pci-e-3-x8-vs-x16-performance-impact-on-gpus

  • Thanks 1
Link to comment

@mgutt

Du bist echt der beste man könnte meinen du arbeitest bei Unraid 🙂

 

Ich habe grad Rückmeldung vom ASRock Support gestoßen und ich habe da einen Fehler im AMD Chipsatz gefunden 😱 Hier die Antwort vom Support:

 

Quote

We found that when we tested iperf in Ubuntu, we did find that the network speed was only 1/3,in win10 test iperf, the network speed is normal,this issue will also occur when using the official AMD motherboard.

 

We found that the problem is caused by AMD's AGESA Combo, and have informed AMD to fix this issue as soon as possible.

 

  • Thanks 1
Link to comment

Also der Support von ASRock ist wirklich auf zack. Ich habe heute ein Preview Bios bekommen und das IMPI / Sensoren funktionieren wieder korrekt. Wenn jemand grad BIOS von ASRock benötigt ich hab da den FTP Zugang da liegt alles rum was auf der Homepage fehlt. 😱

 

Ich hab grad noch mal deine Varianten geprüft aber das scheint nicht zu funktionieren:

 

2xNVME Adapter = x8

5xSATA Adapter = x4

10G LAN = x8

dGPU = x8

 

Bei den Lan Karten habe ich bis auf zwei spezielle Varianten nichts mit x4 gefunden die waren alle 8x? Die NVME Adapter brauch auch alle samt 8x wenn da zwei NVMEs drauf sollen.

 

Das B550 AORUS MASTER hat zwar 3x16 mechanische PCIe aber die unteren sind nur x4 elektrisch angebunden. D.h. wenn ich an der CPU den x8 + 2x NVME nehme habe ich unten (2x) x4 zur Verfügung das reicht weder für dGPU oder LAN fliegt dann raus oder sharen die neuen PCIe Karten auch die Ports so das ich unten trotzdem x8 Karten reinschieben kann?

 

Das Gigabyte B550 Vision D hat (2x) x8 und (1x) x4 dafür dann aber wieder nur 1xNVME d.h. der B550 ist da einfach limitiert. 

 

Bei den x570 Boards gibt es übrigens nur ein einziges das an die Ausstattung von meinem aktuellen MB ran kommen würde, ASUS Pro WS X570-Ace dieses hat nämlich (3x) x8 PCIE bzw. einer davon x16. Das ist mir für ein Experiment jetzt aber auch zu viel des guten d.h. ich würde mir hier nur den BMC einsparen hätte aber mehr kosten mit den Adaptern.

 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.