[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

8 minutes ago, Smolo said:

Was glaubst du woher meine Frage herrührt im Bios VN meinem gibt es dafür keine Option im Gegesant zum x470er Modell und inder Praxis erkennt er bei mir keinen Plattenwechsel. Wenn es bei deinem funktioniert ist das schon arg seltsam von ASRock.

 

Ich versteht was du schreibst, verstehe aber nicht warum. Gibt ja auch keine option bei mir im Bios.

Benutzt du auch 2.08? und was fürn Kernel?

Bei mir ist halt der default Proxmox 5.4er kernel, der ist von denen aber modifiziert.

 

Und von den Bios settings hab ich nur:

CSM -> komplett disabled

IOMMU / SRIOV -> an

Above 4G decoding -> aus

 

Weiter erinner ich mich nicht, muss mal nachschauen, evtl abgleichen.

 

Und blkid/lsblk, evtl partprobe und die rescans aus dem post vorher, alles durchgetestet?

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

15 minutes ago, mgutt said:

Auch das ist totaler Unsinn. Schönen Gruß an die "Alten". Laut Backblaze waren Festplatten nie so zuverlässig wie heute. Was aber auch logisch ist, denn Heliumplatten sind mittlerweile ein ganz anderes Fertigungsniveau als früher die Luftplatten. Die Zeiten einer ST3000DM001 sind schon lange vorbei.

 

Wir hatten in der Firma + Kunden von uns, viele ST4000NM003 ES3 oder ES3.5, erinnere mich nicht mehr so genau.

Jedenfalls ist in den ganzen san's wo die drin waren jede zweite woche eine ausgefallen, manchmal war auch ein raus/reinstecken auch die lösung, aber naja.

Zum schutz von seagate muss ich aber auch sagen, das wir 90% seagate hdd's haben und viellecht 10% WD. Aber nichts destotrotz, die WD's hatten nie nen ausfall. Dann hatten wir später auch gleiches mit 10TB Seagete Festplatten. Aber wie gesagt, sind bei uns eh fast nur Seagete im einsatz. Haben aber ne hohe ausfallrate.

 

Dann hatten wir ein SSD storage beim kunden mit CT2000MX500SSD1, 24stück in nem San. Waren halt billiger in der anschaffung, kunde war geizig

Ausfallrate = jede woche eine

Zum glück hatten wir die bei IM & Mindfactory gekauft, die tauschen aus ohne wenn und aber... Trotzdem haben wir dann später alle gegen 960 Pro getauscht und seit dem ist ruhe, läuft schon seit über nem Jahr und keine einzige defekt

 

Also mit Festplatten, sorry, aber im großen und ganzen fallen sie öfters aus als früher. Haben auch noch teilweise uralt San's mit 500GB 2,5" Hdds am laufen, die seit Jahren dauerbelastet werden (ISCSI für Esxi), kein einziger ausfall seit 15 jahren oder so

Ich glaub wir haben sogar noch einen mit 72GB 15K Hdds von Hitachi, der auch noch läuft ohne ausfälle

 

Egal jedenfalls mit festplatten, sorry aber zu viele schlechte erfahrungen.

Mit SSDs jedoch (glaub nur das die MX500 kake sind, da kann mann auch nicht von schlechter charge reden, weil die alle kaputt waren, inclusive der aus garantie getauschten)

Aber noch kein einzigen ausfall mit Samsung oder Intel gehabt. Haben auch 860 Evo im einsatz, sind auch super. Also nicht alles nur enterprise.

 

Egal, ist aber heutzutage alles halb so schlimm, wegen hot-spare und ZFS usw... Nur der schreibkram und das versenden nervt

 

LG

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

9 hours ago, Smolo said:

 

Ich kenne jetzt nicht genau deine Konfig aber mit deaktiviertem 10G und ohne dedizierte Graka liege ich bei 29-30w. Der 10G Chip macht 5-6w aus. Das ganze übrigens ohne 45w TDP Modus etc. ich könnte mir vorstellen das der Mehrverbrauch bei dir durch Graka, HDDs etc. herrührt.

 

Das ist korrekt 80 Grad sind aber nicht akzeptable. HW darf bei mir nicht heißer als 60-70 Grad im Peak werden dann ist da schon was Faul vom Kühlkonzept.

 

Wie gesagt, ich bin kein Fan vom D4U/D4I oder Asrock im allgemeinen. Das kühlkonzept auf unseren boards ist fürn popo. Der tolle 4Pin ATX anschluss, oh gott... Und dann Support und Bios updates, brauchen wir ja garnicht anzufangen.

Aber finde mal nen itx board mit ipmi+10GBit+X570 .... Deswegen ists halt asrock

 

9 hours ago, mgutt said:

Dieses Märchen hält sich wacker. Belege dazu habe ich noch keine gesehen. Davon abgesehen: In Unraid hat man viel seltener Spinups als bei einem RAID. Ich habe Platten, die gehen 1x pro Tag an (wenn überhaupt). WD garantiert mir 50k davon:

 

Oder sagen wir es so. Bei einem RAID, das alle 15 Minuten ständig alle Platten runter- und wieder rauffährt, könnte das innerhalb von wenigen Jahren tatsächlich ein Problem werden.

 

Das ist cool. Mit einer Nvidia Quadro geht das nicht.

 

Hab das hier mit dem alten server gemacht, passiert ist nichts. Aber wie gesagt, arbeite mit in dem bereich und keiner würde auf die idee kommen das zu machen, oder auch nur in erwägung zu ziehen um strom zu sparen. Also ja, beruht jetzt nicht auf selbstgemachten erkenntnissen, trotzdem würde ich das halt nicht empfehlen.

Ich meine wenn die leute vor mir schlechte erfahrungen gesammelt haben, können wir ja lernen...

Die festplatten haben sich ja auch nicht verändert, höchstens noch billigere komponen drin als früher

Helium und blah und marketing, aber gehen komischer schneller kaputt als früher

 

"Das ist cool. Mit einer Nvidia Quadro geht das nicht."

-> Richtig, soweit ich weis gibts unter linux gar keine andere "funktionierende" lösung außer MxGPU

 

LG

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

9 hours ago, Smolo said:

Das ist allerdings kein Hot Swap. Das die Platte erkannt wird wenn du sie wieder reinhängst ist vollkommen normal. Bei Hot Swap geht es darum eine neue Platte einzusetzen das ist natürlich weniger relevant bei deinem kleinen Gehäuse bei einer großen Konfiguration ist es aber problematisch wenn man zuerst das System Neubooten muss um eine alte Platte ersetzen zu können.

 

Keine Ahnung was du willst, wenn ich ne andere festplatte dran anschließe wird die auch erkannt.

Deswegen der grep vom blkid.

Würde hot-swap nicht gehen, würde es ein haufen fehler geben und linux nichtmal checken das festplatte weg oder wieder da ist (/sys/class, /dev, etc...)

 

Wieso testest du das nicht einfach selbst?

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

Okay, konnte jetzt testen!

Alles im Produktiven betrieb getestet (aka vms sind auf dem ZFS Pool gelaufen, hab aber vorher zur sicherheit backups gemacht)

 

Jedenfalls:

- Im bios gibts nichts zum einstellen, hab alles durchgeschaut, nichts mit hotplug/hotswap dabei.

- Funktioniert aber trotzdem absolut perfekt. (Kein rescan erforderlich oder sonstwas, nichtmal warten ist nötig)

 

SSD einfach rausgezogen -> Linux hat instant erkannt das SSD weg ist. -> ZFS selbst hat aber so 10 Sekunden gebraucht, bis er realisiert hat, das keine platte da ist. -> Also alles perfekt.

 

SSD wieder angeschlossen -> Linux + ZFS haben instant erkannt das SSD wieder da ist -> ZFS hat resilvering gestartet -> Alles perfekt!

 

Also mehr hotswap geht nicht

Hätte das im nachhinein auch einfach heute mittag testen können, aber gut

 

Paar bilder mit festplatte raus/rein + was zfs so treibt...

 

LG

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

Ah, btw, ne S7150 mit MxGPU, @Smolo

Funktiert 100% auch mit unraid, sind nur paar module zum kompilieren und laden...

 

Usecase ist halt einfach, das du grafik hardware beschleunigung in allen deinen VM's + Docker bekommst....

Kannst die 16x virtualisieren, sprich aus einer, werden 16 grafikkarten, die du dann ganz normal durchreichen kannst....

 

Windows Remote desktop (RemoteFX) oder alternativ über Parsec + Plex/Jellyfish hardware encoding + was auch immer, hab mal den anderen thread gesehen.

Jedenfalls ne überlegung wert. Und die 7150 ist sehr günstig im vergleich zu aktuellen grafkkarten am markt

 

Dann noch als 2weit GPU eine Nvidia RTX 3080 Für shadowplay/parsec und du hast deinen traumserver

 

EDIT:

Spaß beiseite, bau dein system erstmal ohne Grafikkarte, dann schau obs dir passt. Ohne grafikkarte wirds auch schnell und gut.

 

Und dann hab ich noch was zum Stromverbrauch gelesen im anderen Thread.

Ich hab 2 x570 boards. Keins davon kommt unter 50W

Selbst mit ausgeschalteten festplatten.

Die einzige möglichkeit da unter 50W zu kommen, ist mit ECO Mode und ohne grafikkarte!!

Weil selbst die Graka im idle 15-20W zieht!

Und der x570 chipsatz wird heiß, der zieht definitiv mehr als 7W, ohne lüfter geht er schnell an die 80c.

 

Also nur zum vergleich, alle intel chipsätze, werden nichtmal warm und ne intel kombi ist definitiv stromsparender, egal welche intel kombi

Naja, und vom preis/performance her, gibts da auch keinen unterschied. Für mich war der kaufargument halt ECC. Und bei intel gibts im Consumer bereich kein ECC, nur im Xeon bereich, der jedoch immer 2 generationen oder so, hinter consumer hinterher hängt.

 

Also kurz gefasst, die einzige alternative für mich persönlich, wäre der Xeon Silver 4210R oder Xeon W-1290P wenn ich zu intel greifen würde.

Wird stromsparender, hat ähnliche performance, ist jedoch teuerer....

Ohne ECC, gibts da ein haufen auswahl, aber ohne ecc und 24/7 ist halt ein nogo 🙂

 

LG

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

6 hours ago, mgutt said:

Ich muss einfach mal fragen: Du weißt, dass du hier im Unraid Forum bist und Unraid auch "super coole" VMs und Docker Container ermöglicht? ^^

Ups

 

Sorry, hatte mal unraid anvisiert, aber zu den Zeiten für Proxmox entschieden, wegen fehlendem ZFS.

Ich glaub jetzt hat unraid ZFS

Vielleicht steige ich irgendwann um, muss mal testen und so. Aber unraid forum ist mir völlig entgangen

Im Kern jedoch, basiert auf Linux, kann ZFS evtl, ist für mich das gleiche wie proxmox, nur andere Gui

Der eine kann kein LXC, der andere kann kein Docker, kann man aber beides nachinstallieren 🙂

Wenn unraid jetzt Kernel 5.10 hat (statt proxmox 5.4), ist das natürlich schöner wegen ECC, was ich am anfang beschrieben hab.

 

6 hours ago, mgutt said:

Das ist wohl Ansichtssache. Mir wäre das mit den paar HDDs viel zu viel. Aber ich fahre auch mittlerweile mit 10 Platten. Da läge ich mit ZFS und Proxmox im Leerlauf schon bei 100W.

 

Ja, kann ja den Ryzen im ECO Mode laufen lassen, könnt ihr ja auch, spart noch etwas. Nur keine ahnung ob dieser ECO mode stabil mit Linux Läuft.

Aber ich denke wir haben nen anderen usecase, ich hab bei mir halt 6 Lüfter + 3 HDD's + 3 SSD's + ne 10GB/s nic die von sich aus 20W braucht + board das stromsparen eh nicht kennt

Der Server Läuft bei mir halt aufm Dachboden, nicht weil er laut ist oder so, sondern weil dort 10GB's anschluss ist

(Dort stand halt der alte steinzeit server früher, der kake laut war, rackserver HP-DL Irgendwas, deswegen gibts dort 10GB)

 

Und festplatten aus/anschalten wenn sie im leerlauf sind etc... Die idee ist gut, aber die verschleisen sehr viel schneller dadurch. Müsst ihr jedenfalls selber entscheiden, hat vor und nachteile, wie alles

Ich würde es jedenfalls nicht mit ZFS machen

Und ja, sorry, ich bin ZFS fan, und für was neues lernen und langzeiterfahrung sammeln, zu alt

 

Und zu Ryzen selbst, ist mein erster, bin eigentlich auch hardcore intel, vor allem wegen hackintosh etc...

Aber der Zen3 ist halt schon schön

 

Jedenfalls check ich später wegen hotplug, kann leider noch nicht 😞

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

17 hours ago, mgutt said:

@Rama

Er findet jetzt schon den Verbrauch nicht sonderlich prickelnd und du fängst mit Proxmox, S7150, LXC Container, ZFS und RAID10 an. Am Ende lässt man dann noch eine Ubuntu VM für Docker laufen, weil man mit LXC nicht klar kommt.

 

Ich persönlich sehe Promox oder ESXi privat gar nicht. Aber muss natürlich jeder selbst entscheiden.

 

Jup, hab bisschen weit ausgeholt 🙂

Aber Proxmox mit LXC/KVM etc ist doch super cool... Kannst vms zum spielen erstellen und was auch immer für betriebssysteme/Software etc testen...

Oder nen Samba server auf LXC (gibt ja kein overhead, weil LXC und nicht KVM -> Services in LXC Container laufen ja direkt aufm host mit weniger rechten ohne emulation dazwischen)

Oder nen Plex/Jellyfish/Opnsense/was auch immer, im Anhang par screenshots.

Nur für filestorage ist der Server+Board total übertrieben

Wieso dann nicht einfach nen Atom onboard irgendwas cpu/board mit 10g + 64GB ram? (Viel ram wegen ZFS arc halt)

Ohne ZFS reicht dann auch 1GB ram riegel locker aus

 

Zum verbrauch, hab da nen Shelly Powerplug, an dem der Server angeschlossen ist. Also gemessen wird vor dem netzteil....

60W ist doch nix

Willst du weniger, aka 10-20W, dann PicoPSU + onboard cpu/board billig combo... nur fürs filesharing wirst du da 0 performance unterschied haben

 

LG

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

Ah, ja, also Bifurcation kann das board, 4x4 2x8 etc...

Und hot-swap ist doch ein AHCI feature, ehrlich gesagt hatte ich noch keine biose wo ich das explizit einstellen musste, zumindest nie auf server hardware

Bei unseren boards muss ich mal nachschauen und testen, kann ich heute nacht machen, wenn alle pennen (weil sonst säg ich allen das netz weg XD)

 

Hast du schon getestet mit nem rescan, nach nem tausch?

aka:

$ echo "- - -" | tee /sys/class/scsi_host/host*/scan

ist die hardcore version für alles durchscannen, aber du kannst ja auch rausfinden was du genau scannen musst, mit:

 

bisschen empfehlenswerter:

Um rauszufinden, ob deine festplatte sda/sdb/sdc etc ist nimm:

$ cat /sys/block/sda/device/model

$ cat /sys/block/sdb/device/model

$ cat /sys/block/sdc/device/model

.....

...

(dann bekommst du das modell der festplatte und weist obs sda/sdb etc ist....)

dann mit:

$ readlink /sys/block/sda (sda ist nur beispiel)

bekommst du folgenden output (nur beispiel):

/devices/pci0000:00/0000:00:01.2/0000:20:00.0/0000:21:09.0/0000:2b:00.0/ata2/host1/target1:0:0/1:0:0:0/block/sda

(host 1 ist wichtig)

und dann machst du halt

$ echo "- - -" > /sys/class/scsi_host/host1/scan

Sollte es immernoch nicht gehen, mach noch einen:

$ echo 1 > /sys/class/scsi_device/1:0:0:0/device/rescan

(1:0:0:0 ist beispiel, siehst du ja auch oben mit readlink, nach target)

 

Sollte dann in fdisk/gdisk/was auch immer, sichtbar werden.

 

LG

[Neuer Ryzen Server - Komponenten Diskussion/Rückfrage]

Hi, ganz kurz:

- Hab das X570D4I-2T, was eigentlich identisch zum D4U ist.

 

- 10G: X550-2t -> Eine der besten 10G Chipsätze, kann virtualisieren, funktioniert 1A mit Proxmox, google mal nach "virtual function". Das ist deutlich schneller und besser als Virtio kram oder irgendwelche anderen Software Virtualisierte Nic's. Virtio Nic's haben z.B. Hardware offloading bugs in FreeBSD VM's, da gibts eh kein richtiges HW Offloading, weil Software nics...

Also kurz gesagt, alleine schon wegen dem x550 nic ist das Asrock Rack D4U oder D4I seinen preis mehr als wert.

 

- IPMI: ist absoluter müll bei dem board, erfüllt aber seinen zweck, sprich html5 Console, oder ipmi remote auslesen mit icinga/grafana und dashboard für Temperatur/Fanspeed etc...

 

- ECC: ECC Funktioniert und ist sehr wichtig für 24/7 betrieb!!! 3200mhz geht eventuell auch mit 4 Dimms, ich glaub die CPU regelt das sowieso und nicht das board, da der speichercontroller in der CPU ist. Was wichtig ist, das es unbuffered ECC ist. Immer Samsung B-Die nehmen, auf keinen fall was micron basiertes nehmen! (Gilt generell für alle AMD Cpus) Ich meine aber, das fast alle kingston module auf samsung setzen. Ob 3200 oder 2666 ist egal, takten sich doch eh notfalls runter, denk ich. Ich benutze Samsung 2666 ecc mit 32GB/riegel.

Zum thema ECC, es funktioniert! habs mit injection getestet. Sogar der report funktioniert in Proxmox, wenn etwas korrigiert wird.

Leider wirst du davon nichts mitbekommen, da beim boot fehlermeldungen kommen und der Kernel 5.4 ECC eh nicht erkennt auf ner Ryzen 5xxx CPU.

Geht aber alles ab Kernel 5.10. (Wie gesagt, unwichtig welcher kernel, ECC wird in hardware korrigiert, Kernel 5.10 brauchst du nur um infos zu bekommen...)

Multibit fehler werden nicht korrigiert, kann der Ryzen nicht, ist aber nicht tragisch, hab noch nie welche gesehen im Alltag (bin serveradmin als beruf). Wogegen 1-bit fehler ausnahmslos auf jeder hardware vorkommen. Bei normalem PC ists egal, da das nichts ausmacht (reboot), wohingegen server 1 jahr+ laufen und sich das summiert -> ohne ecc wirkt sich das nach genug laufzeit auf system aus = absturz oder schlimmeres.

 

- Ryzen 4650G vs 5600X -> Ich bin nicht sicher ob die Ryzen mit gpu vom Asrock D4U unterstützt werden. Jedenfalls würde ich sowieso zu 5600X greifen. Im alltag bringt dir die GPU nichts, oder nicht genug um nen 5600X auszugleichen. Falls du dann doch eine brauchst, gibts mehrere möglichkeiten, am besten dann ne S7150 (google nach MxGPU). Funktioniert mit Proxmox, brauchst keine 10000€ lizenzen etc... Notfalls ne billige irgendwas GPU nehmen und durchreichen.

 

- Beim fakt "Asrock Rack" selbst muss ich zustimmen. Da ist irgendwie alles kake, keine bios updates, kein guter support, Der x570 chipsatz + Lan Controller wird heiß ohne ende... Naja...

Jedoch gibts da leider auch keine alternative. Zumindest im ITX bereich. Bei ATX wirst du aber auch nichts besseres finden. Die boards sind den Preis aber trotzdem wert, weil x550 + ipmi.

Für x570+Lan chip, montierst du einfach 2 Noctua A10 drauf und gut ist.

 

----

Dann noch zum Setup:

Definitiv Proxmox, LXC Container sind ein traum.

Docker lässt du auch auf LXC Container laufen, kannst auch auf Proxmox direkt laufen lassen + Portainer.

Und KVM für windows/freebsd & co.... KVM ist immer schneller/besser als esxi z.B., benutze beides in der firma. Esxi ist halt unzerstörbar (aka stabil), updates kein problem etc... und Proxmox ist leider ab und zu anfällig, vor allem viel Spaß beim update, wenn Debian 11 z.B. kommt.

 

Was aber am wichtigsten ist, Proxmox kann ZFS, brauchst du für deine Nas/VM Server kombi (all in 1)....

ZFS Pool aus allen deinen Festplatten mit Z1/2, bitte mit einem arc2/Log device, sonst ist die performance unter aller sau. arc2/Log kann eine SSD sein.

Warum eine SSD? Weil 2 Verschwendung wären. Warum alle eine Separate SSD für Zil & Log empfehlen? -> Weil der cache der ssd alle ~5-10s "geflusht" wird wenn was draufgeschrieben wird, das macht aber keinen unterschied für arc2, da nicht vom cache der ssd gelesen wird. -> Weil der "flush" die ssd zwingt alles vom ssdcache zum persitenten speicher der ssd zu schieben.

Kurz gefasst: arc2/log auf einer SSD -> Kein problem!

Jedoch bitte niemals eine SSD für mehrere ZFS pools verwenden, das feature kommt aber auch bald (aka persistent cache/log).

Du wirst aber nie mehrere pools brauchen, da es auf einem System keinen sinn macht. Braucht mann nur für Replikation oder falls du mehrere arten von Storage im System hast.

- arc2/log, brauchst du nur für HDD Pools!!! Ganz wichtig, da HDD's einfach schrecklich langsam sind was iops angeht. Bei ZFS Z1/2 unumgänglich! Bei ZFS Mirror oder Raid 10 HDD Pools weniger wichtig!

Bei SSD pools (egal ob sata oder nvme) brauchst du kein arc2/log.

Kurz gefasst: Nur HDDS mit ZFS Z1/2 ist es ein muss! SSDs mit ZFS Z1/2 profitieren auch, jedoch nicht so spürbar.

- Falls die die wahl/option hast ein ZFS Raid 10 zu machen, würde ich das immer aus performance gründen bevorzugen.

 

Warum nicht FreeNAS (Kann auch NAS+Virtualisieren) -> Weil FreeBSD und Freebsd ist kake, viel spaß mit aktuellem hardware support und bugs gibts da auch ne menge. Linux ist einfach aktiver, viel mehr entwickler, besser gepflegt etc... Freebsd ist in der zeit stehen geblieben, denke das es da einfach an entwicklern fehlt....

 

Esxi -> kostenlose version ohne vcenter kann eigentlich garnichts. Nichtmal lacp und von Storage brauch ich garnicht anzufangen, da geht nur vmfs. Ohne hardware raid oder Nas server sinnlos.

Und performance technisch auch keine chance gegen KVM. Der einzige vorteil ist halt Stabilität + updates.

 

Hilfreiche Links:

https://www.reddit.com/r/Proxmox/comments/cm81tc/tutorial_enabling_sriov_for_intel_nic_x550t2_on/

https://forum.proxmox.com/threads/communication-issue-between-sriov-vm-vf-and-ct-on-pf-bridge.68638/

 

Noch was wichtiges:

Falls du nicht vorhast FreeBSD/Pfsense/Opnsense zu virtualisieren, oder nicht 100% aus deinem 10GB/s Netzwerk rausholen willst, brauchst du auch "Virtual Funktion" nicht. Normaller VirtIO nic, tuts auch. (Auch in freebsd, wenn hardware offloading deaktiviert wird)

 

Hier mein home/spielserver mit dem ich absolut zufrieden bin:

 

Bitte ignoriert meine gramatik, ist nur alles schnell geschrieben um dem threadersteller zu helfen.

Alles gut & Viel Spas 🙂