hawihoney

Perhaps a simple change would makes it easier to users to find out what may happen: On "Docker" page, add the permission (r/w/rw) behind the path in the column "VOLUME MAPPINGS (APP TO HOST)". E.g: /config --> /mnt/pool_nvme/system/appdata/plex (r/w) /mnt --> /mnt (r Slave) /transcode --> /tmp/plex/ (r/w)

Der größte (74 Platten) und älteste Unraid Server besteht aus drei Unraid Arrays und enthält alleine drei HBAs dafür. Für jedes Array einen HBA (zwei davon sind an Unraid VMs durchgeschliffen). Alle sechs Slots sind voll. Dieser Server muss ersetzt werden. Die Idee war auf andere Boards zu wechseln, Umstellung auf Single CPU mit iGPU und Nutzung der drei Backplane Expander mit einem HBA. Wir könnten natürlich auf Multiple Arrays in Unraid warten, das war ursprünglich der Plan. Jetzt sind einzelne Cores in einer CPU des Doppel-CPU Systems ausgefallen. Wir haben die betreffenden Cores isoliert, aber das Problem scheint auch PCIe Slots dieser defekten CPU zu betreffen. Es fallen dann auf einmal einzelne Karten aus. Also wollte ich nicht mehr warten. Wollte die drei PCIe Slots der zweiten CPU leeren und statt zwei HBAs nur deren Platten durchschleifen. Die defekte CPU hätte ich dann entfernt. Ich wäre auch mit marginalen Performance Einbußen bei Verwendung von virtio klar gekommen, aber 1/6 der ursprünglichen Performance ist zu wenig. Die defekte, alte CPU wird nun also ersetzt.

Nach diversen Versuchen habe ich das Ganze zum Laufen gebracht. Es war nicht ganz einfach, da man ohne die Angabe einer Identifikation der Platten, z.B. durch die Seriennummer, die Platten im Guest nicht vernünftig unterscheiden kann. Dies ging nur durch Angabe der Option "serial": <disk type='block' device='disk'> <driver name='qemu' type='raw' cache='none' io='native'/> <source dev='/dev/disk/by-id/ata-TOSHIBA_HDWE140_Y9E8K42GFBRG'/> <target dev='hdd' bus='virtio'/> --> <serial>Y9E8K42GFBRG</serial> <address type='pci' domain='0x0000' bus='0x06' slot='0x00' function='0x0'/> </disk> Zuordnung der Platten, Parity Check des Arrays, ... alles hat geklappt. Und dennoch haben wir abgebrochen. Die Performance z.B. beim Parity Check war einfach unterirdisch. Mit 15 MB/s lag sie erheblich unter den üblichen Werten in der VM. Normalerweise kam die VM mit "passed through" HBA auf 90 MB/s.

Wo? Ich habe Mal vor ein paar Wochen nach der generellen Möglichkeit für das Passthru von vielen Disks gefragt und nie eine Antwort erhalten. Jetzt bin ich weiter und frage konkret etwas ganz anderes. Die HBAs werden aktuell durchgeleitet. Unsere neuen Boards haben aber nicht mehr 2x CPUs bzw. 6x volle PCIe Slots. Deshalb weg von HBA Passthru, hin zu Disk Passthru und Nutzung der Backplane Expander. Den doppelten hatte ich schon gesehen und gleich 0x1c ausprobiert. Der wird aber auch als doppelt angewiesen. 0x1c ist ein Port kein Bus.

Wir haben heute spaßeshalber einen Test mit einer neuen Slackware VM durchgeführt. Wir wollen halt permanent weiter lernen ... Bei diesem Test ging es um das Passthru von allen 24 Disks eines HBAs (plus Primary VDisk) an eine VM - statt des HBAs. Dabei stellten wir zwei Dinge fest: 1.) Man kann nur 24 VDisks in der "Edit Form" erfassen. Da die Primary VDisk mitzählt, kann man nicht alle 24 Disks eines 4 HE Systems erfassen. 2.) Also dachten wir, wechseln wir einfach in die "Edit XML" Sicht und hängen einen weiteren Disk Block manuell an. Das wurde mit einem "VM Creation Error" quittiert. Angeblich hätten wir einen Bus doppelt vergeben "duplicate bus 0x1b". Hier der betreffende Block: <disk type='block' device='disk'> <driver name='qemu' type='raw' cache='writeback'/> <source dev='/dev/disk/by-id/ata-TOSHIBA_HDWE140_Y9E8K42GFBRG'/> <target dev='hdaa' bus='virtio'/> <address type='pci' domain='0x0000' bus='0x1b' slot='0x00' function='0x0'/> </disk> Wie geht man mit der Vergabe des bus am Besten vor? 0x1b ist tasächlich an anderer Stelle in Benutzung. 0x1c und 0x1d ebenfalls. Kann ich einfach den nächsten freien bus Wert nehmen - auch wenn sich damit Löcher ergeben? Hier die komplette VM Beschreibung: VM.xml

After the installation of a most recent firmware on this LSI 9300-8e Adapter the behaviour changed back to normal. The scsi* Prefixes in /dev/disk/by-id are gone now and have been replaced by the usual ata-* prefixes.

Ursprünglich hatte Unraid 24 fehlende Platten angezeigt. Ich habe danach sofort die Zuordnungen korrigiert. Erst nach dem runterscrollen der Main Seite sah ich, dass ich das Array nicht einfach so starten konnte. Es musste also eine "New Config" durchgeführt werden. Und jetzt hatte ich ein Verständnisproblem: Was war die "aktuelle Zuordnung"? Die mit den Fehlern oder die, die ich schon korrigierend eingetragen hatte. "Aktuell" war in dem Fall die alte (die mit den Fehlern). Ich hatte vor ein paar Tagen hier irgendwo einen Thread gestartet (s.u.). Wie ich seit heute weiß, hat eine "uralt" Firmware in einem LSI 9300-8e Adapter die Einträge in /dev/disk/by-id komplett anders eingetragen. Ich hatte das Problem auf sechs SAS Devices am Adapter geschoben. Die waren es aber nicht. Seit heute weiß ich, dass es die alte Firmware war. Die alte Firmware hatte alle ata- Platten als scsi-* Platten in /dev/disk/by-id hinterlegt. Es gab schlicht und ergreifend keine ata-* Einträge. Zudem waren die scsi* Einträge mit einem Prefix 3 durchnummeriert. Nach Aufspielen der neuen Firmware waren die scsi-* Einträge weg und es gab wie gewohnt ata-* Einträge in /dev/disk/by-id. Unraid fand jetzt aber nicht mehr meine Devices unter den scsi* Adressen. Vielen Dank. Hier der Thread den ich noch mit einer Entwarnung/Korrektur abschließen werde.

Ah, verstehe. Bei "Preserve current assignments=None" hat Unraid meine zuvor getätigten, korrigierenden Zuordnungen beibehalten. Ich hatte gedacht, dass dies mit "Preserve current assignments=Array Disks" geschehen würde. Bei letzterem geht es tatsächlich um den alten Stand. Das hatte ich einfach falsch verstanden. Lasse trotzdem vorsichtshalber einen Parity Check laufen. Vielen Dank für die schnelle Hilfe. Damit haben sich auch meine dämlichen scsi-Bezeichner in /dev/disk/by-id erledigt. Eine der drei LSI 9300-8? Adapter hatte einen uralten Firmware Stand.

Ja, super, Danke. Schnelle Nachfrage. Ich wollte gerade "Preserve current assignments=Array Disks" aktivieren, da ich die Disks an Hand der neuen Disk Bezeichnungen schon zugeordnet hatte. Wäre das falsch?

Was sind die korrekten Schritte um Unraid mit einer gegebenen Konfiguration hochzufahren - obwohl Unraid meint, sie wäre falsch. Nach einem Firmware Update meiner LSI 9300-8i bzw. LSI 9300-8e Adapter erkennt eine Unraid Instanz die Platten nicht mehr. Die Bezeichnungen haben sich wohl geändert. Ich habe die korrekten Slots zugeordnet. Was muss ich nun machen? Vielen Dank.

Geht nicht. Unraid ist im Grunde genommen ein NAS-Appliance, kein ausgewachsenes Betriebssystem.

Da mein altes Board keine M.2 Ports hat, habe ich zwei von diesen Adaptern eingebaut: Lycom DT-120 PCIe x4 M.2 Adapter Die laufen einwandfrei bei mir.

Alles klar, danke. Hatte ich übersehen. Ich war einfach auf Samsung fixiert.

Interessant nicht? Guck mal in den Link ganz unten. Drei identische Unraid Server hier. In einem stecken aber sechs alte HGST SATA Modelle. Die verändern aber seit 6.9.x das Verhalten des HBAs, der Backplane und von Unraid auf diesem einen Unraid Server. Während die beiden anderen Unraid Server so etwas in /dev/disk/by-id anzeigen: root@Tower:~# ls -lisa /dev/disk/by-id total 0 492 0 drwxr-xr-x 2 root root 2080 Mar 18 08:37 ./ 491 0 drwxr-xr-x 7 root root 140 Mar 16 14:34 ../ 764 0 lrwxrwxrwx 1 root root 9 Mar 16 14:34 ata-ST3000DM001-9YN166_W1F15DHG -> ../../sdp 768 0 lrwxrwxrwx 1 root root 10 Mar 16 14:34 ata-ST3000DM001-9YN166_W1F15DHG-part1 -> ../../sdp1 Sieht das bei dem einen Server so aus und zwar für alle disks - nicht nur die sechs fraglichen: root@TowerVM02:~# ls -lisa /dev/disk/by-id total 0 321 0 drwxr-xr-x 2 root root 2000 Mar 19 13:00 ./ 320 0 drwxr-xr-x 7 root root 140 Mar 18 08:39 ../ 659 0 lrwxrwxrwx 1 root root 9 Mar 18 08:39 scsi-3500003990b8815e3 -> ../../sdg 670 0 lrwxrwxrwx 1 root root 10 Mar 18 08:39 scsi-3500003990b8815e3-part1 -> ../../sdg1 Und bei diesem einen Server muss ich für Spindown das SAS-Plugin verwenden. Ohne das Plugin geht keine Disk in den Ruhemodus. Hier finden sich dann wieder die gewohnten ata disk Bezeichner aber nicht die komischen scsi Bezeichner. Mir fehlt einfach die Verknüpfung. Das wäre wahrscheinlich nur über /dev/sd? möglich. Ich hatte mir das unter 6.8.3 alles schön zusammen gebastelt um mit "virsh attach-disk " alle disks eines Arrays in eine VM zu injizieren. Mit 6.9 bekomme ich das deswegen noch nicht hin. Und der Austausch von 6 Platten, einfach so, ist keine Option.

Guter Hinweis, vielen Dank. Habe mir beide Quick Reference Guides angeschaut und es scheint tatsächlich so zu sein, dass das X11SCA-F Board in vielerlei Hinsicht schlechter ist als das X11SCH-F (was meine Anforderungen angeht). Die iGPU soll zumindest mit dem X11SCH-F aber problemlos funktionieren. Da ich keine Grafik in meinen VMs benötige, sondern nur in Docker, bin iich dann ohnehin auf der sicheren Seite. IPMI nutze ich seit einer Decade ausschließlich für das Remote Power Management via Browser. Die Bildschirmausgabe habe ich noch nie benötigt. Da bin ich ziemlich entspannt was die Einschränkungen angeht. OK. Es wird also X11SCH-F/E-2288G werden. Die Informationen zu den Kabeln und Slotblechen habe ich mir mühsam zusammen gesucht. Jetzt fehlt mir nur noch eines - aber das ist eine ganz andere Baustelle: Wie finde ich unter Linux das Mapping zwischen einer Disk (e.g. TOSHIBA_HDWE160_19N4K0HCFB8G --> sdg) und den dämlichen, durchnummerierten scsi-3500003990b8815e3 Texten unter /dev/disk/by-id. Sobald ein SAS Laufwerk, oder ein SATA Laufwerk mit SAS Features, im Array ist, verschwinden die von Unraid genutzen Labels aus /dev/disk/by-id ... Ich wollte mir nämlich ein Script bauen um alle Disks eines Array in eine VM zu pumpen - aber das habe ich noch nicht gefunden. Vielen Dank für die Hardware Tipps. Hat mir sehr geholfen. Baue zwar immer alle Server selbst zusammen, aber bin doch eher der Software-Mensch.

Händler ohne gültige Bewertungen - zudem preislich nach unten ein Ausreisser. Den habe ich bewusst ausgelassen.

Das RAM ist aber extrem teuer pffff. 250 EUR für 32 GB. Whow. Wir verwenden in den letzten dutzend Jahren ausschließlich Supermicro Komponenten und ich bin bisher mehr als zufrieden. Hier werkeln noch im 365/7/24 Betrieb diverse Komponenten aus 2009/2010. Da "quietscht" bisher noch nix. Hab wohl Glück bisher. Interessanterweise hat sich letzte Woche aus einem Intel 2680v2 ein Core verabschiedet. So etwas hatte ich bisher aber auch noch nicht. Hab den Core in Unraid Isoliert und schwupps läuft alles wieder. Der "hinkt" jetzt nur noch mit 9 Cores.

Ah, super. Das wären dann wohl u.a. die hier: https://www.samsung.com/semiconductor/dram/module/M391A4G43MB1-CTD/

Ich würde gerne mein Monstersystem (2x 2680v2) umstellen auf ein Intel E-2288G System und habe ein paar wenige Verständnisfragen. Wichtig ist mir ein professionelles, stabiles, "frickel-freies" System. Die Idee: CPU Intel E-2288G (TDP 95W, DDR4-2666, max. 128 GB RAM, 2x Speicherkanäle): https://www.intel.de/content/www/de/de/products/processors/xeon/e-processors/e-2288g.html RAM: -- hier geht es schon los. Ich verstehe nicht den Unterschied zwischen den SO-DIMM, LR-DIMM, R-DIMM, CL19, CL22. Welche 2x 64GB DDR4-2666 ECC für die CPU sowie die u.a. Boards würden funktionieren? Board (Supermicro): https://www.supermicro.com/en/products/motherboard/X11SCA-F oder https://www.supermicro.com/en/products/motherboard/X11SCH-F Weiter verwendet werden sollen: 1x Broadcom/LSI 9300-8i HBA 2x Samsung M.2 NVMe Samsung 970 Evo Plus 1 TB (zwei XFS pools) Fragen: 1.) RAM: Welches RAM würde mit den Boards und der CPU funktionieren? 2.) Board: Bei den Boards müssen beide M.2 NVMe, die iGPU und IPMI problemlos nutzbar sein. Kann das jemand für eines der beiden Boards bestätigen? 3.) HBA: Ich suche ein Slotblech, welches nach außen zwei Anschlüsse bietet wie ein LSI 9300-8e Adapter und nach innen zwei Anschlüsse wie ein LSI 9300-8i Adapter. Zusätzlich suche ich zwei passende Kabel um die internen Anschlüsse des Slotblechs mit einer Supermicro BPN-SAS2-EL1 Backplane zu verbinden. Vielen Dank für Eure Unterstützung.

Thanks.

Ah, thanks. 1.) Do I need to uppercase all characters - as in your example? 2.) Are DOS CR/LF allowed? 3.) Do I need to reboot?

I often print settings of applications or web to PDF. What puzzles me is, that printing Unraid settings pages, that do contain these orange radiobuttons, don't show the radiobuttons. Is this Unraid specific or is this Browser/PDF related? Example Unraid setting: CPU pinning And this is the result if I print this page to PDF:

Found it: virsh vcpuinfo <name of VM>