December 1, 20232 yr Guten Morgen, Ich habe eine LSI 9300-8i, an der 8x Samsung SAS 12G Datacenter SSDs hängen. Bios und linkstatus unter Unraid sagen auch 12G pro SSD. die 9300-8i wird auch korrekt mit 8x pcie3 lanes erkannt. Karte und SSDs werden scheinbar auch korrekt initialisiert, das Log spuckt keinerlei Fehler aus. Problem: Unter unraid werden die SSDs nur mit max. 56mb/s beschrieben oder gelesen. Egal was ich mache. Schreibcache/lesecache, alles aktiv. Die 8 SSDs laufen als eigentständiger Pool, nicht im Array. Dateisystem scheint hierbei egal zu sein, das Problem tritt sowohl unter ZFS, als auch mit btfrs und xfs auf. Jetzt hatte ich testweise TrueNAS Core installiert um zu schauen ob es damit besser ist: Ist es. Beim Lesen und Schreiben im RaidZ Pool (1vdev 8 Platten) laste ich meine 10G leitung voll aus mit 1,1GB/s. Also kann die karte oder die ssds eigentlich nicht kaputt sein. Jetzt wollte ich aber gerade wegen Docker und der besseren VM Verwaltung Unraid nutzen. Hat jemand eine Idee was das Problem sein könnte?
December 2, 20232 yr 22 hours ago, Ayitos said: Ich habe eine LSI 9300-8i, Das ist kein HBA, sondern ein Raid Controller....wie hast Du die SSDs dort eingebunden...Als JBODs, also ohne Raid-Mode oder hast Du einen Raid-Mode versucht? Raid-Controller sind nicht für unRaid, da im Array mit Parity ein spezieller Software-Raid Mode benutzt wird...auch in pools wird Software Raid benutzt....und gerade bei zfs ist das ein NO-GO, ein Raid Controller 22 hours ago, Ayitos said: Jetzt hatte ich testweise TrueNAS Core installiert um zu schauen ob es damit besser ist: Ist es. Beim Lesen und Schreiben im RaidZ Pool (1vdev 8 Platten) laste ich meine 10G leitung voll aus mit 1,1GB/s. Also kann die karte oder die ssds eigentlich nicht kaputt sein. Bei schnellen SSDs sollten schon 2 in einem striped Volumen reichen um ne 10G Verbindung auszulasten. Interessant wird die performance beim Scrub.... Hat der Controller noch nen Cache? Du solltest ihn, auch bei TrueNAS/FreeNAS nicht als Raid-Controller einsetzen. -> umflashen in IT-Mode Edited December 2, 20232 yr by Ford Prefect
December 2, 20232 yr Community Expert 1 hour ago, Ford Prefect said: Das ist kein HBA, sondern ein Raid Controller.... Ich weiss nicht ganz welches Modell er meint (da die Dinger aktuell ja eher unter Broadcom gelistet werden), aber wenn er den Broadcom SAS 9300-8i, PCIe 3.0 x8 https://geizhals.de/broadcom-sas-9300-8i-lsi00344-a976112.html verwendet: doch, das ich ein HBA ohne Raid. Sollte er hingegen ein Megaraid-Modell verwenden, das ist sehr wohl ein Raidkontroller und bei der PCIe 3.0 Version meist auch wirklich ohne HBA Support. 1 hour ago, Ford Prefect said: Hat der Controller noch nen Cache? Du solltest ihn, auch bei TrueNAS/FreeNAS nicht als Raid-Controller einsetzen. -> umflashen in IT-Mode Die normale (HBA) 9300 Serie braucht man nicht umzuflashen, die Megaraid der selben Generation haben leider keine IT-Mode Firmware. Die größeren Ausführungen der Megaraidserie haben einen Cache und bieten deshalb auch BBU Lösungen (mit Kondensatoren und Flashpacks) an.
December 2, 20232 yr 1 hour ago, DataCollector said: ch weiss nicht ganz welches Modell er meint (da die Dinger aktuell ja eher unter Broadcom gelistet werden), aber wenn er den Broadcom SAS 9300-8i, PCIe 3.0 x8 Richtig, ich bin einfach von nem Megaraid ausgegangen.. @Ayitoswoher ist der Controller und was für einer ist es genau? Kann auch ein China Fake sein, wenn neu und billig geschossen in der Bucht... Edit: ...und schick mal Deine Diagnostics, wenn es ein HBA ist. Edit2: das ist Dein Faden im Luxx? ... mal sehen was Du da raus bekommst...alternativ zu Ubuntu auch Fedora 1 hour ago, DataCollector said: Sollte er hingegen ein Megaraid-Modell verwenden, das ist sehr wohl ein Raidkontroller und bei der PCIe 3.0 Version meist auch wirklich ohne HBA Support. Ich bin unsicher, ob bei den Neuesten nicht sogar ein umschalten in den IT-Mode (nicht JBOD) per BIOS möglich ist...weiss aber nicht, ob das bei Broadcom war. Edited December 2, 20232 yr by Ford Prefect
December 2, 20232 yr Community Expert 31 minutes ago, Ford Prefect said: Ich bin unsicher, ob bei den Neuesten nicht sogar ein umschalten in den IT-Mode (nicht JBOD) per BIOS möglich ist...weiss aber nicht, ob das bei Broadcom war. Ich habe einen 9300-8i (habe ich damals neu in DE gekauft) und einige gebraucht gekaufte Megaraid 9361 (-8i und x16i). Mir ist ein solcher Umschalter in der Firmware/BIOS nicht aufgefallen. Meiner Erfahrung und Wissens nach sind die PCIe 3.0 basierten Megaraid der Generation nicht umschalt- oder umflashbar. Das war der Grund, warum ich in meinem großen unraidsystem einen Adaptec der Serie 7 verwende. Die lassen sich auf HBA Modus umschalten.
December 2, 20232 yr 39 minutes ago, DataCollector said: Das war der Grund, warum ich in meinem großen unraidsystem einen Adaptec der Serie 7 verwende. Die lassen sich auf HBA Modus umschalten. Ahhh, dann war es Adaptec...thx!
December 2, 20232 yr 4 hours ago, Ford Prefect said: Kann auch ein China Fake sein, wenn neu und billig geschossen in der Bucht... Hier sind ein 9300-8i und zwei 9300-8e im Einsatz. 1x Amazon, 2x eBay. Die Dinger sind von Hause aus HBAs - im IT mode. Man muss sie firmware-seitig upgraden um RAID Support zu bekommen. https://docs.broadcom.com/doc/12352000 Den aktuellen Zustand der Firmware kann man erkennen durch Download des letzten Firmware Release für den HBA und dem Ausführen des sas3flash Utilities. Hier die Vorgehensweise für eine Analyse. Es reicht sas3flash -list um den Modus zu erkennen (Firmware Product ID😞 Edited December 2, 20232 yr by hawihoney
December 4, 20232 yr Author Moin, danke für die Antworten. Der HBA ist ein Inspur LSI SAS3008 9300-8i, Im IT-Mode mit der neuesten Firmware. Getestet hatte ich jetzt auf anraten im Englischen Main Forum, das ganze mit DiskShare: besser aber immernoch zu langsam (ca 900mb/s Schreiben statt 650mb/s als UserShare und 700mb/s lesen anstatt 500mb/s). Da ich das System kurzfristig performant brauchte, habe ich jetzt mit TrueNAS Scale gestestet (ist ja auch Linux basiert), da komme ich voll ins Limit meiner Netzwerkverbindung mit ca 1,1GB/s schreibend und lesend. Getestet hatte ich den Durchsatz jeweils mit großen Videodateien (40-100GB pro video). Scrub Speed lag unter Unraid irgendwo bei 900mb/s meine ich.
December 6, 20232 yr Author Solution Kurzes Update: Ich bekomme es mit Unraid nicht hin. Heute nochmal 9h Probiert. Alle Einstellungen durch, von direkt DriveShare, zum Exclusive Share, Power Settings whatever. Samba versucht zu Optimieren, alles ohne erfolg. Selbst mit Raid0 komme ich nicht über 900mb/s schreiben und 700mb/s lesend. TrueNAS Scale hat keine Probleme, da hänge ich absolut im 10Gbe limit mit 1,1gb/s im SMB Share. Windows 10 lokal installiert auch nicht, da schafft der controller bei 8er striped (in windoof selbst) 6000mb/s lesend und 5000mb/s schreibend. Also kaputt kann er nicht sein. Aber egal, dann ist es jetzt TrueNAS. Vielleicht kann ich die Lizenz von Unraid dann irgendwann noch fürn mini docker server nutzen.
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.