DataCollector

Hm? Ich habe zwar das N100M, aber dass der M.2 Wifi Slot PCIe spricht wäre mir neu. Das hatte ich zwar mal angenommen, aber ich wurde dahingehend korrigiert, daß der Slot nur CNVI sprechen könnte. Hast Du eine CNVI 2,5GbLan Karte gefunden oder kann der M.2 Wifi Key-E Slot doch PCIe?

Mit einem N100M unter der angegebeen Docker/VM Teillast sollte das N100M etwas sparsamer sein, auch, wenn das unter otimalen Bedingungen nur ein paar W sein werden. N100M reichen, im Sinne von es läuft: ja. Die I3 Version würde sich ggf. etwas flüssiger bedienen lassen (wenn manueller Eingriff notwendig its) und mit der Möglichkeit zu mehr RAM auch dahingehend mehr Ressourcen bieten. aber laufen sollte das mit N100M auch ausreichend gut. Und Geschwindigkeit ist bei den langsam drehenden Festplatten ja sowieso nicht der primäre Fokus. Hast Du schon mal getestet ob diese WD NVMe SSD mit den tiefen C-States klar kommt, bzw. diese nicht verhindert? Es könnte sein, daß die bei dem Begriff "Sparsam" in die Suppe spuckt. Das wurde ja schon beantwortet. Aktuell dürfte das Bequet BN341 weiterhin eine sehr gute Empfehlung zu sein. Ich sehe bei der WD NVME SSD mögliche Probleme, wenn die niedrigen C-States das Ziel sind. Hier sollte man aber auch beachten, was die C-States im realen Verbrauch bedeuten. Die N100 Plattform ist generell sparsamer. Wen also ein N100 System, nur bis C3 kommt schluckt das Mainboard (mit CPU und RAM) dann immer noch sehr wenig. Die I3-Plattform kann aber bei miesen C-States dann doch schon mal 20-30W bedeuten.

Diese Festplatten eignen sich ziemlich gut als Parity (sofern die anderen Platten nicht größer sind). Und bei der Größe sollten auch keine Geschwindigkeitseinbußen auftreten. Ich habe früher ziemlich viele ST3000DM001 und ähnliche Platten eingesetzt udn die haben peak nur knapp um die 150MByte/s erreicht. Somit sollten Deine 4TB auch unter 160MByte/s bleiben und damit sind bis zu 6x 160MByte/s möglich, weil sie mit 'knapp unter 1GByte/s = PCIe 2.0 x2' vollkommen ausreichen. Wenn Du später man weiter aufrüsten willst (schneller Platten) kann man sich ja neue Gedanken machen.

Also die Parity sollte immer eine der schnellsten (und muß immer auch mit die größte(n)) Festplatte(n) sein, weil sie sonst das Array noch mehr ausbremst. Deswegen würde ich als Parity ungerne eine 5400Rpm Festplatte verwenden (und noch weniger gerne eine SMR). (Ich habe selber ein System mit Seagate Archive v2 5900Rpm SMR im Array, aber die Parity ist extra eine 7200Rpm Non-SMR.) Im Array ist es okay auch 5400Rpm Platten zu verwenden (und wenn man unbedingt will auch SMR). Wenn man eben sowas hat dann ist es eben so. Da es bei modernen+großen Festplatten kein 5400Rpm mehr gibt, hast Du eben aktuell vor eher kleinere und langsame Festplatten einzusetzen. Da sollte es dann auch keine Rolle spielen, wenn der ASM1166 nicht mehr als ca. 160MByte/s gleichzeitig an allen Ports schafft. Falls Du aber irgendwann mal aufrüsten willst, wird sich das irgendwann bemerkbar machen. Es ist dann an Dir das zu akzeptieren oder nicht. Leider sind die Bezeichnungen "Blue" oder "Ironwolf" nur Markennamen/Serienbezeichnungen und die Festplatten darin unterscheiden sich sehr. Man sollte die Modelle genauer kennen/benennen. WD Blue sind sowieso nicht wirklich performance Modelle. Achtung: bei den Blue gibt es sogar SMR Modelle. Ironwolf bis 8TB mit 5400Rpm existieren. Wie gesagt sie sind eben dann langsamer als die 7200Rpm Geschwister (ggf. sogar mit größeren Plattern) Wie gesagt: bei der Parity würde ich mir nochmal Gedanken machen und ggf. eine Non SMR verwenden.

Soweit ich das englische Manual korrekt lese, scheint das Asus Board wirklich PCIe am Key-E Slot anliegen zu haben. Die ist oft teurer als eine ASM1166 (x1) Eine ASM1064 (mit neu geflashter Firmware) sollte auch für 4 SATA Festplatten im Array vollkommen ausreichen und wohl die günstigste (akzeptable) PCIe x1 Karte sein. Ja, das sollte idle möglich sein. ASUS Prime N100I-D D4 (90MB1F70-M0EAY0) Englisches Manual: https://dlcdnets.asus.com/pub/ASUS/mb/Intel_CPU_Onboard/PRIME_N100I-D_D4/E21950_PRIME_N100I-D_D4_UM_WEB.pdf?model=PRIME N100I-D D4 Seite 6: "M.2 slot only (Key E, CNVI & PCIe)" Der PCIe Teil deutet bei dem Board darauf hin, daß dort mindestens PCIe 3.0 x1 anliegen dürfte. Ob Du dort nun eine Key-E 2,5GbLan oder sogar 5GbLan Karte einsetzt, sie werden gleichermaßen per PCIe als normale Steckkarten erkannt und sollten dann ganz normal funktionieren (solange das Betriebssystem die passenden Treiber mitbringt). In diesem Board liegt dort eben auch PCIe an und der Lan Adapter sollte funktonieren. Im ASRock N100DC (und auch N100M) liegt hingegen wohl nur CNVi an und damit würde das nicht funktionieren.

Es ist in einigen Situationen eines unraid Array nicht irrelevant: Wenn Du bei einem ASM1166 an PCIe 2.0 x2 alle 6 SATA Ports mit aktuellen+flotten+großen Festplatten im selben Array belegst und ein Paritycheck/Paritysync oder oder Reconstruction Write stattfindet, werden alle Festplatten auf rund 160MByte/s abgebremst, selbst wenn sie mehr könnten. Ob Du das akzeptierst mußt Du wissen. Wie schon mal angedeutet: es kommt auch stark auf die jeweilige Festplatte/SSD an, die Du verwendest und ob die eben mit all den anderen Datenträgern im selben Array ist. Im normalen Betrieb (lesen/schreiben nur auf eine Festplatte und ggf. Parity gleichzeitig) wird dieser Flaschenhals nicht auffallen. Auch sind selbst moderne+flotte+große Festplatten (mit drehenden Plattern) nicht überall gleich schnell und mit SMR dann noch mal schreibend langsamer. Die flottesten Spitzenmodelle mit nur einem Kamm (für Lese-/Schreibköpfe) lesen/schreieben im Außenbereich schon mit über 300MByte/s und im Innenbereich nur noch mit ca. 140MByte/s. Da die Spitzenwerte, genau wie die Minimalwerte eben nur 'kurze' Zeit anliegen gehe ich eben von rund 250MByte/s pro mechanischer Festplatte aus, weil das (in meinen Augen) ein annehmbarer Wert ist um sie ggf. nicht zu sehr auszubremsen. Ältere/kleinere/langsam drehende Festplatten sind ggf. auch mit weniger Transfergeschwindigkeit zufrieden/ausreichend angebunden. Hängt eben von den jeweiligen Modellen und er Geduld des Users ab. Wenn man gute SATA SSD einsetzt, sind auch Geschwindigkleiten >500MByte/s möglich. aber auch hier sehe ich 500MByte/s als akzeptablen Kompormiß zwischen "dem letzten Quentshen rausholen" und "gnadenlos ausbremsen". Bei vielen SATA SSD werden siowieso auch die 500MByte/s nicht dauerhaft erreicht und es kommt auch auf die Benutzung der SATA SSD an. Wenn man in kurzer Zeit durchgehend viele Daten rein presst geht die Geschwindigkeit schreibend sowieso irgendwann runter (weil: SLC Cache ausgelastet, Temperatur steigt, kaum noch freie Blöcke,...). Je weniger sie einbricht,. desto "dauerschreibfester" ist sie. Auf sind (SATA) SSD nicht wirklich empfohlen im Array, weshalb diese meist nicht gleichzeitig mit den anderen Datenträgern beschrieben/gelesen werden. Man muß also auch hier wissen, -welche Datenträger man verwendet -ewie man diese verwenden will - und was man persönlich bereit ist zu akeptieren. Der Mover spricht ja sowieso (wenn man kein Reconstruction Write nutzt) nicht gleichzeitig alle Datenträger an. Das passiert eben eher beim Paritycheck, Paritysync und eben wenn man den Recojnstruction Write nutzt.

PCIe 1.0 x1 = 0,25GByte/s PCIe 2.0 x1 = 0,5GByte/s PCIe 3.0. x1 = 1GByte/s PCIe 4.0 x1 = 2GByte/s PCIe 5.0 x1 = 4GByte/s PCIe 1.0 x2 = 0,5GByte/s PCIe 2.0 x2 = 1GByte/s PCIe 3.0. x2= 2GByte/s PCIe 4.0 x2= 4GByte/s PCIe 5.0 x2 = 8GByte/s Ein ASM1166 kann nur von 2 PCIe Lanes angesprochen werden. Dein Mainboard hat im M.2 Slot PCIe 2.0: PCIe 2.0 x2 = 0,5GByte/s x2 = 1GByte/s Wie ich schon mal weiter oben andeutet: Ich rechne bei aktuellen (flotten+großen) Festplatten mit 250MByte/s pro SATA Port. gute SATA SSD sind oft flotter (teils bis zu ca. 500MByte/s). Somit kann eine PCIe 3.0 Lane (1GByte/s) gleichzeitig 4 SATA Festplatten mit je 250MByte/s 'bedienen' oder 2 SATA SSD. Ältere Festplatten/SSD sind ggf. langsamer und dann kann man auch mehr Festplatten/SSD gleichzeitig bedienen. Wenn man die (aktuelle+flotte+große) SATA Festplatten/gute SATA SSD nicht alle im (selben) Array betreibt und somit nie gleichzeitiger Zugriff stattfindet ist das sowieso egal, weil die nacheinander jede mit ihrer nativ maximalen Geschwindigkleit angesprochen werden können.

Wenn möglich: lieber mehr ASM1166, aber den SAS Kontroller lass besser raus, wenn es Dir um Stromsparen geht. Nebenbei: Soweit ich es lese steht beim Dem Mainboard nichts von CNVI, somit besteht die Chance, daß man das WiFIO Modul ausbauen und dort ggf. auch ein PCIe Device verbinden kann (wenn man mehr Lanes für SATA Ports nutzen will).

Eigentlich nicht, Dein C8 (oder besser) wird verhindert, weil es ein SAS Kontroller ist. Wo der steckt ist egal (wenn man mal die Mülltonne + den Elektrorecyclinghof mal außen vor läßt). ...wo er dann mit halber maximaltransferrate (= 1GByte/s) arbeiten wird. Ja, ausprobieren. Da, wo der ASM1166 eingebaut wird, steht er zur Cerfügung. Egal ob großer PCIe Steckplatz oder M.2 NVM/Pcie Etsckplatz. Das ist (bezogen auf diesen Einsatzzweck) identisch.

Weil das die Ausgansgslage ist: ein neues Unraidsystem nur für Storage (so habe ich den Beitrag verstanden). ...Ich hatte verstanden es sollte neu & sparsamer werden. Und ich hatte den Ursprungsbeitrag genau so verstanden.

Wenn Du das bei einem Paritycheck, Parityrebuild und ReconstructWrite hinbekommst, hat man dann wohl wohl nicht alle Festplatten im Array drin. Ich dachte es geht darum ein riesiges Storage NAS zu bauen. Warum sollte man dann einzelne Festpolattenanschlüsse nicht ins Array packen?

ASM1166 an PCIe 3.0 x2 = 2GByte/s = genug Bandbreite für die vorhandnen 6SATA Ports (mit je 250MByte/s gleichzeitig). ASM1166 an PCIe 2.0 x2 = 1GByte/s = genug Bandbreite für die vorhandnen 4SATA Ports (mit je 250MByte/s gleichzeitig). Wenn man alte/langsame Festplatten verwendet sind natürlich vielleicht auch die 6SATA ports schnell genug.

Das Mainboard N100M hat selber 2x SATA. Pro ASM1166 (an einem PCIe x2 Anschluß) sind 6 SATA zusätzlich möglich. Mit einem N100M + 2x ASM1166 sind also bis zu 14 SATA Festplatten möglich. Wenn man es noch weiter treiben will: im PCIe x1 darf es dann auch noch eine ASM1064 poder ASM1166 mit 4 SATA Ports sein, wodurch wir bei 18 SATA Ports sind. Ein N100 ist weitaus leistungsfähiger als viele CPUs von zu kaufenden NAS mit J oder kleineren N CPUs. Somit ist ein unraid Array mit bis zu 18 SATA Festplatten keinerlei Problem. (falls das Deine Frage war)

Leider wissen wir nicht wirklich wieviele Festplatten, etc... Du hast (bzw dafür einsetzen willst), aber bis 8 Festplatten sollte ein N100M mit einem ASM1166 + BN341 für reines Storage super geeignet sein.

Man lernt nie aus 🙂 Und falls Du den Syslog Server auf Speicherung auf Flash umstellst und die Kiste danach mal abstürzt: dann bitte auch das Syslog hier anbieten (keinen Screenshot, sondern die Datei).

Wenn unraid abnstürzt, kann es sein, daß Fuse etc.. auch schoin abgestürzt sind. Dann kann das aktuellste nicht mehr ins Log geschrieben werden. Zur Fehlersuche ist es sinnvoll auf den Flashstick schreiben zu lassen, da dieser eine ziemlich durchgängtig erreichbare Ressource ist, vor allem, wenn alles anderee drum herum abstürzt. Verstehe ich Dich richtig? Du hast Mentest durchgefuehrt. dabei 2 Module entdeckt, bei denen Speicherfehler gemeldet wurden, diese entfernt, die verbleibenden Module dann ohne erneute Tests neu angeordnet/verwendet? Bitte teste die neue Konfiguration auch noch mal ausgiebig mit memtest86 oder memtest86+ um auszuschliessen, dass es für diese Module an den aktuell verwendeten Positionen nicht doch auch Fehler meldet. Von welchem zu welchem? Ist irgendwo (pool/docker vdisk/VM vdisk) btrfs im Spiel? Ich befürchte btrfs im Docker.

Das denken viele. Wenn es aber nicht notwendig ist: Warum mehr Geld ausgeben und ggf. mehr Stromverbrauch (über die Zeit) in Kauf nehmen, wenn man die Leistung nicht brucht? Klar, wenn man mehrere VMs gleichzeitig nutzen will, ungenannte weitere Anforderungen hat oder die Anzahl der SATA Ports nicht passt, dann ist ein Griff nach oben bestimmt sinnvoll. Aber das habe ich aus der Beschreibung bisher nicht herausgelesen. Ich plexe zwar nicht, aber nur weil man mehr gleichzeitig plexen will (leider wissen wir auch nicht was für Material Du plexen willst (irgendwelche exotischen Auflösungen oder direkt 16k?) aber grundlegend wird hier im Forum davon berichtet, daß man mit dem N100 schon sehr weit kommt. Also bei maximal 8 SATA Datenträgern im Array + 1x (neue) NVME SSD sollte ein ASRock N100M (90-MXBK80-A0UAYZ) mit einer ASM1166 die Hardware und Softwarebeürfnisse ziemlich effizient abdecken können. Ich erkenne auch nicht, das die Software unheimlich große Geschwindigkeit braucht und ein LAN mit 1GBit/s befeuert eien SSD auch nur mit etwas über 100MByte/s. Somit kann man auch eine zweite NVMe SSD in dem PCIe x1 Slot betreiben, wenn man dann doch aus irgendeinem komischen Grund dann doch 2x NVMe einsetzen will. das unbedingt will. Alternativ könnte man aber auch kostensparend die vorhandenen beiden SATA SSD beibehalten und mit einer ASM1064 Kartte (mit neuer Firmware geflasht) im PCIe x1 Slot die 2 alten SATA SSD wunderbar weiter betreiben und spart auch noch das Geld für die NVMe Neuanschaffungen. (Welchen Sinn haben NVMe SSD Neuanschaffungen, gegenüber vorhandenen SATA SSD, wenn das System diese Extraleistung gar nicht braucht?) Und bei nur max 8 SATA Festplatten + Mainboard + 2 SSD reicht ein bequiet BN341 (550W) vollkommen aus. Da Du nach Meinungen gefragt hast: das ist meine. Was Du daraus machst oder ob Du sie in den Wind schlägst ist Deine Sache. In jedem Fall: Viel Spaß beim basteln und viel Erfolg! 🙂 👍

Leider schriebst Du nicht mehr zur aktuellen Hardware (wieviele Festplatten/SSD, etc..) Weshalb so hoch gegriffen? Ein N100 soll problemlos plexen können. Die ASRock Mainboards haben auch 2 SATA Ports und wenn man das N100M nimmt kann man auch (per Adapter) 2 NVMe SSD ganz gut betreiben (es geht sogar mehr, aber dann ggf. mit nur 1 Lane). Hast Du irgendetwas laufen, was ich nicht erkannt habe und diese brachiale CPU Power benötigt (nebenbei soll Intel die Produktion der 13. Gen zugunsten der 14. Gen eingestellt haben). Reichen 32GB Ram nicht für die oben erwähnte recht geringe Nutzung? Sind die gerade extrem billig oder warum gerade die? 650W ist schon viel. Was für Verbraucher hast Du noch im System um so viel Leistung zu wollen? Das schafft schon der N100. Ja, der I5 13.Gen kann das auch. Leider hast Du nicht geschrieben, was Du auf den erwähnten SATA SSD drauf hast, deshalb nur generell: Du kannst die Daten der SATA SSD sichern, einen gleichnamigen Pool auf der NVMe SSD erstellen und dann die Daten dort wieder einspielen. Wenn kein aktuell aktiver Docker/VM die Shares festhält oder gar die Docker/VM Hosts laufen: eigentlich ja. Falls Du mit "rüber ziehen" auch wieder die korrekte Verwendung des Movers meinst: ja, das klappt.

In einem anderen System zu testen ist bei RAM ungünstig, weil Datenleitungen und auch CPU (incl. Memorycontroller) von Mainboard zu Mainboard/Bestückung zu Bestückung sehr unterschiedlich sind und gerade RAM so schnell ist, daß sich schon die Länge und Verlegung der Leiterbahn auf dem Mainboard auswirken kann. Und gerade im Grenzbereich kann das bei RAM zu unterschiedlichen Verhalten führen. Man sollte RAM immer ausgiebig (mindestens 24h) in der Konstellation testen, in der es auch im Wirkbetrieb sein soll. Und warum so lange? Ganz einfach bei Memtest86(+) gibt es (mindestens) einen Test, der mit zufälligen Bitfolgen arbeitet. Es kann sein, daß in den ersten 23,5h alles super läuft und nur bei einer Bitbelegung danach auf einmal sich das Problem zeigt. Selbst 24h sind nicht wirklich ausreichend für eine absolute 100%ige Sicherheit, stressen aber dann doch so viel, daß man ziemlich sicher sein kann. Falls es dann doch nicht erklärbare Problem gibt, die sich vielleicht im RAM suchen lassen, sind auch mehrere Tage Dauerlauf nicht falsch, weil es eben "Zufall" ist, ob genau die anfällige Bitbelegung erreicht wird oder eben nicht. Aber ein endloser Test bringts ja auch nicht, denn man will das System ja auch mal irgendwann einsetzen. Deshalb sehe ich bei einer Fehlersuche rund 1 Woche Dauertest schon wirklich eine kaum zumitbare Grenze erreicht.

Macht das ein Backup des USB Sticks ❓ Ja ich meine die manuelle Funktion, weil man damit ein komplettes Backup incl. unraid Betriebssystem etc... hat. Das erzeugt ein ZIP, welches alles enthält. Im Notfall könnte man das Zip mit dem unraid Installer auf einen beliebigen (auch den selben) USB Stick schreiben und der bootet dann (abgesehen von dem Lizenzproblem). Alternativ hat man darin auch alle *.bzDateien und so weiter und kann die dann manuell ersetzen oder gar auf dem Wege der manuellen USB Bootstick Erzeugung ebenfalls schnell den selben oder einen anderen Bootstick basteln. etc...

Und auch hier (falls nicht schon geschehen): Mach mal ein Backup des Flashsticks. Unraid hat dafür eine praktische Funktion eingebaut und gerade in solchen Fällen kann das schnell helfen defekte Dateien auszutauschen.

laufen Docker auf dem System? Sehe ich nicht. Du verwendest anscheinend Samsung OEM Client SSD PM981 (MZVLB1T0HALR). Ich bin nicht sicher ob die darunter fällt, aber Server SSDs von Samsung sind auf Performance und nicht auf Sparsamkeit getrimmt. Wenn Du die mal raus nimmst, erreichst Du dann bessere C-States?

AData Legend 960 (max), Lexar NM790 und Patriot Viper Lite VP4300l habe ich getestet und finde sie alle gut (ich habe primär die Dauerschgreibfähigkeit geprüft, weil ich eben gerne an einem Stück sehr viel schreibe). Die Patriot hat dabei unter sequentiellem Schreiben und Lesen (HD Tune Pro) die niedrigsten Temperaturen ausgewiesen. Getestet habe ich alle in 4TB Größe. Aktuell würde ich neu die Patriot den anderen gegenüber bevorzugen. Aber selber verbaut habe ich die eher gekauften AData(s). Die sind nun einmal drin und solange sie laufen (und ich nichts anderes extrem viel besser und preiswert erhaltbar sehe) bleiben sie auch drin.

Ich sehe es als besser an: die defekte Datei(en) [*.bz] umbenennen, die gleichen Dateien aus dem passenden unraid ZIP aufkopieren und danach die alten Dateien löschen. Dadurch ist gewährleistet, daß die vielleicht defekten Blöcke unter den Dateien nicht direkt neu beschrieben werden und somit die Datei wieder defekt ist. Hintregrund: Im Gegensatz zu SSDs sind USB Sticks ziemlich dumm. Wenn sie einen Block als defekt erkannt haben wird dieser zwar verzeichnet und nicht mehr neu benutzt, aber ob der Block hier erkannt wurde weiss man nicht. Somit erst einmal belegt lasen und andere beschrieben. Wenn man den Stick anzweifelt: Backup machen (ist übrigens immer ein gute Rat!), dann bei einem anderen PC ausgiebig testen (alles drauf löschen, mindestens einmal überschreiben und dann alle Blöcke lesen [das Windowstool "h2testw" ist dafür sehr gut geeignet]). Falls der Stick es überlebt und keine/wenige Fehler anzeigt: Danach das Backup wieder aufspielen.

Das eine 990 Pro schon mal "abschmiert" habe ich schon hier gelesen. Die betreffende Person hat gegen eine andere 990 Pro getauscht (wenn ich mich recht entsinne) und seitdem geht es. EDIT: https://forums.unraid.net/topic/186948-samsung-990-pro-verliert-regelmäßig-die-verbindung/ https://forums.unraid.net/topic/186205-mein-unraid-server/#findComment-1534639