DataCollector

Da hier unspezifisch gesucht werden muß: (fast) alle. Und auch dann ist kein Erfolg/Lösung garantiert.

Gibt es denn noch eine Disk3? Würde es vielleicht helfen auf einer Disk 3 dieses Verzeichnis einfach anzulegen? Mit Löschen meinte ich nict das Verzeichnis selber, sondern die zugehörende cfg Datei auf dem USB Stick. (/config/shares/ ordnername.cfg) Mit Löschen meinte ich nict das Verzeichnis selber, sondern die zugehörende cfg Datei auf dem USB Stick. (/config/shares/ ordnername.cfg)

iGPU Multimonitor würde ich eher so deuten, dass die iGPU eben mehrere Monitore/Aushänge gleichzeitig ansprechen kann und nicht nur Einen exklusiv.

Ist Dir entgangen, das es da Einschränkungen hat? "In RAID 0 mit Desktop SSHDs beträgt die Lesegeschwindikgkeit bis zu 410 MB/s (max.) und die Schreibgeschwindigkeit 400 MB/s (max.)." Du verwendest bei unraid weder Raid0 noch sind die Ironwoilf SSHDs (also nicht Flashbeschleunigt). Nur hat genau dieses Terramaster kein solches 3.1 mit 10GB/s. Erstens ist die Einheit GB nciht passend, es wären Gb oder GBit und andererseits sind es nicht 10, sondern 5: https://geizhals.de/terramaster-d5-300c-a1653801.html Anschlüsse extern: 1x USB-C 3.0 (5Gb/s) Zusätzlich ist dieses TerraMaster D5-300C nicht mal ein reines JBOD Gehäuse, da es versucht ein Hybrid zu sein: https://www.terra-master.com/de/d5-300c.html "Der D5-300C bietet 2+3 RAID-Speicher. Dies bedeutet, dass Festplatte 1 und Festplatte 2 als RAID 0, RAID 1 oder Single Disk konfiguriert werden können, um Ihre wichtigsten Daten zu sichern." "Superschnell mit USB 3.0 TransportProtocol! Das D5-300C verwendet USB 3.0 5 GB SUPERSPEED Protocol. In RAID 0 mit Desktop SSHDs beträgt die Lesegeschwindikgkeit bis zu 410 MB/s (max.) und die Schreibgeschwindigkeit 400 MB/s (max.)." Also müssen alle Daten durch einen Hybridchip (und schlimmstenfalls für den JBOD Teil noch durch einen USB Hub. 21,5 sind wirklich etwas schlapp, aber mehr als 50 MByte/s würde ich bei 2 Disks im 1P+1D Array in einem solchen USB Gehäuse nicht erwarten. Wenn Du die Disks als Raid0 konfigurierst wirst Du einen flotteren Betrieb erreichen (wenn Du KEINE weiteren Disks in das Gehäuse steckst!!). Wenn sich da alles immer durch eine Leitung quetschen muss kommt es sich in die Quere. Je nachdem welchen Standard Dein TB hat udn welche Chips verbaut sind ist flotterer Betrieb möglich, aber ähnlich wie USB eine wackelige Angelegenheit. Piobiere es aus und reduziere die Nutzung von TB durch andere Komponenten (kein Display, Lan, oder so durch den selben TB Chip.).

Irgendwie fehlen mir Infos zum System. Wieviel Disks sind es denn jetzt? Kann man ggf. temporär eine Disk 3 zubauen? Existiert denn ein so benanntes Share/Hauoptverzeichnis überhaupt noch (irgendwo)? Du schreibst, dass es auf Disk 3 nicht mehr ist, weil es die Disk3 nicht mehr gibt, aber ist es denn irgendwo? Ich habe es noch nicht ausprobiert, aber was passiert wenn Du bei herunter gefahrenem unraid von dem USB Stick im shares Verzeichnis einfach die zugehörende *.cfg Datei löschst und dann urnaid wieder hoch fährst? Dann sollte doch die komplette configuration dieses shares verschwunden sein, so daß Du die von Hand neu ein stellen kannst. Oder? (Ich würde aber vorher ein Backup des Sticks und der Daten in dem Verzeichnis machen.)

Hast Du noch einmal (also in Summe 2 mal) neu gestartet? Starten sie wieder, wenn Du auf 7.0.0 zurück gehst? Ist Dein USB Stick read only? Hat sich bei dem Pool, den der Docker vermutlich nutzt etwas dahingehend verändert? Hast Du das Changelog gelesen? Könnte Dein unbenannter Docker/Container etwas mit den dort erwähnten Veränderunegn für Docker zu tun haben? "As of this release, starting such containers has been disabled. To proceed, disable the Tailscale integration for containers in Host mode or change the Network Type to Bridge or "Custom: eth0/bond0/br0.""

Falls man genauer nachlesen will, was die CPU so kann/hat: https://www.intel.com/content/www/us/en/products/sku/226265/intel-pentium-gold-processor-8505-8m-cache-up-to-4-40-ghz-with-ipu/specifications.html

idle 30-3W with 4 Harddisks + 3 SSD. To me it looks like very much power for only idle and only this few devices.

Nein. ich meine die Anwendung powertop, welche mit dem aufruf "powertop --auto-tune" gerne verwendet wird, wenn man Strom sparen will. Wenn man sich die notwendige Datei nicht selbst aus dem Netz ziehen und an die richtige Stelle einkopieren wollte, hat man die in der Vergangenheit mit der Nerd App schön einfach installieren können. okay, jetzt weiß ich, warum schon der vorherige Verbrauch so hoch war: AMD 😉 Aber warum er nun noch höher ist, kann ich nicht sagen. Auch nicht so ganz das, was unter unraid gedacht ist. aber wenn sich da nichts verändert hat sollte das auch nicht den Mehrverbrauch verursacht haben. Hast Du unraid zfs laufen und vielleicht mit V7 in das neue zfs Format gewandelt?

Bezogen auf V7: ja, richtig. Wenn die Pools aber > 1 Disk sein sollen wird es eine Art Raid und schon laufen in dem Pool alle Datenträger. Der Vorteil des Array ist ja (für viele Nutzer) die Energieersparnis, weil nur die benötigten Disks laufen. Wenn ich mein Array mit 24+2 Festplatten als Pool betreibe bleibt nur Raid6 und dann sind im Betrieb schon mal ein paar hundert Watt mehr drin, als bei einem schlafenden Array. Diesen Wunsch hatte ich schon mehrfach geäußert und bei dem Feature Voting auch gepusht, aber bisher ist das nicht der Fall.

Ich glaube ich erwähnte schon mal, daß ich genau aus dem Grund einen 4TB großen NVMe SSD Cache nutze. Den kann ich dann per 10GbLan befüllen (des öfteren so 2-3,5TB in einem Durchgang) und dann kann der gemütlich geleert werden. Vorher hatte ich ich sogar meinen 4x2TB Raid5 SSD Cache (6TB) und einen 3x8TB raid5 SSD Cache (16TB). Wenn der Cache zu klein ist: größeren konfigurieren. Ist natürlich auch eine farge des Geldes und der noch freien Anschlüsse. Das geht, wenn man das Array mit new config auflöst und (ohne Parity) dann neu zusammenstellt. Natürlich hat man dann in der Zeit keine Ausfallsicherheit im Array. Sollte das öfters vorkommen ist vielleicht ein größerer Cache doch ratsam. Alternativ gleich ganz auf die Parity verzichten, wenn einem die nicht wichtig ist. Bei einer so großen Initialbefüllung kopiere ich ins Array und erzeuge die Parity später. Wenn es im laufenden betrieb später zusätzlich 30TB ins Array sein sollen muß man eben ausreichend großemn Cache verwenden. Ich würde dem Syetm einen groß genugen temporäten Zwischenspeicher verpassen (QNAP TR-004 mit 3x18TB Raid5 bestücken und per USB anschließen oder einfach 2x18TB Rals Raid0 in einem Pool stecken und konfigurieren), dann von der 30TB Quelle (PC per SMB?) in den temp Zwischenspeicher kopieren. Dann kann die Quelle wieder abgeschakltet werden/etwas anderes tun/etc... Und unraid wird dann angewiesen den Inhalt des temp Zwischenspeichers ins Array zu verschieben. In meinem großen System möchte ich meien Parity nicht "zwischendurch" abschalten, weil dann mehr als das 10fache der aufzukopierenden Datenmenge nicht mehr ausfallgesichert wäre.

Ich habe meines seit rudn 1 Woche auch aktiv im Betrieb (um 2 Notebooks bequem zu testen). Ich habe zwar leichte Probleme mit der Bildschirmauflösung, aber für so einen Notbetrieb ist es super. Wenn ich im Netz richtig gesucht habe sollte man sich aber überlegen besser kein Firmwareupdate durechzuführen, einige haben sich damit das Ding gebrickt., Leider läuft mein Checksummenlauf noch, somit kommte ich noch keine Screenshots zum Adaptec machen um sie vergleichen zu können.

70-80 MByte/s schreibend entspricht einem normalen Festpllatten Array mit 1 oder 2 Parityfestplatten.

Wenn Parity mit läuft ist der langsam. Schließlich muß er dann einmal die Daten auf die neue Disk schreiben und die Parity aktualisieren und dann von der Quelle löschen und die Parity aktualisieren. Ich weiß jetzt nicht wie der Dateimanager genau läuft aber da der mc bei sowas immer Häppchenweise (Datei- oder Verzeichnisweise) arbeitet kommen sich auf der parity die Operationen nicht so direkt in die Quere. Sollte der Dateimanager jede date einzeln kopieren und dann direkt verschieben, treffen sich die Lese- und Schreiboperationen bei der Parity und bremsen sich so (durch notwendige Kopfbewegungen) zusätzlich aus.

Das ist viel. Scheint ein großes System zu sein. Erst einmal schauen, wie es aussieht, wenn das System idle ist (alle VM+Docker aus). Ist der Verbrauch dann immer noch riesig, ist es ein problem in unraid. Ist der Verbrauch wieder niedrig, ist es einer der Docker/VM. Schuss ins Blaue: Da es die NerdTools für V7 nicht mehr gibt könnte es sein, daß die deinstalliert wurden und powertop oder so mitgerissen haben? Kann es sein, daß Du vorher powertop verwendet hast und das jetzt eben nicht mehr läuft?

Da das Array im Regelfall eine Parity hat würden sich alle Zugriffe aber wieder an der Parity "knubbeln" und gegenseitig noch mehr bremsen. Vermutlich deshalb ist sowas nicht implementiert. Selbst wenn man mit dem Mover gleichzeitig vom Pool auf 3 Disks beschreiben will, würden sich die Zugriffe in der Parity dann sogar noch mehr als nur um das 3 fache verlangsamen. Der Mover (zumindest vor V7) war ja nur gedacht zwischen Array und Pool zu verschieben. Von einer Disk zur Anderen im Array ist damit ja sowieso nicht angedacht gewesen. Das ist für einen Mover schon schnell. Entweder hast Du keine Parity im Array oder Du nutzt im Array SSDs. Bei normalen Festplatten mit Parity sind peak eher 85 MByte/s üblich.

Ich zumindets nicht. Vielleicht mal ein neues Sahre erstellen und da neu konfigurieren. Hast Du vielleicht eine Mover tuning App oder sao aktiv? Bei mir ist sowas bisher nicht aufgefallen. Text, Bild und auch gepackte Dateien werden bei mir ohne Probleme gemovt.

Schlimmstenfalls: anderen urnaidstick basteln (Testlizenz reicht ja), SSDs entfernen, mit dem Stick booten und optimieren (powertop...) und dann unraid komplett mit Array starten und Platten in Spindown schicken (wobei der Spinup/Spindown die C-States nicht beinflussen sollte). Auch das sollte nach ca. 20 Minuten zeigen ob mehr als C3 drin ist. Man muß ja nicht das laufende System mit dem aktuellen Stick verbiegen um nur diese Kleinigkeit festzustellen. Und da ich zu faul bin für kurze Tests die Set Befehle (ASPM Helper) zu nutzen, etc... warum nicht gleich mit 6.12.4 das mal kurz testen? Auf dem Weg hat man auch für den kurzen Test keine störenden VM oder Docker laufen und kann erahnen, was mit den aktuellen BIOS/UEFI Einstellungen möglich ist. Nachteil Mitd em Test verbennt man den USB STick füpr eien Unraid Lizenz. Aber irgendeinen alten Stick mit ID sollte man vielleicht ja noch rumliegen haben. urnaid ist klein und auch ein 1-2 GB Stick sollte für den Test reichen.

Deine Kriterien waren robust und flott und dann hast Du WD BLUE Modelle gewählt? 😮❓ Ich bin weiterhin der Meinung: sparsam und gut sind Samsung 970 Evo Plus (möglichst groß) und habe gute Erfahrungen mit AData Legend 960 4TB, Patriot Viper Lite VP4300l 4Tb und Lexar NM7790 4TB gemacht. Die Viper wird von denen am wenigsten Warm.

Ich sehe 2 WD NVMe SSD und würde es mal ohne diese testen, da diverse WD NVME SSD aufgefallen sind die C-States generell zu verschlechtern. Ob es diese Modelle sind, weiß ich nicht. Einfach mal ausprobieren.

Sind das Festplatten oder SSDs? Daten die gleichzeitig im Pool-Cache und im Array landen sind nicht normal. Auch das ist nicht normal Zeig mal ein paar Screenshots der Share Einstellungen. Wie/Wo schaust Du nach, wo die Dateien sind? In aller Regel indem man eben den Pool nicht in den Shares dazu schaltet.

Naja, den Nick habe ich mir ausgesucht, weil er passt. >300TB ist schon einiges. Das ganze mal 3 und schon sind das so einige "Daten". Ob ich nun Data, Data Collector oder DataCollector genannt werde: freut mich ja schon, dass ich bisher niemamd zu sehr auf den Schlips getreten bin, so das er mich Arschloch nennt 😉. Aber hier eine Richtigstellung! Achtung! Bevor etwas falsch verstanden wird. Ich benutze in meinen beiden größeren unraidsystemen (siehe Sigantur) sehr wohl ECC. Diese Systeme sind in meiner eher frühen unraid Zeit entstanden und sind nun einmal so. Da hatte ich auch die Vorstellung, dass ich das unbedingt brauchen würde. Da war es zwar auch nicht billig oder effizient aber gerade noch so machbar. Und trotz ECC hatte ich Anfangs Speicherrioegel dabei die defekt waren udn getauscht werden mussten, das hat aber nicht das Motherboard selber herausgefunden sondern ein paar Tage memtest86. Man hat mich das Nerven gekostet. Da es nun drinist, lasse ich es einfach drin. Ich habe sogar im Regal noch ein Coldspare mit der selben Ausstattung (abgesehen von der CPU) liegen. Es bringt mir nichts das ganze Zeugs nun auf non ECC umzubauen. Heute würde ich das ganze ohne ECC bauen. Aber mit der Erfahrung wird man eben schlauer. Mein drittes urnaidsystem hingegen wurde dann vor kurzem mit einem N100M ohne ECC realisiert. Ich verwende aber dennoch selbsterzeugte Checksummen bei den mir wichtigen Daten in meinem System, weil ich parallel auch 2 WIndowssysteme laufen habe (ohne ECC) und ich damit am schnellsten inkonsistenzen aufspüren kann. Meien WIndowsmaschinen nutzen mehrere Raid6 gleichzeitig und können somit den großen Datenbestand sogar mit erheblich höherer Geschwindigkeit gegen die vorhandenen Checksummen prüfen. Das kann auch ECC nicht ganz ausschließen. Ein Stromausfall und alles im Ramcache ist weg. Es kommt eben darauf an, was Dein Ziel mit der höchsten Priorität ist. ECC ist mit AMD günstiger und einfacher zu machen, aber es scheint bei AMD eben ein paar Besonderheiten zu geben, die es dann eben nicht ganz so energiesparend werden kann, wie bei Intel. Aber wir reden hier jetzt nicht von dutzenden von Watt unterschied. Man kann es machen. Ab und zu sind auch Diskussionen hier im Forum zu finden, bei denen sich die eine oder andere unerklärliche Besonderheit zeigt und wenn das Problem nicht gefunden/behoben wird als 'tja, ist eben AMD' beiseite gelegt wird. Ich will Dich nicht von AMD abbringen, aber empfehle Dich hier durch diverse Beiträge im Forum weiter durchzuschmökern. Gibt ja auch eine schön breite Diskussion ob man sparsame AMD Systeme basteln kann. Das geht schon sehr ins Detail (und teilweise weiter als ich es verstehe). Wenn Du nichts exotisches machen willst kann ein AMD System genau das sein, was Du willst. Ich habe für mich persönlich antschieden: aktuell ist AMD nicht das Mittel meiner Wahl für unraid. Das mag sich ändern, aber so ist es für mich eben aktuell. Als Desktop für normale Anwendungen: super! Viel Leistung, annehmbare Preise und viele Möglichkeiten. Für NAS/unraid: naja nicht ganz so fein ausentwickelt und eben etwas "kantig". Aber entscheiden musst Du für Dich selber.

Ich bevorzuge MLC Sticks, weil ich mir davon längere Haltbarkeit verspreche. Jetflash 600 sind leider als 32GB nicht mehr wirklich zu bekommen, aber 16 GB gehen jaj auch. Jetflash 780 (TS32GJF780) sind zwar UBS3.0, aber an einem USB2.0 Anschluß sollte das keine Relevanz haben. https://de.transcend-info.com/product/usb-flash-drive/jetflash-780

Den Wifi Teil kannst Du nativ unter unraid sowieso nicht nutzen. Vielleicht ausbauen, wenn es Dir um Strombedarf geht. ich würde bevorzugt 1x 32GB oder gleich 2x 32GB nehmen. Dann barucht man bei dem Aufrüstwunssch (>32GB) nicht gleich eines oder beide Module zu entsorgen. Da Du unbedingt winziges ITX nutzen wilst: welche gedanken hast Du Dir zur Stromversorgung gemacht? Pico ähnlichen Spannungswandler oder SFX Netzteil? Wenn es dabei bleibt sollte Picostromversorgung reichen (160W). Das würde ich nicht unbedingt direkt in unraid handhaben. Ich lasse das meine Fritzbox machen. Hm... das kann funktionieren. Vergiss in Deiner Ausstattung nicht die eine oder andere SSD als Schreibcache und für VM/Docker. Kann klappen. Dann würde ich auch eher zu einer Pico Versorgung greifen. Gerade bei dem Spielraum nach oben: Wenn Du damit mehr Ram meinst: nimm eben lieber ein 32GB Modul anstatt 2x 16GB. Wenn Du meinst, daß Du bei der Aufruestung damm max 6 3,5inch festplatten meinst: dann ist déien pico Stromversorgung doch eher ungünstug. Dann such Dir ein passendes Netzteil aus. Das geht aber ggf. zu Lasten des gesamtverbrauches (auch, wenn Du anfangs nicht so viele Festplatten verbaust). Tja, wie oben schon geschrieben: Das hängt davon ab. wo Dein Endziel ist, bei den angedeuteten Aufrüstungen. Das Mainboard + 2x HDD + I3-14100 und nichts weiter: dann reicht 160W Pico ähnlicher Spannungswandler (Inter-tech 160W) + 156W 12V ULL Leicke Netzteil Wenn es mehr werden soll. kann es (ja nachdem "was" es mehr werden soll) knapp werden. Ob es nun Ironolf sein muß sei mal dahingestellt.

AMD und unraid klappt weitgehend, ist aber nicht sehr effizient. Bei AMD haben mehr CPUs und Mainboards die Fähigkeit mit ECC umzugehen. Es gibt aber bei diversen AMD Systemen unter unraid eben doch kleine Probleme, die sich nicht beheben lassen. Ich würde unraid auf AMD nicht unbedingt empfehlen, aber es ist machbar.