mgutt

Sorry, das war ein Schreibfehler. Ich meinte JMB585. Der hat die beste Performance: https://forums.unraid.net/topic/41340-satasas-controllers-tested-real-world-max-throughput-during-parity-check/ Ein Port Multiplier ist ok, aber da SATA ein sequentielles Protokoll ist, kann man gar nicht zwei oder mehr Signale parallel übertragen. Das Maximum von einem SATA Port ist 560 MB/s. Wenn du also zwei HDDs anschließt, teilt sich diese Bandbreite auf diese beiden HDDs auf. Bei voller Belegung entsprechend auf 5. Allerdings kann man das nicht einfach durch 5 teilen, da durch die sequentielle Übertragung zwischen jedem Transfer ein Start und End-Befehl liegt. Das ist der Overhead und der sorgt dafür, dass die Bandbreite bei voller Belegung auf 35 MB/s fällt: https://wiki.odroid.com/odroid-h2/application_note/10_sata_drives Und jedesmal wenn ein Parity Check oder ein Rebuild läuft, muss Unraid auf alle Platten gleichzeitig zugreifen. Aus dem Grund sollte man maximal 2, allerhöchstens 3 HDDs an einen Port Multiplier anschließen. Ich selbst nutze zwei Port Multiplier in meinem Backup Server. Alles gut, aber eben nur 2 HDDs pro Multiplier. Ja, das ist kein Problem. Allerdings gibt es viele Probleme mit Marvell Karten. Müsstest du einfach testen. Ansonsten kann ich dir diese Karte empfehlen: http://www.iocrest.com/index.php?id=2067 Diese verkauft auch Delock in Deutschland, aber deutlich teurer als direkt aus China: https://www.delock.de/produkt/90395/merkmale.html Auf der Rückseite des "Fanuse" siehst du einen Aufkleber mit einer Artikelnummer. Auch das ist ein IOCrest Adapter und zwar dieser: http://www.iocrest.com/index.php?id=2070 Diesen verwendet @Alphavil und ich erfolgreich im Server. Allerdings muss man sehr vorsichtig sein, denn die Platine ist dünn und man darf kein Stecker einstecken oder lösen, wenn die Karte verbaut ist. Am besten vor dem Einbau die SATA Kabel einstecken, in dem man die Platine auf eine gerade Oberfläche legt. Ansonsten besteht die Gefahr, dass man die Leiterbahnen beschädigt. Ich würde daher eher zu PCIe Karten raten. Hier ist nun die Frage ob es ökonomisch Sinn macht die Platten zu vergrößern und die Portanzahl damit zu verringern. Viele Platten und SATA Controller bedeuten ja auch immer mehr Stromverbrauch. Ansonsten wäre mein Vorschlag: Asrock B365M Pro 4 + 2x ASM1166 6 Port. Dann hättest du 18 Ports. Mit dem Asrock hättest du 2x M.2. Du könnest also auch Asrock + 2x JMB585 = 16 Ports nehmen und für den Cache zwei M.2 NVMe nutzen. Das wäre meine Empfehlung, weil du da die beste Performance hättest. Auf keinen Fall 8 Port SATA Karten kaufen. Die nutzen einfach zwei Controller und einer davon ist ein Port-Multiplier. Es gibt so einen Quatsch auch bei 6-Port Karten, also aufpassen: http://www.ioi.com.tw/products/proddetail.aspx?CatID=106&DeviceID=3029&HostID=2039&ProdID=1060177 Die "PCE6SAT" und die "PE-156" sind Karten mit ASM1166 Chipsatz. PE-156 müsste der Hersteller sein und die gibt es auch mit Delock Branding, ist aber aktuell ausverkauft. Der Hersteller vom PCE6SAT müsste dieser sein. Die gibt es bei eBay, Amazon und Aliexpress mit den wildesten "Markennamen". EDIT: Hey cool, ich habe endlich mal die offizielle Seite von JMicron zu dem JMB585 Controller gefunden ^^ https://www.jmicron.com/products/list/15 Wenn dir Stromverbrauch wichtig ist, dann lass das sein. Wenn das kein Thema für dich ist: Die gibt es auch günstig gebraucht auf eBay.

Würde mich wundern, wenn das nicht mit 10G klappt. Ich mein wer hat da schon mehr als 15m oder so in einem Einfamilienhaus.

Ich habe eine offizielle Antwort von Gigabyte: C246M-WU4 und C246-WU4 lieferbar ab Großhandel dh falls nicht beim Einzelhandel verfügbar, dann darauf hinweisen, dass der Großhandel Lagerware hat. C246N-WU2 ist aktuell ausverkauft, kommt aber nach. Lieferzeit unbekannt. Falls sich der Händler quer stellt, kann ich evtl auch eine Sammelbestellung arrangieren. Wenn sich 5 zusammen tun, kann ich das gerne anfragen.

Bisher habe ich noch keinen 1200er Build gesehen, der einen 1151 vebrauchsmäßig schlagen konnte. ECC geht auch nicht mehr ohne Xeon. Daher nur eingeschränkt empfehlenswert. Wenn du ein W480M mit Xeon W-1250 nehmen willst, dann ist das sicher ein geiles Setup. Muss man nur vermutlich >5W mehr an Verbrauch akzeptieren. Dafür aber auch gleich 2.5G LAN, was ja bald Standard sein dürfte. Also ein klares "Jein" von mir ^^

Original source is linked here: https://slackware.pkgs.org/current/slackware-x86_64/undervolt-20201024_13fa33d-x86_64-2.txz.html

Dann kommen die wieder weg. Ich vergleiche sie mit meiner Qnap QXG‑10G1T und einer 10G SFP+ Karte mit Tehuti Chipsatz, der ja der sparsamste sein soll.

Noch nicht. Ich muss noch den NPM hätten und testen. Danach mache ich dazu ein Video.

Your argument doesn't make sense as the docker.img is on the same disk (usually) and all containers write their temporary data to it.

Schon bestellt. ^^

OK, powertop nutzt du nicht oder eigene Energiesparbefehle für die SATA Ports? Dann würde ich sagen, dass du das Board leider abhaken kannst. Mit 10 Ports bietet sich das Gigabyte C246-WU4 an. Darauf dann einen i3-9100. Zwei Ports sind übrigens auch Multiplier-fähig. Der voll belegte Port Mulitplier ist übrigens der Grund warum der Rebuild bei dir so lange dauert, deshalb solltest du lieber darauf verzichten. Max 2 HDDs pro Multiplier wäre meine Empfehlung. EDIT: ach du willst ja sicher nicht unbedingt ECC RAM. Dann kannst du auch das 90 € ASRock B365 Pro 4 nehmen. Hol dir dann aber bitte eine zweite 5-Port SATA Karte (JMB585) und lass den Multipler weg. Also 6 + 4 + 5 = 15. Die Performance beim Parity Check bzw Rebuild ist dann 10x besser.

Du hast jetzt aber SFP+. Meins bezog sich auf 10GBase-T. Mit SFP+ gibt es das auch mit der 530FLR-SFP+. Die liegt bei ~ 20 € mit Versand. Bei servershop24 zb 15 € zzgl 5 €. Braucht man also zwei, kommst du mit den Risern bei 35 + 20 € für die Adapter = 55 € für 2x Dual SFP+ Karten raus. China Händler habe ich also noch gar nicht einbezogen. Alles von deutschen Händlern. Aus China kostet die Karte 10 bis 15 € inkl Versand.

Führe dieses Kommando im WebTerminal aus: lsscsi --verbose Es wird der Name/Seriennummer der HDD und im Pfad auch die ATA Nummer ausgegeben. Welche HDD wo angeschlossen ist, musst du dann im Gehäuse nachschauen. Nein und das fasst du auch nicht an Unraid merkt sich die Seriennummern der HDDs. Das Board, Controller usw sind egal. Es kann höchstens sein, dass ein Controller den Namen verfälscht. In dem Fall melde dich hier bevor du herumprobierst. Ach ja. Mach bitte ein Backup vom Stick.

Man nehme diesen Adapter für 13.69 € inkl Versand: http://shop.sysmocom.de/products/hpe-flexiblelom-pciex8-adapter-diy-kit Und eine HP FlexibleLOM Karte für ~25 € https://www.ebay.de/sch/i.html?_nkw=hp+(10gb%2C+10gbit%2C+10gbe%2C+10gbase-t)&_trksid=p2334524.m4084.l1313&_sop=15&_odkw=hp+10gb Zb die 561FLR-T. Die sollte gehen: https://github.com/TobleMiner/HPE-FlexibleLOM-adapter/issues/3 Man könnte sich die Platine auch an Hand der GitHub Vorlage anfertigen lassen.

Müssten wir das nicht im Screenshot sehen können? Weil da ist Parität1 ja einfach komplett weg. Ich hätte jetzt einen fehlerhaften Eintrag erwartet. Also "New Config" hattest du nicht gemacht?

Dann haben wir vermutlich verloren, denn du hattest kurzzeitig Parität1 im Rebuild von Disk3. Dh der Inhalt der Parität1 hat sich geändert und kann nun nicht mehr für den Rebuild von Disk3 genutzt werden. Dazu hast du dann auch noch Disk3 genullt, so dass die Daten die da drauf waren, sowieso weg sind. Ansonsten hätte man sie mit einem Datenrettungstool wiederherstellen können. Parität2 hilft uns offensichtlich auch nicht, denn du hast so viele ATA Fehler auf mehreren Platten, dass die Parität2 die Disk3 nicht zurückberechnen kann. Für diese Berechnung müssen nämlich alle anderen Platten in Ordnung sein und du hast Fehler auf ata9, ata10, ata12 und ata15. Kannst du diese ata Ports einem Controller zuordnen? Hast du zufällig powertop ausgeführt? JorgeB vermutet nämlich Probleme bei der Stromversorung. Der einzige Strohhalm wäre ein komplett fehlerfreies System und dann müsste man versuchen die Config so zu ändern, dass er nur mit Parität1 startet (die HDD natürlich nicht mehr sonstwie mit Daten beschreiben) und man damit den Rebuild versucht und dann das selbe mit Parität2 wiederholt. Das natürlich auf zwei neue Platten. Diese Platten jagt man dann durch den BTRFS restore und betet, dass er noch was retten kann.

And why? As the emulated disk is build through the parity2, why does it result a corrupt BTRFS filesystem? Is parity2 broken because of the multiple ATA errors? I ask because the ATA errors happened several minutes after the checksum error of md3.

Is it? I mean it becomes deleted through Nextcloud if the upload / download process is finished or not?

Warum nimmst du dann nicht das deutlich günstigere Fujitsu? Der Verbrauch des Full ATX Asus wird sicher höher sein.

Der Vorteil von ECC RAM ist, dass a) der Server gar nicht mehr startet, wenn unkorrigierbare Fehler auftreten = du weißt, dass der RAM hinüber ist und b) ECC Korrekturen in den Systemlogs als Fehler gelistet werden = du weißt, dass der RAM langsam kaputt geht Bei normalem RAM gibt es beides nicht. Der Server startet mit fehlerhaftem RAM und du erfährst nichts von den Fehler bis irgendwas abschmiert. Gegenargument: Bei PCs interessiert sich auch keiner dafür. ^^ Du brauchst auf einem C246 Board Nicht RDIMM, sondern DIMM mit ECC. Das sind verschiedene RAM Typen. Diese "Frage" hast du nicht beantwortet. Jedenfalls ist das Fujitsu neben dem C246M von Gigabyte auch sparsam und mit einer extra M.2 Karte könnte man es auf zwei M.2 aufrüsten. Wenn dir ECC egal ist, dann wäre das Asrock B365M Pro 4 eine Option. Den Verbrauch davon kenne ich nicht, ich denke aber, dass der ebenfalls gering ausfallen wird.

@reinhard Bitte lad mal deine Diagnose ZIP hier hoch (Tools > Diagnostics).

Fahr mal das Array herunter und führe diese Kommandos über das Web-Terminal aus um alle Laufwerke herunterzufahren (das Dashboard wird es nicht unbedingt korrekt anzeigen): mdcmd spindown 0 mdcmd spindown 1 mdcmd spindown 2 mdcmd spindown 3 mdcmd spindown 4 mdcmd spindown 5 mdcmd spindown 6 mdcmd spindown 7 mdcmd spindown 29 0 = Parität 1 29 = Parität 2 1 bis 7 = deine Disks (kannst du entsprechend anpassen) Nach 30 Sekunden oder so wiederhole das ganze ruhig noch mal bzw lausche ob noch eine Platte läuft. Jetzt messen. Damit sind nun Container und VMs außen vor. Außerdem kannst du ja testweise noch mal "powertop --auto-tune" ausführen. Noch was. Wenn du powertop startest, dann hast du ja den "Idle stats" Bildschirm. Sieht es da wie bei mir aus? Wichtig ist, dass die CPU Kerne auf C7 (HW) bzw C10 (OS) runtergehen. Das Package sollte auch auf C6 bis C8 gehen. Bei mir ist das wie du siehst nicht der Fall. Ich glaube das liegt daran, weil ich aktuell nicht alle SATA Ports schlafen schicken kann. Das liegt daran, dass die Firmware von dem M.2 auf SATA Adapter scheinbar einen Fehler hat. Daher habe ich das Energiesparen von den SATA Ports erstmal deaktiviert. EDIT: Ich wollte es nun wissen. Ich habe gezielt meine SATA Onboard-Ports mit der Schlafmöglichkeit versehen: echo 'med_power_with_dipm' > /sys/class/scsi_host/host1/link_power_management_policy echo 'med_power_with_dipm' > /sys/class/scsi_host/host2/link_power_management_policy echo 'med_power_with_dipm' > /sys/class/scsi_host/host3/link_power_management_policy echo 'med_power_with_dipm' > /sys/class/scsi_host/host4/link_power_management_policy echo 'med_power_with_dipm' > /sys/class/scsi_host/host5/link_power_management_policy echo 'med_power_with_dipm' > /sys/class/scsi_host/host6/link_power_management_policy echo 'med_power_with_dipm' > /sys/class/scsi_host/host7/link_power_management_policy echo 'med_power_with_dipm' > /sys/class/scsi_host/host8/link_power_management_policy Das ist auch das was "powertop --auto-tune" einstellt, brauchst du also nicht machen. Jedenfalls ist mein Verbrauch nur deswegen um 4 Watt gefallen: Dadurch ist nämlich auch das Package auf C3 gesunken: Demnach kostet mich der M.2 auf 5-Port Adapter also 4W. Ich teste mal ob ich noch was spare, wenn ich die darauf ungenutzten Ports schlafen schicke (11, 12 und 13 sind belegt): echo 'med_power_with_dipm' > /sys/class/scsi_host/host9/link_power_management_policy echo 'med_power_with_dipm' > /sys/class/scsi_host/host10/link_power_management_policy EDIT: Nein, dadurch ändert sich leider kaum bis gar nichts: Die Tage werde ich noch eine 5-Port SATA PCIe Karte testen. Die hat den selben Chipsatz. Mal sehen ob der Fehler da auch ist. Außerdem ersetze ich die 10G RJ45 Karte gegen SFP+. Das sollte noch mal 3W beim Server und 3W beim Switch sparen.

As mdcmd status does not return my SATA SSD which is used as cache, which command is needed to "spin it down"? This returns no error, but has no effect: mdcmd spindown cache

Ja, weil das Dateisystem korrupt ist. Dh Parität + restliches Array ergibt kein gültiges Dateisystem = voller Datenverlust von Disk3. Ich vermute das liegt daran, dass du Parität 1 entfernt hast. Das Problem könnte nämlich sein, dass auf Parität 2 der Reed-Solomon Code liegt und Unraid nun nicht versucht per Reed-Solomon die Daten wiederherzustellen, sondern mit XOR. Auf Parität 1 liegt nämlich XOR. Dadurch stimmt das Rechenergebnis nicht und damit landen auf Disk3 falsche Werte, die keinen Sinn ergeben und damit eben auch kein gültiges Dateisystem. Fragen: 1.) Wie hast du Parität 1 entfernt? New Config und dann die Parität 1 weggelassen? 2.) Läuft die HDD noch, die vorher Parität 1 war? 3.) Hast du sie neu formatiert oder teilweise überschrieben? 4.) Läuft die HDD noch, die vorher Disk3 war? 5.) Hast du sie neu formatiert oder teilweise überschrieben? 6.) Hast du ein Backup von den Daten, die auf Disk3 lagen? @JorgeB @reinhard has a similar problem to this. He has two parities and his disk3 failed. In this status he made the big mistake to remove parity1. Now the emulation fails. disk3 shows "Unmountable: No file system". I guess, as on parity1 was the XOR parity and on parity2 was the reed-solomon parity, that Unraid now tries to emulate disk3 with parity2, but with the wrong parity calucation (XOR instead of reed-solomon). Am I right? What do you think about this plan: He changes the Unraid config files, so he has parity1 with an unknown HDD id. Now he starts the array with this missing parity1, with the working parity2 and the missing disk3. This should emulate disk3 correctly again. What do you mean?

Yes, but only if the target path is inside of the mapped path. Example: /container/data maps to /host/data Relative link: image.jpg Would target: /container/data/image.jpg which maps to: /host/data/image.jpg Would not work: ../images/image.jpg Would target: /container/images/image.jpg which maps to nothing (it stays inside the docker itself). This would only work if you map /container/images to /host/images as well or if you would map /container to /host for much broader access to the host (which was done in the "Plex example"). Depending to your target it's maybe better to create hardlinks to all the files that should be accessible through the container. But note: hardlinks work only for files. But they allow the following: /host/some_files/image.jpg links to /host/images/image.jpg /host/some_files/texts/text.txt links to /host/texts/2021/01/28/text.txt Now you map /host/some_files to the container and it can only access those files.

This is not possible. Docker containers aren't allowed to access paths which aren't mapped. So if you map /container/data to /host/data, the container is not able to reach /host/documents. No matter if absolute or relative path. If this would be possible, this would be a security hole.