mgutt

WebTerminal oben rechts das >_ öffnen. Dann Befehle Copy & Paste und Enter.

Fast. Den Tab "Network" anklicken. Dann die Seite neu laden. Wobei in der "Console" ja bereits einige 404 Meldungen stehen. 404 heißt, dass eine URL nicht geladen werden konnte. Die wirst du dann in der Liste von "Network" sehen

Leider nein. Foto folgt ^^

Ja ist es. Ich hatte ja schon eine schnellere HDD als Parität. Das wirkt sich direkt aus. Und SSDs kommen ohne Turbo-Write beim parallelen Lesen und Schreiben auf ca 170 MB/s. Mit Turbo Write wären wieder die HDDs im Array der Flaschenhals. Und SSD Only kam ich mit 4 SSDs problemlos auf über 500 MB/s (mit Turbo-Write): Gehen wir mal praktisch vor. 5 SSDs mit jeweils 1TB. RAID6: Wir machen den Pool voll, also fügen 3TB an Daten hinzu. Abgenutzt wurden 5TB, da 2x 1TB für die Parität draufgehen. Diese Schreibvorgänge wurden gleichmäßig verteilt. Alle 5 SSDs haben sich also um 1TB abgenutzt. Array mit 2x Parity: Wir machen das Array voll, also fügen 3TB an Daten hinzu. Bei jedem 1TB wechselt die Disk und die Paritäten werden von vorne neu geändert. Also werden für jedes 1TB zusätzlich 2x 1TB an Paritäten korrigiert. Die Paritäten haben sich also um jeweils um 3TB abgenutzt und die Daten SSDs um jeweils 1TB. Macht insgesamt 9TB, statt nur 5TB. Also stimmt deine Aussage. Das Array nutzt die SSDs mehr ab. Allerdings haben wir da noch die bis zu 30-fache Write Amplification von BTRFS. Die ist ja der Hauptgrund dafür, dass sich viele über die Abnutzung ihrer SSDs beschweren. Was ist nun besser?! 🤔 🤷‍♂️

Der Pool ist BTRFS formatiert und BTRFS besitzt die höchste Write-Amplification überhaupt. Der Verschleiß ist also im Array viel geringer und nicht höher. Das Array bietet dazu ein Feature, worauf Synology beim RAID F1 ganz stolz ist, nämlich, dass die Parität stärker abgenutzt wird als die restlichen SSDs. Auf die Art sinkt die Wahrscheinlichkeit, dass einem zwei SSDs zur selben Zeit ausfallen. Er will ja Docker/VM drauf laufen lassen. Daher nutzt er sie auf jeden Fall. Alleine der Parity-Rebuild / Check geht mindestens doppelt so schnell. Auch nicht verkehrt. Wenn ich könnte, würde ich sofort auf SSDs umschwenken. Egal ob 1G oder 10G Netzwerk.

Done

Updated to version 0.2. New features: # - measure execution time of the spindown command to find out if the disk was already spun down or not # - read 512 bytes if the disk is in ACTIVE state to force icon change in Unraid WebGUI # - return error message for disks that were spun down although they already should

Selbst wenn hat er aber nur wenig Leistung. Zumindest sprach er ja von Grafikkarten, also gehe ich davon aus, dass er Gaming in Betracht zieht und dafür ist EPYC eher so la la. Da brauchst du schon den EPYC 7F52 und schau dir an was der kostet. Und selbst dann hat man "nur" 2300 Single Passmarks (aktuelle Consumer CPUs kommen auf über 3500, sind also 50% schneller): https://www.cpubenchmark.net/cpu.php?cpu=AMD+EPYC+7F52&id=3753&cpuCount=2

Wenn du keine feste IP über den Creator vergeben hast, dann holt sich Unraid automatisch eine IP über DHCP. Wenn dann not Set erscheint, dann weil die Netzwerkverbindung nicht steht / kein DHCP Server gefunden wurde. Kann es sein, dass dein Board keinen ECC RAM unterstützt du aber welchen verbaut hast? Dann kannst du die Meldung ignorieren. Ist nur eben Schade ums Geld für den ECC RAM bzw schade drum, dass du kein passendes Board hast.

Gut gesehen. @nicx eventuell wechselst du auf eine Karte mit ASM1164, ASM1166 oder JMB585. Die sind laut hier recht performant: https://forums.unraid.net/topic/41340-satasas-controllers-tested-real-world-max-throughput-during-parity-check/

Es gibt bei manchen Marvell Controllern Probleme in Sachen VMs, aber sonst sollte der gehen: https://forums.unraid.net/topic/39003-marvell-disk-controller-chipsets-and-virtualization/?tab=comments#comment-380258 Drei meiner Kunden betreiben Unraid SSD only. Es gibt keinen außer JorgeB, der jemals von Problemen berichtet hat und das betraf ein bestimmtes SSD Modell. Vom Prinzip ist es simpel. Dateien drauf, ein paar wieder löschen und dann einen Parity Check machen. Solange der fehlerfrei läuft, sind die SSDs geeignet.

Jetzt sind noch 6 Stück da (C246N-WU2 ITX). Der i3-10100E soll angeblich nächste Woche bei mir sein. Ich glaube es ja nicht, aber vielleicht geschieht ja ein Wunder ^^

Mit ECC sind deine Board Optionen folgende: https://geizhals.de/?cat=mbxeon&xf=317_C246 Die beliebtesten Boards sind das Gigabyte C246N-WU2, weil es das einzige sparsame Mini ITX Board ist (das Asrock Rack C246 WSI zieht doppelt so viel Strom) und das Gigabyte C246M-WU4 und W480M Vision W, weil sie die einzigen mATX mit 2x x4 M.2 Slots sind. Alle anderen Boards haben hier entweder nur einen Slot oder nur x2 Slots oder es sind schlicht größere Full ATX Boards mit entsprechend höherem Stromverbrauch. Chipsatz C246 bzw Sockel 1151v2 unterstützt ECC RAM beim i3 und Pentium Gold. Wie @Ford Prefect bereits sagte geht das bei Chipsatz W480 bzw 1200 Sockel nicht. Da muss man einen (teuren) Xeon nehmen. Supermicro wäre evtl noch eine Option, wenn man IPMI haben möchte. Deren Boards sind aber auch nicht sparsam. Das Fujitsu D3644-B ist noch interessant, aber es scheint sehr schwer zu sein, das sparsam zu bekommen, denn hier im Forum gab es nur höhere Verbräuche, wenn ich das richtig in Erinnerung habe. Meine Bauverschläge, wenn du ECC RAM haben willst: ITX 1151v2 (eher i3, wenn du auch mal mit einer VM rumspielen willst): https://geizhals.de/?cat=WL-1881432 mATX 1151v2: https://geizhals.de/?cat=WL-2107596 mATX 1200 (hätte sogar 2.5G LAN Onboard): https://geizhals.de/?cat=WL-2107598 Ich empfehle einen 32GB Riegel, damit man das Board später maximal belegen kann und das Corsair RM550x, weil es aktuell das effizienteste Netzteil ist. Achte bitte bei jeder Komponente auf den Preisverlauf. Manchmal ist was ausverkauft und unrealistisch teuer.

Da du aktuell einen NUC verwendest: Muss der Server kompakt sein? Und möchtest du externe Festplatteneinschübe oder reicht dir auch intern zum Schrauben? Es gibt ja massig ITX NAS Gehäuse, wo dann zb 4 Platten reinpassen. Nur dann legt man sich eben auch darauf fest. Mit mehr Bays gibt es meiner Ansicht nach sonst nur das: https://geizhals.de/silverstone-case-storage-ds380-sst-ds380b-71062-a1064122.html?hloc=de&v=e Das hier bietet zb nur Platz für 4x extern und 2x SSD intern: https://geizhals.de/chenbro-sr301-plus-sr30169t3-a2307173.html?hloc=de&v=e Wie gesagt, wenn es kompakt und externe Einschübe haben muss. Normale PC Gehäuse ohne Einschübe sind günstiger. Zb das Node 304: https://geizhals.de/fractal-design-node-304-schwarz-fd-ca-node-304-bl-a794687.html Ob ECC RAM ja oder nein, ist eine Frage der Philosophie: https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?tab=comments#comment-947943 Es erhöht jedenfalls deutlich die Kosten. Beim Board kommen gerne 50 bis 80 € dazu und beim RAM ebenfalls noch was. Als ITX gibt es auch nur sehr wenige Boards, die in Frage kommen.

Ja, leider ein klassisches SMB Problem, wobei ich tatsächlich in Versuchen ab x 100.000 Dateien auch schon eine zusätzliche "Bremse" angetroffen habe. Die Ursache dafür ist mir auch nicht klar. Mein Vorschlag wäre viel RAM zu installieren und dirty_ratio anzuheben, damit Uploads in den RAM geschrieben werden. Außerdem wie gesagt Direct Disk nutzen, statt /mnt/user um Unraids Overhead zu vermeiden. Alternativ NFS oder FTP (über Docker, nicht Unraid) probieren.

Bei Unraid nicht. Dort ist er ein separates Volume, dessen Inhalt du sehen kannst. Siehe auch: https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?tab=comments#comment-951565 Vom Prinzip steht dir jede Variante offen. Du könntest ein reines SSD Array machen und gar keine Pools nutzen. Du könntest ein HDD Array machen und einen SSD RAID Pool (Cache) davor schalten. Oder du könntest sogar HDDs ins Array, SSD Pool als Cache davor und noch einen separaten SSD Pool für andere Daten erstellen. Ohne HDDs wäre der Server sehr stromsparend und durchgehend performant, aber du bräuchtest für die 10 SSDs 10 SATA Ports, was nur mit einem zusätzlichem SATA Controller möglich wäre, der auch wieder Strom verbraucht. Oder du lebst mit 7x SSD + 1x Parität und sicherst per USB auf eine HDD. Dann ginge ein Board mit 8x SATA. Mit der Zeit könntest du dann ja größere SSDs nachrüsten und damit evtl wieder SATA Ports freischaufeln. Wenn dir Backups reichen, könnte man sogar komplett ohne Parität arbeiten. Möglichkeiten gibt es also genug.

The part that is related to Unraid was solved. Nobody can solve write-amplification of BTRFS and Unraid can't influence how docker stores status updates. Docker decided to save this data in a file instead of RAM. This causes writes. Feel free to like / comment the issue. Maybe it will be solved earlier if devs see how many people are suffering from wearing out SSDs.

Ja, sowas ist nervig. Ich hoffe du findest das Problem.

Which container has a size of more than 1GB?! And most of them re-use the same packages. 100GB is really crazy ^^

IP, Port, DB Name und Login der DB stimmen? Hat knex666 etwa einen anderen Prefix bei den Tabellen?

I don't know, but who cares? It contains only docker related files. Rebuilding is done fast.

Du kannst einem Pool gar keinen Pool vorschalten, daher geht es selbst nicht, wenn du es wolltest. Aber auch bei einem Array wäre das tatsächlich überflüssig. Aber warum überhaupt die SSDs im Pool und nicht im Array? Wäre mir klar zu viel Write Amplification durch BTRFS (erhöhte Abnutzung der SSDs) und die würden auch ständig im Betriebsmodus verbleiben, da man das komplette RAID seltenst in den Standby bekommt.

Kannst du mit Unraid auch. Nennt sich br0 bzw MACVLAN. Kannst du mit Unraid auch. Nur eben nicht über die GUI, sondern über die Kommandozeile und natürlich vorausgesetzt die Docker liegen auf einem BTRFS Pool oder ZFS-Pool. Wobei ich da eh keinen Mehrwert sehe. Privat reichen mir Backups. Wenn der Docker nach einem Update nicht mehr will, sind mir die paar Minuten Zeitverlust für die Wiederherstellung echt egal. Da muss ich nicht extra noch Speicherplatz auf der SSD für Snapshots belegen, seien sie auch noch so klein. Aber da darf ruhig jeder einen eigenen Anspruch haben.

Das ist korrekt. Also mehr Overhead. Dafür könnte man aber die komplette VM inkl der Container im laufenden Betrieb sichern. Kommt halt dran an was man favorisiert. Auch von der GUI her, usw.

Which is absolutely normal as BTRFS is a copy-on-write filesystem with huge write amplification.