Ford Prefect

...die 14x3TB HDDs in meinem letzten sind 10 Jahre alt und noch nicht defekt...das MB und NT sind vorher kaputt gegangen Da es inzwischen für weniger Geld 18+TB HDDs gibt, habe einfach 2 davon in meinen anderen unraid gesteckt und mit den Daten aus den Daten-Disks des alten kopiert. Insgesamt sogar Geld und Strom sparender. Also, HDDs sollten viel länger halten.

Ok, verstehe..Du möchtest unraid-Pools quasi kaskadieren, einen unraid-Pool (aus SSDs) fürr einen anderen unraid-Pool (aus HDDs, ein ZFS raidz1 "pool") als Cache verwenden. Ich fürchte das geht wirklich nicht. Nein, ich denke nicht. Auch in ZFS selbst gibt es allenfalls einen L2ARC, der aber nur ein Read-Cache ist. Was Anderes geht in unraid leider nicht. Man könnte versuchen, quasi eine Alternative zum Mover bauen und zwei shares zu nutzen...eines fürs schreiben, eines fürs lesen...dann die Pools quasi syncen/moven. Fände ich aber einen komplexen "Hack".

Ja, läuft aber sehr gut und ZFS ist nativ drin...was fehlt sind "tools" für weiteres ZFS Management, wie snaps und send. Die ZFS-Plugins aus den "Apps" für sowas funktionieren aber wohl mit v6.12, falls das für Dich wichtig ist....nutze ich selbst aber aktuell (noch) nicht. Das Wort "pool" ist sowohl in unraid selbst als Konzept für Daten-Disks ausserhalb des Array belegt und auch bei Verwendung von ZFS als zpool. Beides ist nicht das Gleiche....mit einem "normalen" unraid-Pool meinte ich das Konzept eines pools in unraid, der grundsätzlich unabhängig vom darauf verwendeten Dateisystem Verwendung findet. Ja, war es. Du willst einen ZFS basierten Datenpool (zpool) ausserhalb des unraid-Arrays und diesen wie einen unraid-Pool verwenden. Da bisher ZFS in unraid nicht vorhanden ist/war kannst Du nur über Umwege Shares darauf anlegen. Mit der Einführung von ZFS in unraid, ab v6.12 ist das nicht mehr nötig. Du kannst beides haben, ohne den Umweg über die SMB-Extra zu gehen. In v6.12 kannst Du einen unraid-Pool erstellen, der als Dateisystem ZFS nutzt....aus ZFS Sicht ist das ein zpool, aus unraid-Sicht ein (unraid-)pool. Diesen Pool kannst Du im Standard Web-UI von unraid (Main/Array/Pool-Ansicht/-Config) erstellen und auch bei Shares als (unraid-)Pool als Cache zuordnen. Du kannst also share1 und share2 in den Web-UI Shares-Settings erstellen und beiden Shares den gleichen (unraid-)Pool (der vom Dateisystem her dein zpool ist) als Cache zuordnen. Wenn die Shares nur für diesen Pool gelten/wirken sollen ist es das Einfachste, die Cache Einstellungen für diese Shares so einzustellen, dass Daten nie auf dem Array landen (cache = prefer oder besser cache = only). User Schreib/Leserechte für diese Shares können auch normal vergeben werden. Ziel erreicht, ohne SMB-Extra Konfig.

...nimm doch einfach den 6.12rc3 und nutze den zpool "normal" als unraid-pool, erstelle ein unraid-Share und setze im unraid-Share diesen unraid-pool auf Cache = "Prefer" oder gar "only"...da braucht man keine SMB-Extras und hat das gleiche Ergebnis mit "normalen" Bordmitteln.

Das ist so nicht richtig. unraid braucht mindestens eine Daten-Disk im Array um "zu starten"...das kann ein Mini-USB sein oder eine normale DIsk...das Dateisystem da drauf ist wahlfrei (XFS, BTRFS oder auch ab 6.12rc2 ZFS). Das ist auch nicht richtig...Du kannst eine grosse Anzahl von unraid-pools erstellen, denen einen Namen geben und in Shares auch als "Cache" verwenden. Der normale "Cache"-Pool heisst einfach nur "Cache"...Du kannst aber auch einen Pool "MikeyMouse" nennen und als Cache für Deine Videos vom Mäusekino verwenden. Auch hierbei ist der Einsatz eines Pools als Cache für ein Share nicht vom verwendeten Dateisystem auf dem Pool abhängig. Bitte das Wort Pool im Kontext ZFS nicht mit Pool im Kontext unraid gleichsetzen. Das sind zwei verschiedene Konzepte, die sich nicht ausschliessen. Evtl. kommt daher Deine o.g. Schlussfolgerung? ...ist, wie gesagt, falsch.

...weil nicht nur die eigentlichen Daten, sondern auch Meta-Daten gespeichert werden und diese redundant über das raid verteilt werden, also davon mehr als eine Kopie vorgehalten werden (muss/sollte). Ist das eiggentlichein raid1 oder ein raid10 ?? Edit: ok, sorry, meine Lesebrillle sagt, ist ZFS raidz1 Damit erst recht...ZFS ist Copy-on-Write, also werden Blöcke beim schreiben eben auf andere devices im pool kopiert, wenn sie verändert werden. Frau Werwolf sagt immer: "Das g'hört so!" Edit2: siehe auch: https://openzfs.github.io/openzfs-docs/Basic Concepts/RAIDZ.html#write

Parität, im Sinne von unraid, gibt es nur im Array. In einem Pool kannst Du - bei ZFS - die jeweils fürs Filesystem üblichen/möglichen Raid-Level nutzen....bei 2x1TB NVMe würde ich Raid1 nehmen....wenn Du Snaps wilst, dann ZFS. Ja, siehe oben. Nein, meine HDDs im ZFS Raid1 Pool gehen brav schlafen (und wachen bei Bedarf auch wieder auf ) Nein, siehe oben. Das Dateisystem ist egal. Anders als bei (unraid-)Pools hast Du im Array aber kein Raid. Wenn Du diese HDDs als Daten-Disks ins Array nimmst, also ohne Parity, sind bei Ausfall einer HDD die Daten da drauf futsch...die andere bleibt aber intakt. Jede Disk im Array ist einzeln, in einem Dateisystem formatiert...jede Datei ist immer nur ganz auf einer Disk...nimmst Du eine Daten-Disks aus dem Array, kannst Du sie in einem anderen Computer oder in unraid über das unassigned Devices Plugin normal mounten und nutzen. Es ist also kein Raid1. Eine/Die Parität muss mindestens so gross sein, wie die grösste Daten-Disk im Array. Hast Du nur eine Daten-Disk im Array und fügst eine (oder zwei) Paritäts-Disk hinzu, so macht unraid einen "Trick" und baut nur dann einen (one-/two-way) Mirror (wie ein Raid1...aber nur dann)...dabei bleibt die Performance-Penalty des "normalen" Paritäts-systems aus....fügst Du später eine weitere Daten-Disk hinzu ist das vorbei und es gelten die "normalen" Parity Regeln. -> hast Du das mal durchgearbeitet?...die anderen FAQs sind auch sicher hilfreich. Wenn Du Backups hast oder auf die Daten verzichten kannst, dann brauchst Du sowas, wie bisher, wohl nicht. nein, sie bringt in dieser Hinsicht einen Nachteil. Hat aber eben andere Vorteile...siehe die FAQ. siehe oben, nein hilft nicht. Ich glaube eine 18TB schafft im Read 180-250MB/sec...das ist auch für 3-4 parallele Streams ausreichend, weil der Client/renderer ja auch puffert. Ich würde mir da eher Sorgen um die simultane Bandbreite/die Netzwerk-Performance machen. Wenn das wirklich nicht reicht, dann als Pool und mirrored-vdev (ZFS) bauen. Ich habe meine Medien auf einem unraid-Pool aus 2x16+2x20TB (mit ZFS)....es war einfach zu aufwendig, diese Menge zu sammeln...ich will da Redundanz und Platz für mehr. im Array ja, in einem Pool könntest Du bei ZFS diesen versuchen zu importieren. Da einige DIsks aber in einem Hardware-Raid waren, geht es für diese bestimmt nicht anders als mit formatieren. Grundsätzlich ja...Du kannst jederzeit Disks ins Array hinzufügen oder rausnehmen. Es ist aber nicht "in-place" im laufenden betrieb möglich. Das Array muss jedes mal gestoppt, (um-)konfiguriert und dann gestartet werden. Solange Du keine Parity hast, die bei einer solchen Aktion ja neu gebaut werden müsste, dauert das aber jeweils nicht lange. Bitte lies die FAQs oder die Dokumentation. Du könntest auch eine USB DIsk oder eine andere, interne HDD für Backups/Zwischenspeicher nehmen um die HDDs freizuräumen. oder einfach eine neue nehmen, die alte, gefüllte mit unassigned devices mounten (nicht wenn vorher im Hardware-Raid gewesen) und dann die Daten auf die neue im Array kopieren. Der Workflow/das Wie steht Dir quasi frei. Ja, dieser Ausspruch stimmt. Schau mal oben in den Anleitungen und auch in den FAQs...beliebt und mit guter Performance ist rsync. Du brauchst natürlich ein Ziel-System oder zumindest eine/oder mehr externe Platte(n) (Backups im gleichen System oder am gleichen Ort aufzubewahren sind auch keine Backups). Mit ZFS kannst Du auch zfs send machen.

Wie meinst Du das genau? Unraid in Whg A hat IP aus Netz A und unraid in Whg B hat IP aus Netz B...den Rest macht der jeweilige Router. Wenn die Verbinding steht gilt: Wenn Du die IP des jeweils anderen unraid-Gegenüber anpingen kannst, musst Du nix im jeweiligen unraid "ver/eingeben". Das Backup Programm / Script braucht die IPs als Konfig, aber das hat nix mit unraid Settings zu tun. Man sollte aber auch darauf gefasst sein, dass die VPN-Verbindung nicht immer steht...Stichworte sind "Ausfälle, I-Net Zwangstrennung, Wartung der Fritz/von unraid, ....).

...aber nur wenn einer der I-Net Anschlüsse eine echte, öffentiche ipv4 (statisch oder dynamisch) hat, also kein CGNAT am Start ist. Sonst muss man ein paar Klimmzüge machen.....

Das heisst, die Mediendaten sind schon im passenden Format und Auflösung für die diversen Clients/Renderer vorhanden...Du/Plex muss nicht live transkodieren? Wenn Du keine Parity brauchst/willst, kannst Du das so machen...du kannst bei der Konfiguration der Shares sagen, über welche Disks sich das Share spannen darf. Die Idee passt also. Das wäre sinnvoll, ja... mit XFS machst Du bestimmt nichts falsch....wenn Du ein copy-on-wrire FS willst, würde ich mit der neuen 6.12RC3 und ZFS anfangen, kein BTRFS...es bringt keine Redundanz, aber wird Dir sagen, wenn eine Datei korrupt ist und auf welcher Disk....aber für Deine Anforderungen ist es kein Muss.

in unraid nicht...das bootet ja eh vom Stcik und sitzt im RAM. Beim BIOS bin ich überfragt, was die modernen Systeme angeht...mit Bifurcation Support und diversen neuen Einstellmöglichkeiten, kann man bestimmt am PCIe Takt oder Bandbreite auch was verbiegen. Ein Vergleichss-System zu haben wäre in der Tat die beste Idee. Wie gesagt, unraid bootet nur vom Stick und läuft im RAM...wäre mir schleierhaft, wie ea daran liegen könnte. Mit einem zweiten System kannst Du nach dem Ausschlussprinzip testen, umbauen , testen...irgendwann ergibt sich ein Muster (hoffentlich).

Ich fnde es enfach nur merkwürdig...und mit dem was Du sagst, dass es selbst lokal nicht funktioniert, ist es mMn kein Netzwerk, kein SMB und kein unraid Problem. Das ist ein Hardware Problem...entweder PCIe gedrosselt, das MB defekt oder die Teile haben keinen Cache, was bei Fakes oft vorkommt (die Grösse stimmt, die Performance eben nicht). Sorry, aber ich bin echt überfragt, was man da noch testen könnte.

Das ist keine Dauer-Geschwindigkeit. Diese Werte sind "Feature-Fu§$ing". So eine SSD hat, wenn sie gut ist, einen DDR-RAM Cche, danach einen SLC-Flash-Cache und erst dann kommt der eigentliche NAND Speicher. Über das PCIe-Interface können Daten schneller gefüllt werden als über SATA....ist der DDR-RAM Cache voll nimmt die Geschwindigkeit schon ab....ist wie eine Kaskade. Der Cache hat einfach keine 50GB Tiefe. Aber ja, 320MB/sec sind langsam. Dann sind darunter liegendes Netzwerk und auch Protokolle, wie SMB aussen vor. Das sollte direkt übers Filesystem und CPU gehen und auch am schnellsten sein. Da stimmt was anderes nicht. Bist Du sicher, dass die NVMe authentisch sind und keine China-Fakes?

...achso, Du hast die nicht in einem Mirror, sondern in getrennten Pools organisiert? Ich vermute, da schlägt einfach der on-die SSD cache zu...der ist wg. PCIe-Interface schneller voll, als auf den eigentlichen Flash-Speicher gedrückt werden kann. In einem Mirror teilen sich beide die Last und haben mehr Zeit .... Allerdings habe ich nur Erfahrung mit (Edit: symetrischen, also gleich grosse Disks) Mirror-Pools....die schaffen die 10Gbps.

keine Ahnung...ich hab das seinerzeit einfach immer in den standard settings aktiviert, ohne gesondertes Plugin...da ich aktuell nur 1x Daten-Disk im Array habe, brache ich das eh nicht Aber gibt es da kein Hilfe-Icon, oben rechts? Ich nehme immer high-water...das füllt die Disks letztlich gleichmässig. Aber definier "komplett" bzw "nach und nach"...im Array ist jede Disks für sich formatiert...jeder Datei ("die Daten") liegt also genau immer auf einer Disk. Bei High-Water und wenn sich Shares über mehr als eine Disk erstrecken dürfen, werden die Dateien also auf die DIsks verteilt, die im Einzelfall den meisten Platz frei hat..das gilt auch für Dateien in Unter-Ordnern., zB bei einer CD/DVD/Bluray...."gewählt" wird für jede Datei neu. Geht eine DIsk und die Parity kaputt, fehlen also diese Dateien, die auf der Disk waren....alle anderen Disks bleiben vollkommen OK. Wenn die "wichtigeste" Datei dabei war, dann ist es Zeit im Backup zu suchen Solange aber Parity noch lebt, wird die Disk und die Dateien da drauf emuliert.....hoffentlich so lange, bis die Daten-Disk ersetzt ist (Parity und rebuild ist Stress für die DIsks...kann auch schief gehen, wenn eine 16TB dafür 1-3 Tage braucht )

Na, da ging es mir um die Vorgehensweise die single-pool nvme zu erweitern... ...ganz genau.

Ja, das geht....ich weiss allerdings nicht, ob es mit unraid Bordmitteln geht. Das "zfs Zauberwort" in der Console heisst: "#zpool attach mypool /dev/sdX /dev/sdY" ... google ist Dein Freund. Ob unraid so intelligent ist, das zu machen, wenn Du es über die (unraid-UI) Array/Pool config hinzufügst, weiss ich nicht. Im Zweifel über Cache-Einstellungen und Mover wieder zurück aufs Array, Pool löschen, neu bauen, wieder über Cache & Mover wieder vom Array zurück-beamen. Alternatv, vielleicht (Backups!!!) den unraid Pool auflösen...in der CLI das Attach auf den ZFS-Pool machen...dann den ZFS-Pool importieren ?? Das eine hat mit dem Anderen nicht wirklich was zu tun. Turbo-Write ist fürs Array....und lässt einfach nur alle Platten starten, wenn aufs Array (und die Parity) geschrieben wird)...bei idle oder lesen, laufen nicht alle Platten an und spindown geht da natürlich weiterhin. Ich habe 30min und das reicht auch/geht super.

Ja, da alle die Fritz als default-route / gateway nutzen ist das ja OK....willst Du das nicht? Auf das gesamte Netzwerk zugreifen? Die Frage ist, WAS Du erreichen willst (s.o.) Durch das NAT im unraid, sehen die Wireguard-Clients aus, wie der unraid-Host (nutzen dessen IP). Durch das NAT kannst Du zB nur auf LAN-IPs zugreifen, die ein eigenes "echtes" Interface im LAN haben...also ein anderer Host/Client, oder auch eine VM auf unraid...ein Docker im custom-bridge Mode, mit fester IP zB geht dabei aber nicht (ohne es extra in den Docker-Einstellungen zu erlauben). ...und Du kannst vom LAN aus keine Verbindung auf die WG-Clients selbst, hinter dem NAT initieren. Wenn Du es feingranularer willst, dann geht das mit ner Fritz als Router einfach nicht, weil die zB keine VLANs kann und keine konfigurierbare Firewall hat. Übrigens halte ich WG auf unraid für eine schlechte Idee....ein VPN-Service gehört auf den Router...kann Deine 5590 nicht schon selbst Wireguard mit FritzOS (7.5x oder Labor)?

Das sieht doch voll OK aus...also am netzwerk liegt es nicht. ...da das Netzwerk mit iperf OK "läuft", braucht man da ja keine Tweaks mehr, oder? da würde ich mal ansetzen. Was ist auf client Seite...jedes Netzwerk Problem hat potentiiell zwei Seiten? Vielleicht kommen da auch die NVMe "nicht hoch" und bleiben in nem unteren Power=Performance-State? Aber das ist nur ne Vermutung.

hier auch

....und das SMB Share hat auch ganz sicher den Cache eingeschaltet, so dass die Daten auf dem Cache-Pool mit dem Samsung EVOs landen? Beachte, das auch Daten beim kopieren von unRaid zum Client auf (noch) dem Cache liegen müssen ... sonst kommen die vom Array und sind einfach langsamer.

Nein, das brauchst Du nicht...ich komme mit der normalen 1500er MTU auf mehr als 9.7G. Wenn man sowas macht, müssen wirklich alle Ports in der Kette auf diese MTU eingestellt sein....und es bringt eigentlich nix für 10G. Hast Du an der MTU schon was gemacht? beachte, dass es L2 und L3 MTU gibt...die müssen zusammen passen, also L3>L2...das gilt auch für den Switch. Für iperf gibt es binaries hier: https://iperf.fr/iperf-download.php ...nimm iperf3. Für unraid am besten über das un-get plugin von @ich777 installieren: https://github.com/ich777/un-get oder auch einen Docker nehmen....

Für SMB müseen beide Seiten schnell genug seiin, inkl. der Disks. Hast Du mal mit iperf getestet, ob das Netzwerk wirklich die 10G schafft...da sollten so +9.7G drin sein.

@SpencerJ any news on that topic, regarding tapatalk integration? Actually the problem from above did not happen again for a while, but after an update of the tapatalk App (Androd) today, I cannot login (Forum User Name and Password) anymore. However, accessing the forum anonymously from the App is working, still. Also no problem using a PC / Browser after the false login attempts via tapatalk....maybe this is another problem altogether?

Ah, OK...das war mir nicht so klar. Aber trotzdem erschliesst sich mir das Setting aus gleichem o.g. Grund nicht Aber schön, dass es sowas nun gibt. im T-Modus ist die Leistung gedrosselt, also läuft die Bearbeitung länger. Energie ist Leistung * Zeit...bleibt die Frage wie sich die Energieaufnahme über den Tag balanciert und welches Setting bei gleicher Aufgabenverteilung gewinnt. Wäre eine spannende Untersuchung, die man mal durchdenken und ausprobieren könnte....🤔