hawihoney

In 2018 I wrote a Perl script to convert ISO files to MKV files automatically. It uses makemkvcon from the MakeMKV docker container and mkvpropedit from the MKVToolNix container. It uses some rules from my personal folder/file naming so some small corrections are neccessary. But someone with a little bit Perl knowledge can fix that easily. This script did process a complete ISO backup library in three months. The ISOs were created by tsmuxer and did contain the relevant streams only. So no full DVD/BD backups.

I'm using the jlesage/makemkv Docker Container on Unraid since years to do that exactly. If the ISO files are stored on Unraid it's the best solution. Why bother with network to transfer files twice?

Installiere, wenn noch nicht geschehen, die Unassigned Devices. Starte mit dem neuen Stick ohne die gesicherte /config vom alten Stick - also wirklich neu. Dann neu starten. Danach Screenshot vom Main Tab und die Diagnostics posten. Wäre auch interessant einen Screenshot des Main Tab vom alten Stick. Ich kann mir nicht erklären wie das zustande kommen kann.

Schade dass es keine Ausgabe der Rechte von vor der Rechte-Anpassung gibt. Das hätte mich wirklich interessiert. Ist es tatsächlich so, dass /mnt/user/music standardmäßig in Unraid existiert?

Hab mal im Linuxserver Docker nachgeschaut: - PUID und PGID musst Du auf 99 resp. 100 ändern. - /config ist der appdata Ordner, der wird i.d.R. automatisch korrekt gemappt - /data1 ist anwendungsspezifisch (siehe zweiten Link) - /data2 ist anwendungsspezifisch (siehe zweiten Link) https://docs.linuxserver.io/images/docker-syncthing

oder automatisiert mittels User Script. Mit diesem Skript, und dem User Scripts Plugin, ziehe ich einmal pro Woche ein Backup:

Klick mal in der Unraid GUI (Main) auf den USB Stick (Flash). Dort findest Du einen Button für ein manuelles Flash Backup.

Wo kommt denn das /bin/ her?

Das Dateisystem spielt überhaupt keine Rolle. Für die Parität werden die gesamten (raw) Platten vom ersten bis zum letzten Bit betrachtet. Die Parität kennt keine Dateisysteme. Wenn wir eine Datei oder einen Ordner erstellen oder beschreiben, dann erfolgt die Paritätsberechnung auf der zugrunde liegenden Device-Ebene und nicht auf Dateisystem-Ebene.

Das ist das Geheimnis hinter den geclearten Disks. Während des Nullens wurde gleichzeitig die Parity aktualisiert. Nach dem Abschluss des Nullens existiert die Platte "logisch binär" nicht mehr. Man muss sich nur penibel an die Anleitung halten. Generell schadet ein abschließender Parity Check natürlich nicht - ist aber IMHO nicht erforderlich. Eine komplett mit '0' gefüllte Platte beeinflusst die Parity Kalkulation nicht. Das gilt sowohl fürs Einfügen als auch fürs Entfernen von Festplatten. Ich hänge mal die englische Wikipedia Beschreibung von XOR an, da die deutsche "wahr und falsch" (logisch) schreibt. Für unseren Fall sind aber "0 und 1" (binär) aus der englischen Beschreibung verständlicher: https://en.wikipedia.org/wiki/Exclusive_or#Truth_table

Ganz ehrlich, ich hätte keine Ahnung wie das ginge. Ich ging immer davon aus, dass vi zu der Grundausstattung einer jeden Installation gehört. Gut das bei dem einzigen, bei mir ohne vi installiertem, Container Plex so gut wie alle Settings auch über die GUI einstellbar sind. Ich wäre ohne vi aufgeschmissen gewesen.

Das ist bei allen bei mir installierten Docker Containern installiert - dachte ich jedenfalls. Im Linuxserver.IO Plex Container ist es ebenfalls nicht installiert. Bei allen anderen, bei mir installierten Docker Containern, ist es hingegen installiert. Ganz seltsam. Wer erstellt denn Docker Container ohne vi ...?

vi wird überall installiert sein. In welcher Konsole befindet Du Dich? In der Unraid Konsole oder in der Konsole des entsprechenden Docker Containers?

Spontan fällt mir JDownloader2 ein. Persönlich habe ich das noch nicht gemacht, angeblich soll das aber gehen. Und zum Abspielen? Als Plex User würde ich den Content in Plex integrieren. Da gibt es halt vielfältige Möglichkeiten.

Wie bei jedem Linux basierten OS existiert die Unterstützung für einen Lese- und Schreibcache im Linux Kernel und somit in Unraid. Herangezogen werden dafür konfigurierbare Anteile des Hauptspeichers. Weitergehendes minimales Caching existiert im Fuse System. Hast Du Dich extra am Dienstag hier angemeldet um diese Diskussion loszutreten und dann auch noch die Statements nach kurzer Zeit in Großschrift rauszuschreien. Was ist Deine Intention? Wie auch immer. Es gibt viele Dokumente die die Effizienz des Linux Caching beschreiben. Hier mal etwas Lesestoff mit weitergehenden Links am Ende: https://www.thomas-krenn.com/en/wiki/Linux_Page_Cache_Basics Weitergehendes von Dir gewünschtes Filecaching wäre IMHO kontraproduktiv da das ganze System Page- und Blockbasiert ist. Da müssten zwei Verwaltungsebenen parallel existieren. Ich denke Linux macht das ganz gut auf den Milliarden Geräten auf denen es im Einsatz ist. Bau mal einen Filecache selbst. Ich habe die Aufgabe mehrfach selbst in Assembler und C bauen müssen. Heute würde ich das nicht mehr vorschlagen. Glaub mir, wenn Du das effizient hinbekommen würdest, dann hättest Du sehr schnell eine Einladung ins Ausland vorliegen.

Ja. Ich habe zwei verschiedene USB Adapter. Mit beiden klappt das am Windows Laptop aber nicht am Unraid Server. Ich habe jetzt schon zwei Festplatten bei denen es hängt. Beide Festplatten waren bis vor kurzem im Array und wurden ausgetauscht. Beide Platten werden am USB Adapter nicht von Unraid erkannt - aber am Windows. Ich habe das Gefühl, dass nach mehrmaliger Nutzung einer USB Platte, Unraid/Linux einfach auf stur schaltet. Ich kenne ein solches Verhalten von früher wenn Platten einfach im laufenden Betrieb abgesteckt wurden. Die beiden aktuellen Problemkinder wurden aber einfach nur im Array ersetzt. Ich wette nach einem Reboot wären sie wieder sichtbar. Aber ich kann doch nicht dauernd den Server neu starten... Ich rotiere zum Backup mit drei Festplatten. Irgendwann will Unraid auch diese nicht mehr erkennen. Ich muss dann booten und gut ist es wieder. In der Beziehung ist Windows erheblich stabiler.

Ich habe eine USB Festplatte an meinem Unraid Server angeschlossen. Diese erscheint aber nicht innerhalb der Unassigned Devices. Wenn ich nun in die Liste von /dev/disk/by-id/ schaue, dann existieren auf dieser Festplatte zwei Partitionen, aber kein Disk Eintrag: usb-WDC_WD60_EFRX-68L0BN1_0000000000000226-0:0-part1@ usb-WDC_WD60_EFRX-68L0BN1_0000000000000226-0:0-part2@ Ich habe die Festplatte schon mit Windows gelöscht und auch mal mit Windows formatiert - was sie jetzt nicht mehr ist. Sie erscheint einfach nicht in den Unassigned Devices. Ich könnte die Platte auch mit wipefs vollständig platt machen. Dazu müsste sie aber in /dev/sd* o.ä. erscheinen. Das tut sie aber nicht. Wie geht man mit einer solchen Platte um? Vielen Dank.

Der Lizenz-Schlüssel ist mit dem Stick gekoppelt. Auf dem Stick legt Unraid u.a. die Konfiguration des Arrays ab (Festplatten-IDs, Zuordnung zu den Slots, ...). Steckst Du diesen Stick in einen anderen Rechner mit unterschiedlichen Festplatten dann wird Unraid nicht starten und eine fehlerhafte Konfiguration bemängeln. Ob Unraid die Lizenz zusätzlich mit der super.dat gekoppelt hat, weiß ich nicht. Ich hätte es jedenfalls gemacht ...

Hab mich mal ran getraut. Nach jedem Aufruf von "docker run jrottenberg/ffmpeg:4.4-alpine" erhalte ich einen neuen gestoppten Container auf der Container Übersicht angezeigt. Die haben dann so lustige Namen wie "gifted bassi" oder "distracted-wright". Ganz seltsam:

Angeblich hat der Plex Server upstream ffmpeg drin, ich finde es aber nicht. Die durch Plex erweiterte SQLite Version habe ich gefunden ffmpeg aber noch nicht. find bleibt in dem gigantischen Plex System immer hängen.

Leider nein. HW Unterstützung benötige ich nicht. Im Docker Container wäre es auf Grund der vielen Abhängigkeiten bestimmt sicherer als über das Nerd-Pack.

In den anhängenden Bildern seht Ihr einen Unraid Server der aus drei Gehäusen besteht. Der eigentliche Server (oben) besteht aus: ------------------------------------------ 1x Supermicro SC846E16 Gehäuse 1x Supermicro BPN-SAS2-EL1 Backplane 1x Supermicro X12SCA-F Mainboard 1x Intel Xeon W-1290P CPU 1x Noctua NH-U9S Kühler 4x Samsung 32 GB M391A4G43AB1-CVF RAM --> 128 GB 1x LSI 9300-8i HBA 2x LSI 9300-8e HBA 2x SFF-8643/SFF-8087 Kabel intern von 9300-8i an Backplane 4x SFF-8644/SFF-8088 Kabel extern von den beiden 9300-8e an die beiden JBOD/DAS Erweiterungen 2x Samsung 970 EVO Plus 1 TB PCIe NVMe M.2 SSD 24x Festplatten mit Dual Parity - überwiegend Toshiba Jede der beiden JBOD/DAS Erweiterungen besteht aus: --------------------------------------------------- 1x Supermicro SC846E16 Gehäuse 1x Supermicro BPN-SAS2-EL1 Backplane 1x Supermicro CSE-PTJBOD-CB2 Powerboard 1x SFF-8087/SFF-8088 Slotblech 2x SFF-8087/SFF-8087 Kabel intern von Slotblech an Backplane 24x Festplatten mit Dual Parity - überwiegend Toshiba Jede JBOD/DAS Erweiterung wird im Server als eigenständige Unraid VM geführt. Jeder Unraid VM ist einer der beiden LSI 9300-8e HBAs durchgereicht sowie ein eigener Unraid USB Lizenz Stick. Jeder Unraid VM sind 16 GB RAM zugewiesen. Jede Unraid VM besitzt Zugriff auf alle CPUs - es gibt also keine CPU Isolation. Alle Festplatten der JBOD/DAS Erweiterungen sind via SMB im eigentlichen Server gemountet. Der Server hat somit alle Festplatten aller drei Gehäuse im Zugriff. Es gibt keine User-Shares. Alles läuft über Disk-Shares. Da ich nach wie vor BTRFS für meine Zwecke als - ahem - gefährlich betrachte, betreibe ich mit den beiden 1 TB PCIe NVMe M.2 SSDs keinen RAID Cache/Pool. Die Docker- und VM-Subsysteme laufen auf einem Single XFS Pool den ich selbst regelmäßig auf die zweite SSD repliziere. Das System ist "rock solid". Es hat schon mehrere Inkarnationen hinter sich. Unraid, und hier speziell das Unraid Array, genießt mein volles Vertrauen. Mir fehlt nur noch die Unterstützung für mehrere Unraid Arrays. Dann könnte ich die beiden LSI 9300-8e entfernen und statt dessen die in den Backplanes eingebauten Expander nutzen. Theoretisch geht das jetzt schon - ich hatte das auch schon getestet - die Performance Werte über VirtIO waren aber unerträglich und kläglich. Das Original Manual der Supermicro Backplanes BPN-SAS2-EL1/EL2 ist im Übrigen unvollständig. Es wird an keiner Stelle erklärt warum es drei SFF-8087 Anschlüsse pro Expander gibt. Alle empfohlenen Konstellationen nutzen lediglich einen Eingang und einen optionalen Ausgang für das Anbinden der weiteren JBOD/DAS Erweiterungen. Nachweislich können aber 2 Eingänge verwendet werden - Unraid erkennt dann tatsächlich 8 Lanes sowie den Expander. Zwei Kabel vom HBA verdoppeln den Durchsatz. Der dritte Port kann nicht nur als Ausgang verwendet werden, sondern auch mit einem Breakout Kabel vier weitere Festplatten anbinden - also 28 Platten an einer Backplane. Vorderansicht: Rückansicht (ich habe es nicht so mit Kabeln): Das innenleben eines der beiden JBOD/DAS. Links kommen die beiden Kabel vom zuständigen HBA, in der Mitte das Powerboard:

Ach schau an. Da hast Du doch Deinen Host Pfad. Bei Dir lautet das Mapping Host: /mnt/user/HAL9000/musik/ --> Container: /media Und wo ist Dein appdata Pfad? Unter /mnt/user/HAL9000/?

Zieht der dann bei jedem Aufruf die 100 MB vom Docker Hub oder liegt das dann irgendwo (wo?) in meinem Docker Subsystem. Meine Skripte werden ffmpeg ein paar tausend mal aufrufen. Das sollte dann schon persistent bei mir liegen. Bin für jeden Einblick dankbar.

Vielen Dank. Über den bin ich ebenfalls gestolpert. Der liegt nur ein paar (!!!) Versionen zurück: 3.0.2 vs. 4.4 (April 2021). Ehrlich gesagt habe ich auch nicht ganz verstanden wie ich damit umgehen soll. Z.B. wohin wird das installiert - mir fehlt der appdata Pfad: