[Paperless NGX]

Danke @Sky-Dragon

 

Ich hab mittlerweile meinen Workflow etwas optimiert, um die die Dokumente automatisch vom Scanner zum Paperless-ngx zu bekommen.
Ich besitze einen Epson XP-7100 Drucker der leider keine Möglichkeit bietet die gescannten Dokumente direkt auf ein Unraid Share abzulegen.
Um trotzdem in den Genuss zu kommen, dass die eingescannten Dokumente automatisch von Papless konsumiert werden bin ich wie folgt vorgegangen:

 

Anleitung: Automatisch gescannte Dokumente über Unraid User Scripts zu Paperless verschieben

Vorbereitungen:
1.) In den Druckereinstellungen eine Freigabe erstellt um auf den USB-Stick vom Scanner zugreifen zu können:


2.) Mit dem im Drucker hinterlegten Credentials lässt sich dann auf alle eingescannten Dokumente über smb zugreifen.

 

Bisher hatte ich diese immer manuell in den Paperless-NGX consume Ordner kopiert. Jetzt kamen die folgenden Optimierungen dazu.

 

3) Tätigkeiten im Unraid: Unter Settings--> User Scripts ein neues User Script angelegt.

Mein Script prüft ob ein neues gescanntes Dokument mit dem Namen "EPSON001.PDF" auf dem USB-Storage vom Epson vorhanden ist. Falls dem so ist, kopiert es alle gescannten Dateien über den smbclient vom USB-Storage in den "consume" Ordner vom Paperless-NGX
 

#!/bin/bash
# This script is an automation for paperless-ngx.
# It copys all scanned files from the USB plugged into the Epson XP 7100 printer
# to the consume folder from paperless-ngx
# Afterwards all pdf files that have been copied are deleted
CREDENTIAL_FILE=/boot/config/asgardscripts/epsonpass.txt
CHECKFILENAME=EPSON001.PDF

# Check if new scanned file EPSON001.PDF is available on epson usb storage
if smbclient -A ${CREDENTIAL_FILE} //192.168.178.34/usbstorage/ -D EPSCAN/001/ -c "ls \"${CHECKFILENAME}\"" > /dev/null 2>&1
then
    echo "There are new SCANNED documents for paperless available"
    echo "Copy all scanned files to paperless consume folder"
    smbclient -A ${CREDENTIAL_FILE} //192.168.178.34/usbstorage/ -D EPSCAN/001/ -c 'prompt OFF;recurse ON; lcd "/mnt/user/dokumente_paperless/consume/"; mget *'
    
    echo "Cleanup by deleting all scanned '*PDF' to  scanned documents from EpsonXP7100 ":
    smbclient -A ${CREDENTIAL_FILE} //192.168.178.34/usbstorage/ -D EPSCAN/001/ -c 'prompt OFF;recurse ON; del "*.PDF"'
else
    echo "There are no documents to consume"
fi

exit 0

Die epsonpass.txt habe ich manuell auf dem Unraid USB Stick angelegt
root@Asgard:/boot/config# mkdir asgardscripts
root@Asgard:/boot/config# cd asgardscripts/
root@Asgard:/boot/config/asgardscripts# touch epsonpass.txt
root@Asgard:/boot/config/asgardscripts# nano epsonpass.txt 
und dann wie folgt editiert:

username=epson
password=eingestelltespassword
domain=WORKGROUP

 

4) Anschließend in den User-Scripts die Häufigkeit einstellen in dem das Script ausgeführt und die Dokumente vom Scanner abholen soll.

 

Voilà, fertig ist der neue automatische Workflow 🙂

 

 

PS:
Ursprünglich wollte ich mittels rclone machen wie es im Sempervideo schön erklört wurde

Aber irgendwie hat rclone bei mir mit der Freigabe vom Drucker nicht funktioniert und ich hab die Fehlermeldung
"error couldn't connect SMB: invalid response error: invalid negotiate flags" nicht lösen können und bin daher auf smbclient umgestiegen. 

 

 

[Paperless NGX]

@Sky-Dragon
Danke für die Strukturierungsinfos.
Die Tipps haben mir sehr geholfen.

Ich mache die Gruppenzuordnung anders, damit ich meine bestehende Dokumenten-Ordnerstruktur beibehalten kann. Ich mache diese nicht über den Korrespondenten via "0_GRUPPENNAME", sondern lege eigene Speicherpfade für bestimmte Korrespondenten in Paperless an.
Ich hab per Default im Unraid Container den Speicherpfad wie folgt definiert:
PAPERLESS_FILENAME_FORMAT={created_year}/{correspondent}/{created}-{document_type}-{title}-{tag_list}

und bei Themenbereichen die Gruppieren möchte, verwende ich eigene Speicherpfade.
Beispiel:

 

Ergibt dann abgelegt:

 

Über die Filterfunktion im Papleress kann ich mir dann alle Dokumente zu einem bestimmten Speicherpfad anzeigen lassen und bekomme damit z.b. direkt alle Versicherungen oder Handwerker Dokumente angezeigt und kann diese dann weiter Filter nach Tags wie "Beleg Einkommensteuererklärung 2023"

 

Ich bin mir noch nicht ganz sicher, aber ich denke das ist langfristig so effizienter, da ich dann auch nach bestimmten Handwerkern (Korrenspondenten) weiter filtern kann. Wenn ich nur eine Korrespondentengruppe mit  "0_Handwerker" habe, wird es später schwierig wenn ich zwischen Handwerker A und Handwerker B filtern möchte.

Rückfrage1:

Zudem ermöglichen mir die Speicherpfade eine Trennung zwischen privaten Dokumenten und gewerblichen Dokumenten für Gewerbe1, Gewerbe2 zu erreichen. Oder würdet ihr eher eine Trennung zwischen privat und Gewerbe über unterschiedliche User im Paperless handhaben?

Rückfrage2:
Wie macht ihr es, wenn ihr z.b. eine Handwerkerrechnung die dazugehörige Quittiung / Überweisungsbeleg verknüpfen möchtest?

Zusatzinfos:
@Sky-Dragon Hast du das mit dem PAPERLESS_TRASH_DIR bei dir getestet?
Ich hatte damit anfangs Probleme, weil diese Variable per default nicht befüllt ist und er beim Klick auf "Dokument löschen" das Dokument nicht in den PAPERLESS_TRASH_DIR Pfad verschiebt. Lösung dazu habe ich hier auf englisch dokumentiert:

 

[[Support] Paperless-ngx Docker]

On 2/3/2023 at 4:56 AM, SOULV1CE said:

I just solved a problem I was having with adding the PAPERLESS_TRASH_DIR parameter that I wanted to share.

 

As mentioned in the Paperless documentation the default value of this parameter is "Defaults to empty (i.e. really delete documents)."

Because it is empty it is never mapped to any container path - I verified this by looking in the /paperless.conf.example and src/paperless/settings.py file.

 

So because of this you first need to create a container variable for PAPERLESS_TRASH_DIR and map it to a container path such as /usr/src/paperless/media/trash because nothing is ever defined for this.

Now that we have defined the variable to the container path, we can then proceed with mapping the container path /usr/src/paperless/media/trash to a host path such as /mnt/user/data/media/documents/paperless-ngx/media/trash/.

 

Finally after doing this when deleting a file it should be moved to the host path folder /mnt/user/data/media/documents/paperless-ngx/media/trash/ and not be permanently deleted.

 

 

Thank you very much for that hint!

 

Additionally I want to mention, that the trash folder 

/usr/src/paperless/media/trash

did not exist on my paperless instance. Therefore I created the folder by opening the console:

and added the folder with:

root@ab2ac556cb92:/usr/src/paperless/src# cd ../media/
root@ab2ac556cb92:/usr/src/paperless/media# mkdir trash
root@ab2ac556cb92:/usr/src/paperless/media# chown paperless trash/
root@ab2ac556cb92:/usr/src/paperless/media# chgrp paperless trash/

 

Then I followed your hint and created the Variable for PAPERLESS_TRASH_DIR to point to that newly created trash folder

and map that internal trash folder to path on my smb share

 

so I have write access and can delete the files in the trash folder by myself or periodically via user script.

 

Thank you again for sharing.

[Nextcloud Stopped Working - PHP 8.0.25]

Thank you @startsomewhere & @g1an7

I was able to solve the issue with your help by switching back from 

lscr.io/linuxserver/nextcloud:latest
to
lscr.io/linuxserver/nextcloud:25.0.2



After booting up, nexcloud was in maintenance mode and I could apply the ooc upgrade command to upgrade all plugins.

 

 

As you can see, without switching back to nextcloud:25.0.2 I was not able to get into maintenance mode before, cause of the 

"This version of Nextcloud is not compatible with > PHP 8.0," Error Message

 

Thank you very much for sharing this solution.

 

[jellyfin Hilfe]

Interessant fand ich, dass ich diese Probleme mit der Android App von JellyFin nicht hatte. 

Da kann ich den Container beliebig verändern und neu starten ohne das es zum obigen Fehlerbild kommt. Das Neustarten vom JellyFin Container (mit neuen Library Path) geht bei mir so schnell, dass bei meinen Kindern am Tablet nicht mal der Stream unterbrochen wird. 

[jellyfin Hilfe]

Danke @ich777

Ich hatte das gleiche Problem wie @oberolmer mit dem JellyFin Container von lscr.io/linuxserver/jellyfin:latest und kann bestätigen, dass deine Lösung funktioniert hat.

 

 

Fehlerbild:

Lässt sich wie folgt reproduzieren:

 

1) Melde dich z.b. als Admin in der Jellyfin Weboberfläche an:

http://192.deineUnraidIP:8096/web/index.html#!/home.html

 

2) Verändere anschließend im Unraid unter Docker eine  beliebige Einstellung für den JellyFin Container, z.b. füge einen einen neuen Library Path zum Container hinzu:

3) Bestätige mit "Apply" die Änderung, so dass der Container neu erstellt wird:

 

4) Drücke dann im Browser F5 für einen Refresh y voilá

 

Alternativ neuen Browsertap und mit dem DNS Namen anstelle der IP JellyFin aufrufen

http://deinunraidname:8096/web/index.html#!/home.html

 

Lösung:

Lösche mit STR+Shift+Entf im Browser den Browsercache!

 
Anschließend solltest du wieder normal im JellyFin anmelden können:

 

 

 

[SMB Verbindung geht verloren, oft nach einem Löschvorgang]

@susa
Für meinen Workaround hab ich damals einfach unter "Shares" die Freigabe umbenannt:

 

Das Problem ist bei mir mit neueren Unraid Versionen (hier 6.11.3) bisher nicht mehr aufgetreten.

[SMB Verbindung geht verloren, oft nach einem Löschvorgang]

Hi @susa

ich hatte das Problem jetzt auch ein paar mal mit Unraid 6.11.0.

 

Ich konnte es mir aber nicht erklären und es hat auch nur zwei Freigaben betroffen. Habe als temporären Workaround kurz die Freigabe umbenannt und dann konnte ich weiterarbeiten ohne neustart.

 

Würde mich interessieren, wenn es hierzu neue Erkenntnisse gibt.

[[Support] Kanboard Docker]

In case you search for default user to login:

 

user: admin

pass: admin

 

I did not find this mentioned somewhere.
You can then change the password for the admin user in the user management:

 

[Encyption - Probleme bei der Umstellung von Passphrase auf Keyfile]

Hi @Torsten

 

ich bin über deinen Beitrag gestolpert und hatte bis eben dasselbe Problem und auch meinen Fehler gefunden.
Im Prinzip hat sich nicht gegenüber dem Video von @SpaceInvaderOne

 

 

mit Unraid v.6.9.2 nicht viel geändert. Der Unterschied bei Unraid 6.9.2 ist die Stelle bei min 3:28, wo gezeigt wird das Unraid ein Keyfile nach Eingabe der Passphrase in der Unraid GUI unter /root/keyfile ablegt. Dies ist bei Unraid 6.9.2 nicht der Fall, der Mechanismus funktioniert aber weiterhin.

 

 

Grundsätzlichen Vorgehen bei Unraid 6.9.2 beim Automount von einem encrypted array:

 

Schritt 1: Auf den Unraid Server per SSH verbinden:

ssh [email protected]

 

Schritt 2: Passphrase in Plaintext im Keyfile auf dem USB Stick ablegen:

echo -n 'my$1cureArray!Password' > /boot/config/keyfile_tower

 

Schritt 3: Unraid Go Script mit bearbeiten

cat /boot/config/go
#!/bin/bash

# automount 
cp /boot/config/keyfile_tower /root/keyfile

# auto powersavings
powertop --auto-tune

# Start the Management Utility
/usr/local/sbin/emhttp &

 

Schritt 4: Autostart vom Array in Unraid GUI aktivieren:

 

Schritt 5: Reboot und über encrypted Autostart freuen

 

 

Anmerkungen zu Schritt 2: Keyfile 

Hier lag mein Fehler. Ich hatte dummerweise nicht einfache Hochkomma ' ' sondern doppelte " " verwendet. Damit werden die Shell Befehle interpretiert und ausgeführt.

Sieht dann beispielsweise so aus:

root@tower:~# date
Wed Feb 16 07:24:04 CET 2022
root@tower:~# echo -n "my$1cureArray!!" > /boot/config/keyfile_tower
echo -n "my$1cureArraydate" > /boot/config/keyfile_tower
root@tower:~# cat /boot/config/keyfile_tower
mycureArraydate

Hier habe ich im Beispiel zwei !! im Passwordstring, die dann interpretiert werden. !! führt den letzten in der Shell eingegebenen Befehl nochmal aus, in diesem Fall ist dies Befehl date

Also immer prüfen ob auch das der richtige passwortstring im keyfile drin steht!

 

Zudem gilt zu beachten:

Wenn du dein Passwort mit einem Editor in dein keyfile reinschreibst, achte darauf, dass du keinen Zeilenumbruch oder eine zweite Zeile drin stehen hast. Das gibt einen anderen Byteabfolge und folglich kommt dann zurecht im Unraid die Meldung, das es sich um den falschen key handelt.

Aus dem Forum entnehmen wir zudem, dass die maximale Länge für den Passwortstring 512 bytes (characters) beträgt.

Quelle:

 

Anmerkungen zu Schritt 3: Go File

Der Automount muss im Go File stattfinden, bevor die Unraid GUI gestartet wird! Reihenfolge ist hier wichtig

#!/bin/bash
# automount 
cp /boot/config/keyfile_tower /root/keyfile

# Start the Management Utility
/usr/local/sbin/emhttp &

 

Machst du's anders rum, wird zuerst die Unraid Gui gestartet, findet kein keyfile und der autostart des arrays funkioniert entsprechend nicht. Das war mir anfangs nicht bewusst. 

 

Anmerkungen zu Sicherheit:

 

Hier der Anleitung habe ich bewusst auf komplizierte Schritte, wie das Auslagern des Keys auf einem WebServer, FTP, Phone, Fritzbox Share sowie das Verschlüsseln des im Plaintext gespeicherten Keyfiles ausgelassen. Ich rate jedem an, sein keyfile zu verschlüsseln, bevor ihr es über eine ggf unsichere Leitung übertragt. Wer schonmal mit Wireshark oder anderen Netzwerksniffern gearbeitet hat, weiß was ich meine.

Recht gute Ansätze dazu werden hier z.b. mit 7z beschrieben:

 

[CPU Kaufempfehlung]

@i-B4se Danke für die Einschätzung.

Vielleicht sollten wir mal einen gesonderten Thread zu dem AsRock Board aufmachen. Die BIOS-Optionen für die AMD CPU sind mir dezent zu umfangreich und bei AsRock irgendwie schlecht dokumentiert. Toll wäre, wenn man IPMI auch temporär komplett ausschalten könnte.

Aktuell brauche ich die Leistung der CPU noch nicht und hatte überlegt ob ich die nicht via Undervolting sogar ein bisschen runtertakte....hab mich dann aber nicht getraut, da gerade alles stabil läuft...wenn dann demnächst die PV-Anlage installiert wird tut der Stromverbrauch tagsüber auch nicht mehr so dolle weh wie jetzt.

Aktuell laufen meine CPU Kerne fast dauerhaft im C3 mit 1400Hz:

# cpufreq-info | grep "stats"
  cpufreq stats: 3.80 GHz:0.02%, 1.70 GHz:0.06%, 1.40 GHz:99.92%  (1490)
  cpufreq stats: 3.80 GHz:0.05%, 1.70 GHz:0.03%, 1.40 GHz:99.91%  (1174)
  cpufreq stats: 3.80 GHz:0.06%, 1.70 GHz:0.06%, 1.40 GHz:99.89%  (1063)
  cpufreq stats: 3.80 GHz:0.06%, 1.70 GHz:0.03%, 1.40 GHz:99.91%  (1145)
  cpufreq stats: 3.80 GHz:0.06%, 1.70 GHz:0.03%, 1.40 GHz:99.91%  (866)
  cpufreq stats: 3.80 GHz:0.06%, 1.70 GHz:0.04%, 1.40 GHz:99.90%  (847)
  cpufreq stats: 3.80 GHz:0.04%, 1.70 GHz:0.04%, 1.40 GHz:99.92%  (719)
  cpufreq stats: 3.80 GHz:0.05%, 1.70 GHz:0.06%, 1.40 GHz:99.89%  (881)
  cpufreq stats: 3.80 GHz:0.01%, 1.70 GHz:0.03%, 1.40 GHz:99.95%  (507)
  cpufreq stats: 3.80 GHz:0.06%, 1.70 GHz:0.02%, 1.40 GHz:99.92%  (602)
  cpufreq stats: 3.80 GHz:0.07%, 1.70 GHz:0.04%, 1.40 GHz:99.89%  (562)
  cpufreq stats: 3.80 GHz:0.08%, 1.70 GHz:0.05%, 1.40 GHz:99.87%  (430)
  cpufreq stats: 3.80 GHz:0.03%, 1.70 GHz:0.04%, 1.40 GHz:99.92%  (600)
  cpufreq stats: 3.80 GHz:0.03%, 1.70 GHz:0.03%, 1.40 GHz:99.94%  (792)
  cpufreq stats: 3.80 GHz:0.05%, 1.70 GHz:0.06%, 1.40 GHz:99.89%  (802)
  cpufreq stats: 3.80 GHz:0.05%, 1.70 GHz:0.04%, 1.40 GHz:99.92%  (558)

 

[Kodi vs Jellyfin/Emby/Plex - Let's fight]

Könnten wir JellyFin noch mitkämpfen lassen?

Ich hatte am QNAP immer nur Plex und hab mit Kodi (installiert auf Xiami Mi TV Box) auf DLNA Server zugegriffen....bis dann nach ein paar Jahren die Lizenz ausgelaufen ist und schwubs im QNAP Plex nicht mehr zur Verfügung stand.

 

Mit Unraid stehen mir neue Möglichkeiten offen und ich habe gerade angefangen mich mit Plex, Emby & JellyFin zu beschäftigen...Suche genau sowas, wo ich die Sachen die die Kids schauen dürfen mit sauber steuern kann.
 

[CPU Kaufempfehlung]

Hätte ich den Thread mal früher gesehen...hier ein paar Anmerkungen zu meinem Unraid Build:

 

Nachdem ich im Januar allerlei Anleitungen und die Häufigen Fragen zu ECC-RAM

sowie zur der CPU Auswahl für Unraid

angesehen habe, bin ich im hardwareluxx thread

https://www.hardwareluxx.de/community/threads/die-sparsamsten-systeme-30w-idle.1007101/post-28647375

darauf gestolpert, dass es möglich ist mit dem neuen Ryzen 5700G ist auf 13,7 Watt im idle zu kommen...Also habe ich mich kurzerhand auch für ein Cezanne System mit ECC und dem 570er Chipsatz entschieden:

Hatte verschiedene Überlegungen
https://geizhals.de/?cat=WL-2369834
und eines der schwierigsten Punkte war, abzuschätzen ob der CPU Kühler keinen Slot belegt...

Letztendlich sind es bei mir folgende Komponenten geworden:

• Gehäuse: Antec Nine Hundred Two v3 (war vorhanden)
  Netzteil: Antec 500W (war vorhanden)
• Mainboard: ASRockRack X570D4U
• CPU: AMD Ryzen 7 PRO 5750G, 8C/16T, 3.80-4.60GHz
• CPU-Kühler: be quiet! Dark Rock 4 (Passt auf's Board ohne einen Slot oder RAM zu blockieren)
• RAM: 2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC
• Unraid- Cache: 
  2x Samsung SSD 980 Nvme M.2 (im BTF
• Unraid Array:
  1x Western Digital WD Red Plus 6TB (Parrity)
  1x Western Digital WD Red Plus 6TB 
  2x Western Digital WD Red 4TB (vom alten QNAP übernommen)
  2x Western Digital WD Green 3TB (vom alten QNAP übernommen)

Vorteile des Systems:
- Sehr leise auch unter Last

- Airflow im Antec Gehäuse ist top und alle Komponenten werden gut gekühlt (Platten ~25-27°C im Betrieb)

- 16 Hyperthreads für ordentlich Luft im CPU Pinning bei VMs

 

Nachteile des Systems:

- Energieverbrauch für den 24/7 Dauerbetrieb mMn zu hoch

 

Ich hab im Idle momentan um die 40-50 Watt und komme nicht wirklich drunter, obwohl ich den CPU im "eco-mode" betreibe (Bios Setting) und auch via TipsAndTweaks Plugin

den Power-Save Mode aktiviert habe.

Powertop zeigt beim CPU leider nur bis C3 an:

 

Was ich leider komplett unterschätzt habe ist der Stromverbrauch von dem IPMI (Intelligence Platform Management Interface) welches auf dem ASRockRack X570D4U verbaut. Der Server schluckt ausgeschaltet dadurch immer noch 7-14W...

 

 @Pete0 

Mich würde mal interessieren was du mit deinem B550 Board & CPU für Stromverbrauch-Ergebnisse erzielst.

Für den Umzug der Daten von QNAP auf Unraid hilft dir vllt meinen Guide weiter: Ich hab mich für die rsync methode mit nohup entschieden die man auch tagelang im Hintergrund laufen lassen kann:

 

 

[[Guide] Übertragungsmöglichkeiten um Daten vom alten NAS (QNAP, Synology) zum Unraid zu übertragen.]

Mit dem Artikel möchte ich auch meinem ganz besondern Dank auch an @mgutt widmen.
Deine Beiträge hier im Forum wie z.b.

als auch die nützlichen Videos wie:

haben mir sehr viel weitergeholfen und letztendlich auch davon überzeugt, statt auf ein neues Synology auf einen eigenen Unraid Server zu wechseln. 

Hab mir (gegen deine Empfehlung) folgenden Unraid Build aufgesetzt:


Mir ist zu Ohren gekommen, dass du gerade nicht viel Zeit für's Unraid Forum hast. 

Wenn es wieder zeitlich passt, bitte euch im Moderator-Team meinen ersten Unraid Community Beitrag kritisch an und ob ich was vergessen oder falsch dargestellt habe.

Wenn der Artikel dann den gewünschten Qualitätsanspruch hat, könnte er unterhalb von
https://forums.unraid.net/forum/98-anleitungenguides/
für Ein- und Umsteiger zu veröffentlicht werden.

 

Ich habe aktuell keine vergleichbare Anleitung auf Deutsch gefunden und selbst eine bisschen gebraucht bis ich die Möglichkeiten und SIGTERM Schwierigkeiten beim Umzugsworkflow für mich gemeistert habe. 

[Netzwerk richtig konfigurieren.]

HI @Eny

ich habe deine Frage hier im Chat gesehen und da ich eines der von die gefragten Topics gerade für mich gelöst habe,

habe ich mir die Mühe gemacht und einen detaillierten Guide für das Topic
"Wie Qnap NAS am besten kopieren"
u.a. für dich zusammengeschrieben:

[[Guide] Übertragungsmöglichkeiten um Daten vom alten NAS (QNAP, Synology) zum Unraid zu übertragen.]

Hallo Unraid Community

ich bin ganz neu im Unraid Universum und nach meinem ausgiebigen Tests von Unraid habe ich mir die Frage gestellt, wie ich am besten meine Daten vom alten QNAP TS-419 NAS auf mein neuen Unraid Server umziehe...

 

Es gibt mehrere Möglichkeiten um die Daten vom einem NAS auf den neuen Unraid Server rüber zu ziehen. In dieser Anleitung zeige ich im Detail den Weg für den ich mich nach einiger Recherche entschieden habe. Zudem teile ich meine Recherche Ergebnisse, falls eine andere Übertragunsmöglichkeit für euch eher in Betracht kommt.

 

Vorbereitungen:

• NAS: Sicherstellen das am NAS die Netzwerkfreigaben für die Daten vorhanden und der Unraid sind die NAS Freigabe
• NAS & Unraid: Prüfung Netzwerk-Einstellungen (z.b. Jumbo Frames MTU 9000 aktivieren)
  (Tipp: Es lohnt sich hier im Vorfeld ein paar Übertragungstest der Netzwerkgeschwindkeit zu machen)
• Unraid: Array ist erzeugt und die neuen Shares eingerichtet
• Unraid: Ggf Cache und mover temporär deaktivieren, damit die Daten direkt auf die Platten im Array geschrieben werden.
• Unraid: Sinnvolle Plugins installieren:
  • Fix Common Problems 
    --> hilft wenn im Unraid falsche Konfigurationen vorgenommen wurden (z.b. Netzwerk, SMB)
  • Unassigned Devices & Unassigned Devices Plus (Addon)
    --> Nützlich beim Anschluss von externen USB Platten und essenziell zum "mounten" von SMB Freigaben vom NAS
  • Optional: unBALANCE
    --> unterstützt beim Freischaufeln von Plattenplatz am 

 

=============================================================================================================================

 

Welche Übertragungsmöglichkeiten gibt es:

 

Übertragungsoption A) Sicherung vom NAS auf extern angeschlossene USB Platte
Daten werden direkt am NAS auf die dort angeschlossene USB-Platte kopiert, z.b. mit
HypridBackup --> https://www.qnap.com/en/how-to/tutorial/article/creating-an-external-backup-job
Hyper Backup --> https://kb.synology.com/de-de/DSM/tutorial/How_to_back_up_your_data_to_local_shared_folders_or_USB_with_Hyper_Backup
Anschließend wird die USB Platte am Unraid Server angeschlossen (Unassigned Devices Plugin) und die Daten können mit diversen Tools, wie z.b. rsync oder LuckyBackup die Daten rüber auf die Unraid Disks kopieren.

--> Gut beschrieben hier im Forum Thread:

 

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Übertragungsoption B) Daten via PC über die Netzfreigaben von NAS auf Unraid kopieren

Spaceinvader One hat zum Thema eine sehr gute dreiteilige Video Serie gemacht:

Diese Methode ist meines Erachtens sinnvoll bei kleinen Datenmengen im Gb Bereich. Müssen mehrer TBs vom NAS umgezogen werden, so ist das Hauptproble,

Spoiler

 

dass die Daten via Netzwerk über den PC laufen müssen. Zum einem ist dies langsam und zum anderen müssen dann immer drei Geräte an sein (Stromkosten)...Was passiert wenn die Datenverbindung abbricht? Welche Daten sind schon kopiert, welche müssen noch kopiert werden? Diese Möglichkeit sollte daher meiner Meinung nach nur bei kleinen Datenmengen in Erwägung gezogen werden.

 

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 

Übertragungsoption C) NAS Freigabe mounten und mit Krusader auf die Disks rüberziehen

In der Unraid GUI erscheint mit dem Unassigned Devices Plugin erscheint die Option 

mit der eine Netzwerkfreigabe vom NAS in Unraid eingebunden/gemounted werden kann.

Mit dem Krusader Docker Plugin

können die Daten von der gemounteten Netzwerkfreigabe auf die die Unraid Disks kopiert werden.
Top aufgezeigt im Video von Spaceinvader One:

Vorteil ist, dass die Krusador Kopier-Aktion direkt zwischen dem NAS und Unraid erfolgt und auch weiterläuft auch wenn ich den eigenen PC ausschalte....Nachteil ist, das bei einem Verbindungsabbruch/Krusador-Fehler wir nicht genau wissen was schon kopiert wurde und was noch kopiert werden muss.
Diese Kopiermethode ist z.b. sinnvoll wenn man Daten vom NAS auf Unraid verschiebt oder es zeitlich nicht kritisch die Daten rüber zu kopieren.
 

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 

Übertragungsoption D) NAS Freigabe mounten und im Terminal mittels Rsync die Daten rüberkopieren
Wer rsync noch nicht kennen sollte --> https://wiki.ubuntuusers.de/rsync/

Das schöne an rsync ist, dass sich damit sehr zeiteffizient Verzeichnisse und große Datenmengen synchronisieren lassen. Es werden immer nur die Daten übertragen die notwendig sind. Bricht ein Kopier-Aktion ab, so müssen nicht wieder alle Daten übertagen werden, sondern nur die die noch Fehlenden bzw / sich im Quellverzeichnis geändert haben. Welche Daten dies sind erkennt rsync automatisch anand einer "incremental file list"

 

Vorteile:

• Übertragung findet nur zwischen NAS und Unraid statt (PC kann aus bleiben)
• Kopieraktion kann jederzeit unterbrochen werden

Nachteile:

• Terminal Bedienung ungewohnt für Linux Neulinge
• keine hübsche grafische Benutzeroberfläche

 

 

=============================================================================================================================

 

Mein Übertragunsweg: QNAP Daten zu Unraid

Ich habe mich für mein Szenario für den oben aufgezeigen Übertragunsweg D entscheiden mit einigen kleinen Optimierungen. Im folgenden möchte ich Anhand eines konkreten Beispiels meine Schritte im Detail aufzeigen.

 

Beispiel Szenario: Angenommen wir wollen die Netzwerkfreigabe "bilder" vom alten NAS zu unserm Unraid Server in den Ordner "gallery" auf der Disk1 rüberkopieren.

Schritt 1: NAS Freigabe via Unassigned Devices mounten
In Unraid unter main —> "Add Remote SMB" —> Freigabe "bilder" vom alten NAS  im Unraid "mounten"

 

Schritt 2. Terminal öffnen
Das Terminal Fenster lässt sich in Unraid direkt in der Weboberfläche über den kleinen Button

öffnen.

Ich verwende jedoch meist den direkten Login via SSH

ssh [email protected]

 

Schritt 3: In den ZielOrdner navigieren

In unserem Beispiel ist dies der Ordner "gallery" auf der disk1 wo wir die Daten hinschieben möchten:

cd /mnt/disk1/gallery

 

Schritt 4: Rsync als backgroundprozess  ohne "hang up" anwerfen:

nohup rsync -avh -P -L /mnt/remotes/ALTESNAS_bilder/ /mnt/disk1/gallery &

Legende:

• nohup —> no hang up, bewirkt dass die nachfolgend gestartete anwendung/prozess nicht beendet wird, wenn man sich als user vom terminal ausloggt
• rsync  —> https://wiki.ubuntuusers.de/rsync/ 
  • -avh = archiviert, verbose, human readable
  • -P Progress anzeigen
  • -L bitte Symlinks berücksichtigen
• & —> bewirkt dass der rsync prozess im hintergrund ausgeführt wird. Man kann dann also weiter im selben Terminal session weiterarbeiten.

 

 

Schritt 5.) Überwachen des Fortschritts
In dem Verzeichnis in dem der nohup Befehl aufgerufen wurde wird "nohup.out" Datei angelegt. In dieser nohup.out Datei wird die Ausgabe des Prozesses geschrieben, welcher nach nohub gestartet wurde.  Hier im Beisipel ist dies die sonst Ausgabe vom rsync.
Wir können also nun mittels

tail -f nohup.out

den aktuellen Fortschritt des Kopierens uns anzeigen lassen.

 

Schritt 6) Fertig, warten bis Daten übertragen wurden  

⚠️ Achtung beim Ausloggen! ⚠️
Habt ihr euch mit einem Terminal von einem anderen Desktop Linux Cient am Unraid Server via ssh angemeldet, achtet darauf, dass ihr das Terminal Fenster nicht mit der Maus oben "schließt". Dadurch wird ein "SIGTERM" Befehl an den Server gesendet, der auch unseren via "nohup " gesartetn rsync prozess beendet...
--> Am besten normal mit exit oder str + d die Terminal Session beenden.

 

Schritt 7) Optionale Prüfung
Habt ihr z.b. mehrere solcher rsync prozesse über Nacht laufen, könnt ihr euch jeder zeit  am nächsten Tag nochmal via Terminal im Unraid einloggen und mittels

ps -ef | grep rsync

prüfen ob die vorherigen rsync prozesse noch ausgeführt werden oder ob die Übertragungen schon abgeschlossen sind.


Was für Vorteile hat diese Vorgehensweise?
a) Der eigene PC kann für die weiter Übertragung runtergefahren werden.
a) Die Übertragung findet direkt vom alten NAS zum UNRAID Server statt (in der regel bessere Übertragungsgeschwindigkeit als z.b. kopieren direkt über die SMB Shares)
b) Sollte die Übertragung wegen was auch immer abbrechen (z.b. hat sich bei mir unglücklicherweise das QNAP nachts runtergefahren, weil ich vergessen hatte den Scheduler auszustellen), so macht rsync genau an der Stelle wieder weiter wo er aufgehört hat.

 

Viel Spass mit Unraid

[Shares im Netzwerk verbergen wenn der Zugriff für den Benutzer nicht möglich ist]

Ich bin neu mit Unraid unterwegs und beim ausgiebigen Testen das war eines der ersten Punkte die mir negativ aufgefallen sind.

 

Bei meinem alten QNAP TS-412 von 2009 wird beim Verbinden auf

//Servername/ 

direkt die Benutzeranmeldung angefragt.  Gleiches kenne ich auch von den Synlogy NAS, sofern keine "Freigaben auf public" vorhanden sind. Bedeutet bei Unraid kann ein Besucher der mit dem eigenen WLAN bzw Netzwerk verbunden ist, und der keinen Zugang zum NAS besitzt, alle Netzwerkfreigaben einsehen und dadurch ggf schon Rückschlüsse auf die dahinter Daten oder Nutzung des Servers schließen. 
Bei Unraid werden alle Netzwerkfreigaben öffentlich für alle Teilnehmer des Netzwerk einsehbar angezeigt.

 

Die einzige Option die ich in der Unraid GUI gefunden habe diese zu unterbinden ist es, den Share bei Export auf "Yes (Hidden)" zu stellen:

 

Wünschenswert wäre die Möglichkeit schon beim Aufruf des Servers 

smb://unraidservername.local/

eine User-Anmeldung zu triggern. Wird kein User angemeldet, sollten nur die public shares für den "guest" User einsehbar sein.

 

Über Ideen oder Anhaltspunkte, wie man dies realisieren könnte, würde ich freuen.