ullibelgie
-
Posts
304 -
Joined
-
Last visited
Content Type
Profiles
Forums
Downloads
Store
Gallery
Bug Reports
Documentation
Landing
Posts posted by ullibelgie
-
-
Zum Verstehen, wie Paperless-ng arbeitet - für Newbee von Newbee - (unter der Aufsicht von Forum-Experten....hi)
Ich nutze Paperless-ng gerade weil ich von meinen massenhaften (papier-)Ordnern weg will
Konzept:
- jedes Stück papier bekommt mit Kugelschreiber eine Seriennummer - angefangen bei 0001 für das erste Dokument
- alles papier wird dann gescannt mit der eingebauten OCR-Erkennung von Paperless-ng in seinem consume-Ordner
Hierdurch wird das Dokument ein pdf file und gleichzeitig in der Datenbank von Paperless-ng hinterlegt
- Dieses Dokument öffnet man jetzt im Webinterface von Paperless im Browser
- Man bekommt rechts dann das gescannte Dokument zu sehen und kann links in einem Dokument einzelheiten und Eigenschaften/Tags des dokuments manuell eingeben.
wie Titel/Name des documentes und vor allem auch die Seriennummer, die auch auf dem Dokument selbst ja draufgeschrieben ist...
Die Originaldokumente kommen bei mir dann in eine grosse DIN-A4 formatige Box, wo etwa 200 Seiten Papier reingehen - vorne auf der Box steht dann geschrieben z.B. Dokument 1 bis 77 in dieser Papierbox enthalten...
Physisch habe ich also anstatt massenhaft Leitzordner nur eine Box mit losen Blättern, die platzsparend an einem sicheren Platz für den Fall der Fälle noch aufbewahrt werden...
So was ist jetzt das besondere an Paperless-ng ?
Die Search engine om Dokumente (wenn es dann tausende werden wie bei mir!) sofort zu finden !!!
Eine Texteingabe "Pensionskasse" im search window findet wirklich alle damit zusammenhängende Dokumente! selbst wenn nirgendwo irgendein Dokument im Archiv ist was den namen Pensionskasse teilweise im Titel hat - oder auch nur im ganzen Text des Dokumentes - Pensionskasse kommt gar nicht vor !!!
Dennoch - nach und nach und je mehr Dokumente gescannt sind, wird Paperless-ng immer schlauer! Das kommt durch die machine-lerning engine, wo Paperless-ng beigebracht wurde, das zum Beispiel das Wort "Bundesversicherungsanstalt für Angestellte" im Text vom 24seitigen Dokument 3029 thematisch etwas mit dem TAG Pensionskasse zu tun hat...
Es wird also dann auch Doc.nr 3029 gefunden, obwohl Pensionskasse als wort gar nicht vorkommt !!
Toll, nicht wahr ?!
Bei vielen Dokumenten ist eine grosse Box mit solch starker Such-Engine 1000...mal effizienter als ein Ordner-Karteisystem... Das hat man in den 50er Jahren des vorigen Jahrhundert gemacht - aber heute nicht mehr...
Wie das alles funktioniert und wie man das dann einstellen muss, um Paperless-ng immer schlauer zu machen beim Aufbau des Archiefs steht in der Betriebsanleitung / Doc!
Also ran - das lohnt sich wirklich.... wenn ich alter Knop das in den Kopf kriege sollte das doch machbar sein ?
Ich habe mir extra einen neuen Scanner dafür gekauft - selbst mit meinen Uralt-Computern funktioniert der super
Fujitsu IX1600
Tip: ein guter Scanner ist wichtig für die saubere Texterkennung...
Also los und nicht die Flinte ins Korn werfen, sondern Zeit dafür nehmen - wird belohnt!
-
1
-
-
Wie gesagt habe ich keine Ahnung in welcher Weise Messungen der Hintergrund war für die Aussage 11te <-> 10te Serie bezüglich Stromverbrauch. Ich muss aber davon ausgehen, das diese Meinung wirklich besteht bei dem, der das vertrat - egal, ist sowieso kein Unraid und von daher vielleicht Kirschen mit Bananen vergleichen...hi
"Wenn man warten kann, würde ich auf den AMD X670 Chipsatz und den Ryzen 3 6350G warten."
Was ist denn der technische Hintergrund hierfür ? Ich bin etwas überrascht, daß Du die Zukunft scheinbar eher in AMD siehts als in Intel (für Unraid Anwender) - oder sehe ich das jetzt falsch ?
Und von welchen "Wartezeiträumen" sprechen wir dann eigentlich für diese neuen Produkte ?
Ist bei Intel nix neues zu erwarten als 'Replacement" für die Features die wegfallen (Deine "Liste" oben ?), oder muss man davon ausgehen, daß Intel aus irgendwelchen Gründen LINUX den Kampf ansagen sollte ? Wenn Linux aber doch gut unterstützt wird, ist sicherlich auch die Unterstützung in Unraid selbst nicht fern....
-
Absolut kein Problem Alturismo - ich habe ja nach Meinungen gefragt ! Das ist ganz ok...
-
Deine Einschätzung ist schon richtig, Alturismo...
Zwar sind zu jedem Zeitpunkt (heute wie morgen und übermorgen) neueste und etwas ältere Technologien zu kaufen.
Der Punkt ist aber, daß gerade Marktlage, Verfügbarkeit und Preise (zumindest von mir persönlich subjektiv gefühlt) nicht den Käufer bevorteilt und wenig motivierend ist....
Aber wollte nur mal Meinungen hören - eigentlich bin ich eher Technikverliebt und würde am liebsten immer das neueste und beste kaufen.... aber z.Zt hab ich einfach wenig Lust drauf... Das Vertrauen einen guten Kauf zu machen fehlt...
-
Danke für die Wortmeldungen - dann fühle ich mich bestätigt für meine defensive Haltung bezüglich Bestellungen...
In der Vergangenheit war es doch auch immer so, das auf Linux Systemen zu etwas späterer Zeit doch auch vergleichbare (Hardware-) Unterstützung kommt, wie es vielleicht heute schon auf Microsoft Systemen für die neueste Hardware-Generation der Fall ist - deshalb dann lieber warten - die neueste CPU serie ist dann in 2 Jahren (oder auch schon früher) ein alter Hut.... (?!?)
Ich fand es auch interessant das mir ein Profi neulich erzählte, daß die 11er Serie deutlich energieeffizienter arbeitet als die Intel 10er - wohlgemerkt nicht auf Unraid. sondern in einer nicht Linux Umgebung ... genaueres weiss ich dazu aber nicht, weil ich nicht im Detail gefragt habe. Als Newbee hätte ich seine detaillierte Antwort doch nicht verstanden...;-(
Es zeigt aber für mich, dass die Art der Anwendung eben auch entscheidend ist. Und vielleicht ist es so, daß Linux eben einfach noch etwas mehr Zeit nötig hat um auch in Sachen Effizienz noch besser zu werden... Also warten wir mal ruhig ab, und geniessen den Unraid-Spass auch mit meinen alten Plörren....🤩 - eigentlich ist das ja gerade der Vorteil, daß man nicht aus technischen Gründen und wegen der hohen Systemanforderungen ständig was neues kaufen muss..
Ich brauche den Server ja nur privat.
-
""...If you dont run a preclear, when you add a new drive to the array, unraid must clear the drive first.
And during this time you can' t actually use the array at all..."Gilt der zweite Satz auch für Unraid 6.9 und höher ?
Ich dachte irgendwo gelesen zu haben, daß man mit Unraid 6.9 das Array sehr wohl normal nutzen kann.... oder schmeisse ich da (vorsicht newbee) irgendwas durcheinander...
Vor kurzen hatte ich nämlich das manual noch diesbezüglich gelesen - mehr zufällig, als das ich dringend Rat nötig hatte...
Spaceinvader hat so viele (tolle!) Videos gemacht, daß man inzwischen aufpassen muss für welche Unraid Versionen die Videos damals entstanden sind.
-
Zum dem Thema würden mich Kommentare von erfahrenen Unraider-usern interessieren.
Mit meiner Uralt-Technik (s.u.) sehe ich mich schon seit einiger Zeit nach möglicher neuer Hardware um.
Neuanschaffungen sind für mich jedoch nicht dringend, da das Aussuchen der Datendokumente (Scannen von Papier, digitalisieren von Mediendaten, u.a.) noch längere Zeit in Anspruch nehmen wird, bis das Unraid System als Datenspeicher uberhaupt richtig benutzt
werden wird.Bei der Suche nach möglicher neuer Hardware ist mir aber aufgefallen:
- tolle Detailkenntnis hier im Forum
- viele sinnvolle Empfehlungen mit denen man auf die Suche gehen könnte..Aber:
- vieles einfach nicht lieferbar
- man muss Kompromisse machen...Ein paar Kompromiss-Fragen die mir in den Kopf kamen:
(Es geht jetzt um einen Server der sowohl NAS als auch Docker und VMs "flüssig" bedienen kann, ohne gleich eine
High-End Machine zu sein)Ich würde gerne einen Bestwert in Performance/kWh ansteben...
1.) Was ist in der Situation 24/7 Betrieb dann wichtiger:
- ein mATX oder gar noch kleineres Board und dafür weniger Sata Anschlüsse ? Wieviel mehr Stromverbrauch
hat ein ordentlich ausgestattetes ATX Board dann wirklich (8x Sata, 2x M2) als ein mATX oder ITX board mit entsprechenden
Zusatzkarte(n) wirklich? Denn ohne Zusatz auf dem Motherboard sind 8x Sate und 2x M2 nicht drin auf solchen kleineren Boards....
Wenn sich das beim Stromverbrauch pro Performance bei gleichen CPU's etwa die Waage hält gibt es Kompromiss-Möglichkeiten2.) CPU Fragen
Soll man lieber heute eine etwas ältere CPU Serie anschaffen (z.B. Intel Core Serie 9) oder einfach noch etwas
länger warten bis sogar eine Serie 12 von Linux/Unraid vollständig (incl iGPU) unterstützt wird...
Wie gesagt - ich habe eigentlich Zeit bis ich Performance nötig wirklich nötig habe, denn die Digitalisierung
des alten Archivs wird noch vielleicht 1 Jahr in Beschlag nehmen - dann sieht auch die verfügbare Technologie
vollständig anders aus ?!?Momentan habe ich fast den Eindruck, das es besser ist mit einer Entscheidung/Hardware Bestellung solange zu warten wie nur irgend möglich , weil nicht nur die Marktsituation sondern auch die verfügbare Technologie womöglich noch Nachholbedarf hat. (Linux Driver, etc..)
Sehe ich das richtig ?
Was meinen die Experten ?Doch lieber heute als morgen oder eher das Gegenteil ?
Schoenen Gruss in die Runde
-
Tja, ich bin mal lieber vorsichtig und verlasse mich nicht drauf.... werde mal schauen, ob ich irgendwo eine andere USB-HDD auftreiben kann...
Aber eine moderne USB 3 von etlichen TB's für Backups ist ja für meine alte Coputerkiste geradezu Perlen vor die Säue geworfen...
Leider sind die schönen Gigabyte motherboards, die Du empfiehlst ja überall ausverkauft (also entweder W480 oder C246 Chipsatz aus Deiner Empfehlungsliste)
Und das Argument mit den 2 M2 slots und am liebsten 8 Sata's onboard auf einem kleinen,compacten Board wäre schon toll.... aber das ist für evlt einen anderen Thread!
Jedenfalls möchte ich mich für die Weiterentwicklung Deines Scripts bedanken - die Version 1.3 läuft hier prima um die Clients lesend vom Unraid server auf dem Array zu sichern.... (als 1ste einfache Sicherung) - für USB Backups vom Unraid Server muss ich das wohl besser noch erneuern.
-
Hallo,
es ist zwar schon eine ganze Weile her, aber ich habe hier inzwischen die Vermutung, das meine externe USB Platte ausschliesslich NTFS Formatierung beherrscht - alle anderen Formatierungen führen nach kurzer Zeit zu crashs...
Bei SMB-Netzwerk Backups nutze ich zur vollen Zufriedenheit das Hardlink Script von mgutt in der Version 1.3 - tolle Klasse - funktioniert seit fast einem Monat super!
- Backup der wichtigen Daten eines Windows PC auf den Unraid server.. (alles funktioniert so wie es soll)
Ein Backup des Unraid Servers mit den wichtigsten Dateien auf die externe USB Platte funktioniert dann leider nur mit NFTS Formatierung (formatiert mit dem unassigned disk plug-in)
Da NTFS wiederum nicht mit Hardlinks umgehen kann, habe ich für das USB Backup mal den Docker mit lucky Backup verwendet.
Das klappt jetzt tadellos...
Aber hier meine Frage:
Kann es sein, das diese externe USB Platte (ältere Lacie mit Hitachi 1TB) irgendwie hardwaremässig strikt an NTFS gebunden ist - also sozusagen ab Hersteller ?!
Gibt es tatsächlich USB Platten die mit nix zu einem Betrieb unter XFS oder EXT3, EXT4 oder BFRTS zu "zwingen" sind - das wäre ja doof.... ??!
Hat das jemand schonmal erlebt ?!
-
20 hours ago, ich777 said:
...
Nein, du hast in der GUI eine Möglichkeit zum Wiederherstellen eines Backups und musst nichts manuell machen, nur ist das limitiert auf ein ganzes Backup, aber das funktioniert ohne Probleme.
Danke für die Hinweise - werde mich dann damit auch mal genauer beschäftigen ... vielleicht ist das eine gute Lösung für mich - die Tatsache, daß man das auch von ausserhalb Unraid ausführen kann mit nur Leserechten auf dem Unraid server ist jedenfalls sehr positiv
Um Clients auf Unraid zu sichern, könnte ich dann wiederum den luckybackup docker auf Unraid installieren um mit nur Leserechten von den Clients auf einen Backupshare von unraid zu schreiben...
So wird immer das Backup ausgeführt dort wo es auch geschrieben wird...
Luckybackup gibt es sogar für Windows sehe ich gerade.... aber das brauche ich nicht....
Mal schauen...
-
16 hours ago, mgutt said:
War der Eintrag denn schon drin oder hast du den hinzugefügt? Danach Samba neu gestartet?
Das weiss ich nicht mehr genau ... aber man kann ja wirklich nicht viel falsch machen eine Zeile in die [Global] section zu schreiben. Das ist ja Monate her und der Computer seitdem jeden Tag Abends ausgeschaltet und morgens wieder an...
Wenn es nur mit SMB 1 funktionieren würde, wäre das nicht gut... scheinbar wird da noch gewerkelt um das auch mit den letzten Releases von Samba zum laufen zu bringen...
Ich werd mal versuchen mit NFS zu mounten...
In der Zwischenzeit geht für mich dann wohl nur die schnelle Lösung mit luckybackup bis deutlich ist, was man beim lokalen Ausführen des Scripts alles ändern muss - leider geht das über meine "Fähigkeiten".... oder eben über meinen laienhaften Gebrauch...
-
8 hours ago, ich777 said:
Du kannst luckyBackup ausprobieren das nutzt auch rsync als Backend und hat eine GUI.
Das habe ich inzwischen auch gesehen. Ich hatte aber gehofft, daß ich mit dem Gebrauch von dem Bash Script von MGutt eben mehr lerne als nur Knöppe zu drücken. Womöglich mit der Folge, dass wenn ich wirklich mal einen restore machen muss die Software auch nicht richtig benutzt habe... naja - vielleicht bin ich ja doch zu dumm, das Bash script zu verstehen - dann wird es lucky backup werdem müssen.
Unterschiede sind wohl vor allem darin zu suchen, wenn man bestimmte alte Backups aufbewahren will - dann muss man das mit luckyBackup eben manuell machen... habe mich aber damit noch nicht so beschäftigt.
Jedenfalls Danke für den Hinweis - ist dann mein Rettungsanker, wenn es nix wird mit MGutts Script...
-
7 hours ago, mgutt said:
Nun dann funktionieren die Unix Extensions des Samba Servers nicht.
Sicher, dass deine Config korrekt ist und auch geladen wurde? Sicher, dass der Share selbst diese Regel nicht aushebelt?
Ich kann doch am Ubuntu Rechner nicht mehr tun als in smb.conf unter [global] eintragen
unix extensions = yes
Ich habe nachgesehen - auch in Unraid ist im SMB setting eingetragen:
unix extensions = yes
Wenn das nicht korrekt ist: wie muss es dann richtig gemacht werden ?
Und: Muss im smb.conf der Eintrag an einer ganz bestimmten Stelle gemacht werden, weil das ansonsten nicht funktioniert ?!
Das Script auf dem Ubuntu Rechner funktioniert nicht, da die Verweisungspfade alle nicht mehr stimmen (z.B. der Notifikations) ausserdem bekam ich auch allerlei andere Fehlermeldungen - als quasi Laie was coding angeht, habe ich es dann mal gelassen...
-
Um meine Verwirrung komplett zu machen:
Mein Testfile bei der Ausführung von ln vom Unraid-terminal war 650kB gross
Frage: wie gross ist also Testfile und Linkfile (der vermeintliche Hardlink von Testfile) dann zusammen ??
Ausführung im Unraid Terminal mit cd im Zielverzeichnis stehend:
du -d1 -h liefert 1.3MB (also kein Hardlink ?!?)
Ausführung direkt auf dem Zielrechner im Terminal des zielverzeichnisses:
du -d1 -h liefert 650kB (also doch Hardlink ??)
Wat denn nu ?!
-
Ich kann nur als Anfänger der simpelen Logik folgen - für alles andere im Internet die Syntax suchen... also weitermachen:
Ich hatte auf dem Ubuntu Rechner (Ziel für das Backup von Unraid was ich machen möchte) ja festgestellt, daß hardlinks funktionieren, wenn ich lokal mit Befehl 'ln' links setze.
Nun ist aber die Frage, was passiert wenn ich das Zielverzeichnis von dem Backup-PC in Unraid mounte (unassigned devices plug-in) und dann im Terminal von Unraid die gleiche Procedure mache wie oben beschrieben - einziger Unterschied ist dann, dass der Befehl über SMB ausgeführt wird:
Also im Terminal von Unraid eingeben:
cd /mnt/remotes.... (Zielverzeichnis)
Dann im Zielverzeichnis eingeben:
ln testfile.pdf linkfile.pdf
Kontrolle:
ls
Es ist jetzt nicht nur testfile.pdf im Ordner, sondern auch linkfile.pdf
Jetzt checken nach Inode nummer:
ls -i -h
Die Inode nummern sind verschieden !!
Das bedeutet doch, dass mit ln so keine Hardlinks geschrieben werden können über SMB von Unraid nach Ubuntu !
Was ist hier faul ? Oder ist das normal ?
Es sieht hier so aus, als ob bei mir die Hardlinks erzeugen eben nur lokal geht aber nicht via SMB !
Doch irgendwas nicht richtig mit den Unix-extensions ? Wo muss ich was ändern in den Einstellungen ?
Eigentlich wäre es das beste, das Script auf dem Zielrechner laufen zu lassen, wo auch geschrieben wird - aber dafür muss das Script neu geschrieben werden - das geht mit der Vorlage von MGutt leider gar nicht...
Was tun ?
Oder doch alles sein lassen und mit irgendeinem anderen Backuptool arbeiten ? Ich will aber was lernen und nicht nur Knöppe drücken...
-
noch vergessen:
ls -i und ls-l gibt natürlich die Anzahl der Links auch mit 2 an...
-
So ich habe das jetzt mal gemacht:
Ein File geschrieben auf den Zielrechner (Ubuntu) auf die gemountete Backup-HDD:
'testfile' (einfach ein paar Zeilen Text)
Dann mit ln im Terminal einen Link, also im terminal eingegeben
ln linkfile testfile"
Es entsteht im Folder ein neues File 'linkfile' und ich habe jetzt also 2 files in dem Folder, nämlich testfile.txt und linkfile.txt
Dann mit ls -i und ls -l festgestellt, das beide Files dieselbe Inode Nummer tragen, nämlich 11403266
Nochmals controlliert mit Eingabe im Terminal:
find . -inum 11403266
Es wird ausgegeben:
./testfile
./linkfile
Das beweist, das 'linkfile' auf dieselben Daten verweist wie 'testfile' - ich also mit ln einen hardlink schreiben kann auf meinem Ubuntu Rechner...
Die Frage ist jetzt - wie gross ist der Folder "Link_Testen" in dem die beiden Files sind !
du -dl -h ergibt
16k
Das ist weniger als 2x das Testfile, denn das testfile ist bereits 10k gross...
Also kann Linkfile nur ein Hardlink sein (was zu beweisen war)
Jetzt: Warum funktioniert das aber nicht mit dem Script ?
Mir ist nicht klar, was mir die Testprocedure mit ln und ls Befehlen im Terminal auf dem Zielrechner bringen soll - ich weiss jetzt nur, das der Ubuntu Zielrechner Hardlinks kann....
Wie kann ich weiter vorgehen um das Script correkt zum laufen zu kriegen ?
Danke!
-
Irritierend ist ja, daß das Script log am Ende sagt, das beim zweiten Backup der original Datei nichts übertragen und geschrieben wurden auf dem Ziel. Das wäre ja auch richtig, da an der Quelldatei nichts verändert wurde.
Aber tatsächlich ist auf dem Ziel Ubuntu PC alles neu geschrieben worden.
Habe nochmals überprüft:
- beim Einfügen des script keine versehentlichen windows line-feeds, sondern correct Unix-LF benutzt
- Am Zielrechner das smb.conf file enthält unter Global - Networking, die nicht auskommentierte Zeile
unit extensions = yes
- Im Terminal mit Befehl "testparm" überprüft, daß keine fundamentalen (Syntax-)Fehler im smb.conf stecken
Also ich weiss leider nicht wo ich jetzt weiter suchen soll.
Habe es nochmals ausprobiert - ohne Erfolg - immer jedes Backup genauso gross wie die Quelldatei...
-
Ich habe auf dem Zielrechner (Ubuntu 20.04LTS) im smb.conf controlliert:
Unter Global Networking ist sehr wohl folgender Eintrag aktiv:
Unit extensions = Yes
Das kann es also nicht sein - leider. Wäre einfach gewesen...
Es muss aber irgendwas anderes sein.
-
Hallo,
leider war ich umständehalber eine zeitlang nicht mehr mit Unraid beschäftigt - es fehlte die Zeit und der Server stand ein paar Monate still.
Jetzt habe ich mich wieder etwas eingearbeitet und will eine Backup-Lösung einrichten für die Unraid Daten und Systemfiles.
Hierzu wollte ich eigentlich das Script von MGutt nutzen aber es will nicht so recht funktionieren. Folgendes habe ich getestet:
Ein Testfolder mit einigen Dateien van ca 5Mb soll auf einen externen Linux PC (Ubuntu 20.04LTS) gesichert werden
Die HDD vom Zielrechner ist mit dem Plugin 'unassigned devices' in Unraid gemounted und die URL im Backup Scipt vers. 0.6 auch als Ziel angegeben
Ich führe das Script auf Unraid im Hintergrund laufend aus mit dem Script Plugin 'User scripts' aus - das funktioniert prima und die Daten werden auch auf der HDD des Zielrechners geschrieben.
So weit alles gut - aber:
Wenn ich das script nochmal ausführe ohne den Quellordner irgendwie geändert zu haben, wird wieder alles in voller Grösse geschrieben und die frisch formatierte ext4 HDD hat jetzt doppelt so viel Speicher beschrieben wie der Quellordner gross ist (also kein incrementelles Backup)
Wenn ich das script dann 5x ausführe immer mit dem gleichen Ordner ohne Anderungen, kann ich mit
du -d1 -h /url Zielordner | sort -k2
genau sehen, das eben 5x die 5Mb vom Test-Quellordner geschrieben sind und die neue Platte eben 25Mb neue Daten hat.
Das scheint mir nicht zu sein, wie es sein sollte !
Zur Kontrolle habe ich mal mit rsync manuell:
rsync -avh "quellordner" "zielordner"
mehrere Male ausgeführt mit dem korrekten Resultat, dass der Ordner nur einmal über das Netzwerk auf den Linux-Rechner gespielt wird und die Daten nicht mehrfach in voller Grösse übertragen und geschrieben werden (Dupes!)
Allerdings:
Wenn ich mit dem Script von MGutt innerhalb des Unraid servers auf einen Zielordner ein "Backup" machen lasse und eben nicht über das Netzwerk (einfach von einem Share auf einen anderen Share in Unraid), dann funktioniert die Sache und der Folder wird nur einmal in voller Grösse geschrieben. Man sieht das nur das erste Backup die Originalgrösse hat und alle anderen Backups viel kleiner sind. (so wäre es korrekt!)
Was mir auch aufgefallen ist bei der Ubertragung des 2ten.3ten, 4ten Backups (immer mit demselben Ordner uber das Netzwerk):
Im Log wird ab dem 2ten Backup gesagt das nichts übertragen/geschrieben wurde, aber tatsächlich waren alle Daten doch in voller Grösse doppelt und dreifach geschrieben worden - es scheint also, als ob das Script log nicht übereinstimmt mit der Realität.
Was kann hier die Ursache sein - was müsste ich evtl mal uberprüfen um das Script doch richtig zum Laufen zu bringen um von Unraid auf ext4 formatierte Platten nach Ubuntu zu sichern.
Leider habe ich es nicht fertiggebracht die HDD in xfs unter Ubuntu zu formatieren - hier ist vielleicht die Ursache im anderen Filesystem zu suchen ?
Hat schon mal jemand wirklich getestet ob das Script läuft auf Zielmedien von ext4 Platten - hier sollten Hardlinks eigentlich unterstützt werden, aber ich habe inzwischen meine Zweifel...
Oder muss ich in Samba auf dem Zielrechner irgendwas einstellen was bisher fehlt (.conf file)
Vielen Dank für ein paar gute Tips zu dem Script.
-
Meine Ubuntu Version is 20.04 LTS
-
"But if you did the format before assigning it to the array, then the format you did, though pointless, wouldn't have been a problem. I say pointless because rebuild is going to overwrite the entire disk, including any format you did."
Thanks for explanation - I was not aware, that there is no need to format the disk.... but I am just a stupid user of computer applications until I started with Unraid a few weeks ago. I am depending on people like you who explain to me how things work and I try to read as much as possible about it...
"So, if you format a disk in the array and then rebuild it from parity, the rebuild can only result in an empty filesystem."
This is clear to me now, but it is not what I have done - the disks were formatted before they were assigned to the Array - useless though... But thanks for the warning !
"Also note that if you pre-clear a disk, then format it as you did, it is no longer clear. So if you add that disk to a new slot in the array, Unraid must clear it again so parity remains valid."
Another reason not to format a disk in the replacement process
So you can see, that even there is a extensive wiki available, which I at least have read 10times, you still can misunderstand a lot with no IT-background at all... we call it learning...;-)
I did not expect my server to last longer than one month.... I almost reached it, before it breaks...
Now it is time to do it again, I think - I still have the old data-disk, which contains the files of Disk 1, which I now moved partly to lost&found... so I can recover it, I hope
-
Clean re-install:
I am using Unraid as a simple NAS - just a fileserver plus two applications: Paperless-NG and Calibre
Recently I had to repair XFS file system on one of my Data-disks. Result is, that 360Gb of data is moved in the lost&found folder.
As this is from moved from all shares (incl. Appdata, system, etc...) to the lost and found folder, I am dependent on this folder and cannot this 360GB of mess (partly unreadable)
So I want to make a clean re-install without a need for a 360GB Lost & Found
Erase all shares and build them new - possibly by uploading 100000 files or more with rsync from offline data storage...
Do I need to erase and reformat the disks as well ?
I am just looking for a safe procedure to erase the large lost & found-folder
-
I followed the procedure of the Unraid wiki for taking out disks to replace them with bigger ones.
Every new disk needs to be formatted - that is, when Unraid sees the new hardware for the first time and place it in the unassigned disk plug-in. Here I pre-cleared the new disks (stress test for 2days) then formatted them in XFS
After that assigned them in the disk array, so at that moment the rebuild process started and finally finished with zero errors...
Then I switched off the Server in the evening to switch it on next morning with the new Data disk being unmountable
After XFS_Check and XFS_repair, I end up with half of the data moved from Data Disk 1 to Lost & Found folder
The problem is that for example files which have been before in "Audio" share, have been moved to "Lost & Found" and are not in the Audio share anymore...
In total this in total 360Gb moved from all shares (incl system, AppData....) to lost and found and many are unreadable...
I don't know how to correct this -- rather than build a new server ... copy & paste for weeks from offline data files.... no real server backups, just the original data at it original place had not (yet) been erased, as the server is only about 4weeks old...
Paperless-ng
in Deutsch
Posted
"Hast du mal einen Vergleich mit Fotos vom Handy probiert wie gut bzw. schlecht das funktioniert?"
Ja, denn ich habe z.B. auch versiegelte Urkunden und ähnliches zu digitalisieren, die nicht vom Scanner als loses Blatt eingezogen werden können.
Dann kommt es für einen Vergleich natürlich darauf an, welche technische Qualität das Handy hat, aber auch was z.B. die Belichtungsverhältnisse sind für die Handycamera.
Ich benutze dann Officelens mit dem Handy - von der Software prima.
In der Praxis sind die Ergebnisse mit meinem Durchschnitts-Samsung Handy aber immer schlechter - einfach weil der Scanner immer optimale Belichtungs- und Aufnahmebedingungen hat - auch durch die evtl perspektivische Verzerrung der mini-Linse des Handy (durch den starken Weitwinkel und kurze Aufnahme-Abstände)
Eine excellente externe Kamera im professionellen Leuchtkasten mit relativ grossem Objektivabstand würde wohl gleich gute Ergebnisse bringen wie der Papier scanner - aber das habe ich nicht zur Verfügung...