Festplatten umsortieren (keine Parität) um dann Verzeichnisse zu sortieren.

[DataCollector]

Hallihallo Allerseits.

 

Ich habe mein System nun mit Daten gefüllt.
Ich habe das (bisher) einzige Share über alle Festplatten mit Highwater befüllt.
Leider habe ich das nicht ausreichend durchdacht.

Es zeigt sich mir jetzt, daß ich sehr an der alphabetischen Auflistung der Verzeichnisse hänge und dies bei direktem Zugriff von unraid über MC auf die Diska ja nicht mehr gewährleistet ist.

Eigentlich logisch, aber ich hatte gehofft, daß es mich weniger bei der Arbeit mit den Dateien stört.

Also werde ich die Verzeichnisse umsortieren.
Dazu muß ich etwas Platz schaffen.

 

Aktuell sind >20 Festplatten eingebaut und alle recht gut gefüllt. Parität ist noch nicht erstellt.
Ich dachte mir nun eine weitere Festplatte einzubauen,

das Array mit "New Config" zu zerlegen und

mit der neuen Festplatte als Disk1 neu anzulegen.

 

Danach kann ich dann die Verzeichnisse alphabetisch von den hinteren Festplatten immer weit(er) nach vorne kopieren+löschen (=verschieben).

Am Ende wird hinten eine leere Festplatte übrig bleiben, die ich dann wieder mit "new Config" und neu 'Zusammenstellen' raus nehme.

 

Abgesehen davon, dass es viel Arbeit und Mühe ist:
Mache ich da einen logischen Fehler oder sollte das so klappen können?

 

(Keine Sorge Backup ist vorhanden.)

 

[MAM59]

20 Platten ohne Parity ? das nenne ich "MUTIG! 😁 (na ja eingentlich würde ich das etwas anders nennen, aber sparen wir uns härtere Worte)

 

Allerdings ist Deine Idee recht schnapsig, bzw. sinnlos. Vergiss mal MC (das nimmt man nur noch, wenn nix mehr geht) und verwalte die Files von einer anderen Kiste übers LAN.

Da sind dann alle Files brav zusammen und alphabetisch abrufbar.

 

Dich sollte gar nicht jucken, auf welcher Platte sie sind (allerdings hilft als Antijuckmittel eine Paritätsplatte ungemein!)

 

Vergiss mal die "/mnt/disk?" Verzeichnisse.

Guck statt dessen mal unter "/mnt/user" oder "/mnt/user0".

Da findest Du alle Deine Shares, aber zusammengefasst. Alle Dateien da und alphabetisch angeordnet!

 

Wenn Du wirklich Platten freiräumen willst, dann geh so vor:

 

Deaktiviere in den Shares  die unerwünschten Platten und verschiebe danach mit mc die Daten von diesen Platten "/mnt/disk?" auf irgendwelche andere (oder nach "/mnt/user/<share>" dann werden sie wieder automatisch auf dem Rest verteilt). UNRAID wird keine neuen Daten auf diese Platten anlegen, so dass sie dann irgendwann leer sind.

Der Rest ist dann zwar auch wieder "durcheinander" für MC, aber nur wenn Du nach "/mnt/disk?" guckst. Geh über LAN oder die "/mnt/user" Pfade, da ist alles brav sortiert.

 

Das ist eigentlich eins der nettesten Features von UNRAID.

(und die Parity natürlich, ohne die man nicht so gut schläft...)

 

 

[hawihoney]

1 hour ago, DataCollector said:

Es zeigt sich mir jetzt, daß ich sehr an der alphabetischen Auflistung der Verzeichnisse hänge und dies bei direktem Zugriff von unraid über MC auf die Diska ja nicht mehr gewährleistet ist.

 

Wenn Du dieses Fass aufmachst, dann hast Du zukünftig eine Dauerbeschäftigung. Ich würde es lassen. Stell Dir einfach vor, ein Buchstabe - nehmen wir mal exemplarisch ein 'E' - endet auf disk12 und die wird dann voll. Und auf disk13 beginnt 'F' ...

 

Hinterfrage in Deinem eigenen Interesse warum Du darauf bestehst. Medien, zumal wenn sie über Plex, o.ä. verwaltet werden, müssen nicht alphanumerisch sortiert vorliegen. Wichtig ist meiner Meinung nach eher eine gute Auskunftsfähigkeit, wenn Du mal etwas suchen solltest.

 

Falls es Dich interessiert - oder auch nicht - hier meine Variante:

 

Medien sind bei mir auf allen Platten verteilt. Privates wie Dokumente, Bilder, Privatfilme, liegen hingegen auf einer einzelnen eigens reservierten Platte. Auf dieser reservierten Platte liegen keine Medien.

 

Auf jeder Medien-Platte gibt es einen Ordner "Filme" sowie einen Ordner "Serien". Innerhalb der Root-Ordner "Filme" besitzt jeder Film einen eigenen Ordner. Innerhalb des Root-Ordners "Serien" besitzt jede Serie einen eigenen Ordner.

 

Das sieht dann schon mal so aus - an jeweils einem Bespiel:

 

 

 

Ab hier wird es spannend. Ich habe mir mehrere Python Programme geschrieben die Folgendes leisten. Hierzu wird live die Plex Web-API genutzt:

 

1.) Umbenennen der Film-Ordner nach dem offiziellen "Film (2022)" gemäß IMDB und umbenennen der Film-Dateien nach "Film (2022) {imdb-1234567}".

2.) Umbenennen der Serien-Ordner nach dem offiziellen "Serie (2022) {tvdb-123456}".

3.) Exportieren der in Plex hinterlegten Cover, Fanart sowie der zugehörigen XML-Datei für jeden Film, für jede Serie und für jede Episode.

4.) Exportieren einer Liste aller Filme in diesem Format:

 

"2 Tage Paris";"437174";"/mnt/disk1/Filme/2 Tage Paris (2007)/2 Tage Paris (2007) {imdb-tt0841044}.mkv";"2022-02-01";"16.327.821.082";"01:40:12";"h264";"1920";"1080";"21.721";"dca-ma";"6";"1.687";"deu";

 

5.) Exportieren einer Liste aller Serien/Episoden in diesem Format:

 

"Cowboy Bebop";"/mnt/disk1/Serien/Cowboy Bebop (2021) {tvdb-367234}/S01E01.mkv";"938104";"Cowboy-Gospel";"2022-03-15";"1.265.762.327";"00:50:22";"h264";"1920";"1080";"3.349";"eac3";"6";"640";"deu";
"Cowboy Bebop";"/mnt/disk1/Serien/Cowboy Bebop (2021) {tvdb-367234}/S01E02.mkv";"938105";"Venus-Pop";"2022-03-15";"1.259.541.716";"00:39:37";"h264";"1920";"1080";"4.237";"eac3";"6";"640";"deu";

 

6.) Ein DOS/Windows Batch Skript mit dem ich nach Texten oder IMDBs in der o.g. Film-Liste suchen kann:

 

@echo OFF
setlocal

:LOOP
echo Was wird gesucht (IMDB-ID)?      
set /p searchfor=

C:\Temp\WINTools\grep -i -m "%searchfor%" "C:\Privat\Daten\Plex\Lists\Filme.csv" | C:\Temp\WINTools\sort.exe | C:\Temp\WINTools\uniq.exe

pause
cls

goto LOOP

:END
endlocal
pause

 

7.) Ein DOS/Windows Batch Skript mit dem ich nach Texten oder TVDBs in der o.g. Serien-Liste suchen kann:

 

@echo OFF
setlocal

:LOOP
echo Was wird gesucht (TVDB-ID)?      
set /p searchfor=

C:\Temp\WINTools\grep.exe -i -m "%searchfor%" "C:\Privat\Daten\Plex\Lists\Serien.csv" | C:\Temp\WINTools\sort.exe | C:\Temp\WINTools\uniq.exe

pause
cls

goto LOOP

:END
endlocal
pause

 

Die beiden Skripte liegen auf meinem Windows Laptop Desktop und liefern mir auf Knopfdruck den Ort, die Qualität, etc. eines Films oder eine Episode.

 

Viele nehmen hierzu Tools wie Radarr, etc. ich mache das alles mit der Hand und habe eine erheblich höhere Kontrolle. Das Wissen über einen einzelnen Ordner oder die Sortierfolge sind dadurch nicht mehr wichtig.

 

Die Python Skripte kann ich mal aufhübschen und hier irgendwo einstellen. Es gibt noch erheblich mehr solcher Skripte wie z.B. a.) in MKV-Dateien enthaltene Metadaten platt machen b.) Metadaten durch die Titel von oben (IMDB/TVDB) ersetzen, c.) etc. d.) etc.

 

Tschuldigung, wurde dann doch mehr Text als ich wollte.

 

Edited May 9, 2022 by hawihoney

[MPC561]

Ich habe da eine Strategie um die Wakeup der Platten zu minimieren:

 

Ich gruppiere meine Festplatten nach Shares. Also zum Beispiel:

Shares:

 - Filme. HD1 bis 3

 - Serien, HD 4-5

 - Musik, HD6

 - Dokumente, Download Ordner und anders viel genutztes auf HD7

 

Die Shares lass ich dann via "Fill-Up" füllen.

 

Die am meisten genutzte Platte ist HD7. Filme, Serien und Musik sind meist inaktiv und wenn ein Zugriff auf Filme erfolgt laufen nicht alle, sondern nur 3 Platten an. 

Seit ich das so mache habe ich wesentlich weniger Energieverbrauch.

 

Ist im Prinzip ein Kompromiss zwischen "Überlass alles Unraid" und "Mach selber Mikromanagement".

 

Gruss,

Joerg

[hawihoney]

9 minutes ago, MPC561 said:

Filme, Serien und Musik sind meist inaktiv und wenn ein Zugriff auf Filme erfolgt laufen nicht alle, sondern nur 3 Platten an. 

 

Wieso laufen bei Dir alle drei Platten an? Bei mir startet immer nur die eine, direkt angesprochene Platte - was noch erheblich stromsparender ist. Womit spielst Du ab? Plex? Wenn ja, trage doch alle drei Disk-Shares bei Plex ein, statt eines User-Shares. Das ist der ultimative Stromsparer ...

 

 

 

 

[MPC561]

Hängt davon ab. Jellyfin mit Kodi Clients. VLC und anderes. Die Platten laufen hoch beim Zugriff aufs Dateisystem wenn die Verzeichnisstruktur von /mnt/user/sharename eingelesen wird oder wenn Jellyfin nach neuen Dateien parst.  

Mit Diskshares fang ich nicht an. Das ist Micromanagment.

[hawihoney]

1 hour ago, MPC561 said:

/mnt/user/sharename

 

Du kannst ja ruhig /mn/user/ befüllen. In Jellyfin trägst Du einmalig die dem User-Share zugeordneten Disk-Shares ein. Das wars.

 

Edited May 9, 2022 by hawihoney

[DataCollector]

3 hours ago, MAM59 said:

20 Platten ohne Parity ? das nenne ich "MUTIG! 😁 (na ja eingentlich würde ich das etwas anders nennen, aber sparen wir uns härtere Worte)

Ich vergaß wohl wiederholt zu erwähnen, daß es aktuell weiterhin nich die Erstbefüllung ist. Wenn alles da ist, wo es hin geht, werden 2 Paritätsplatten (die schon eingebaut sind) erstellt und benutzt. (In meiner Signatur steht die (fast ganze Hardware).

Nur geht es eben erheblich schneller (wnen man rund 1 Monat mit Befüllung als schnell bezeichnen kann), als wenn ich die Parität von Anfang an erstelle. Alle Dateien haben MD5 Checksummen, alle Dateien liegen in einem ebenfalls gesicherten Hauptsystem und einem Backupsystem, wenn alles so ausgerichtet ist, wie ich will und die Parität steht werde ich alle Dateien in unraid binaer mit dem Hauptsystem vergleichen und/oder den MD5 Checksummen abgleichen und bei Abweichungen korrekturen nachsteuern.

Mach Dir keine unnötigen Sorgen, Datensicherheit ist mir sehr wichtig. Deshalb bestehen auch mehrere identische Backups, bevor ich unraid bei diesem System in den Wirkbetrieb übernehme.

 

 

3 hours ago, MAM59 said:

Allerdings ist Deine Idee recht schnapsig, bzw. sinnlos. Vergiss mal MC (das nimmt man nur noch, wenn nix mehr geht)

Egal ob jetzt MC, krusader oder Datelisting: Ich habe Die Verzeichnisse leider in einer mir nicht gefälligen Form sortiert auf den plaztten und wünsche es alphabetisch zu sortieren.

 

3 hours ago, MAM59 said:

und verwalte die Files von einer anderen Kiste übers LAN.

Die spätere Nutzung wird über Netzwerk (entweder VM oder LAN) pasieren, doch leider ist es für meine gewünschte Nutzung wichtig, daß ich auch direkt auf die Platten zugreifen kann, was sich aktuell auch bei Austausch kleinerer Platten (16TB) gegen größere (18TB) erneut zeigt.

 

3 hours ago, MAM59 said:

Da sind dann alle Files brav zusammen und alphabetisch abrufbar.

Leider aber zu verstreut, als daß das alphabetische Auflisten einiger Verzeichnisse nicht ca. xfach *20 Sekungen Spinupzeit benötigt.

Ich Backuppe eben beispielsweise in alphabetischer Reihenfolge und lasse auch die checksummen so erstellen und prüfen. Wenn ab und zu eine andere Platte anlaufen muß um sich dann wieder schlafen zu legen und dann wieder aufgerufen zu werden ist das zwischen ineffizient, unnötiger Anlauf/Verschleiß und nervig.

 

3 hours ago, MAM59 said:

Dich sollte gar nicht jucken, auf welcher Platte sie sind (allerdings hilft als Antijuckmittel eine Paritätsplatte ungemein!)

..solange man unnoetige Spinupzeit oder Strom verschwenden will, hast Du recht. Ich möchte es aber bei allen Performanceeinbußen, dei unraid bietet dahingehend eben prinzipbedingt leider hat so haben, wie ich es will, solange es möglich ist.

 

3 hours ago, MAM59 said:

Vergiss mal die "/mnt/disk?" Verzeichnisse.

Diese sind nur ein Mittel direkt darauf zuzugreifen. Und ja, mir war schoin klar, daß die beispielshafte Erwähnung des MC zu diskussionen führt. Aber es ist nur (m)ein Mittel um eben schnell und bequem zu sortieren/kopieren/verschieben.

Ebal welches Tool ich nehme (ich nehme parallel auch den TotalCommander über LAn von einer Windowsmaschine), doch da ich eben auch von dort alphabestisch arbeite ist es serh nervend, wenn immer wieder mehrere Festplatten Spinup machen müßen, wenn man mal eben 90TB auf Differenzen absuchen lassen will (TC/Befehle/Verzeichnisse synchronisieren).

 

3 hours ago, MAM59 said:

Guck statt dessen mal unter "/mnt/user" oder "/mnt/user0".

Das ist im späteren NAS Betrieb sinnvoll, aber aktuell nicht zielführend.

 

3 hours ago, MAM59 said:

Da findest Du alle Deine Shares,

Ich erwähnte, daß alles in einem Share ist. Über 800.000 Dateien, Zehntausende Verzeichnisse, mit gesamt aktuell knapp unter 400TB.

Wenn bei Verzeichniswechsel jedesmal 20 Sekungen Spinup vergehen können, weil das Verzeichnis auf einer anderen Festplatte liegt, summiert sich das.

 

3 hours ago, MAM59 said:

Wenn Du wirklich Platten freiräumen willst, dann geh so vor:

 

Deaktiviere in den Shares  die unerwünschten Platten und verschiebe danach mit mc die Daten von diesen Platten "/mnt/disk?" auf irgendwelche andere (oder nach "/mnt/user/<share>" dann werden sie wieder automatisch auf dem Rest verteilt).

Danke, aber genau das will ich ja nicht. Ich will die nicht (am schlimmsten noch innerhalb der Verzeichnisse gesplittet) irgendwo herumliegen haben.

 

 

3 hours ago, MAM59 said:

UNRAID wird keine neuen Daten auf diese Platten anlegen, so dass sie dann irgendwann leer sind.

Leider ist diese Idee mit aktuellen Mitteln nicht zielführend, da aktuell die größten frei verfügbaren Festplatten nur 20TB fassen und zu teuer sind und ich schon 18 und 16Tb Platten nutze und mein Füllstand mit erst einmal rund 87% (steigend!) keine ausreichend freien Kapazitaeten hat.

Deshalb will ich jetzt , wo noch nicht alles so ist, wie gewünscht und ich noch die eine oder ander Platte zustecken kann (weitere 18TB sind unterwegs und unraid macht aktuell ja leider ja nur pro System nur ein 28+2 Array) eben diese Umsortierung durchführen, bevor ich bei 28+2 angekomen bin und dann die Umsortierung nur noch mit externer Kapazität durchführen kann.

 

3 hours ago, MAM59 said:

Der Rest ist dann zwar auch wieder "durcheinander" für MC,

Und genau das will ich ja nicht.

 

3 hours ago, MAM59 said:

aber nur wenn Du nach "/mnt/disk?" guckst. Geh über LAN oder die "/mnt/user" Pfade, da ist alles brav sortiert.

Das ist mir bekannt, aber ich will auch direkten Diskzugriff nutzen (auch um bei parallelem Zugriff auf gezielt mehrere Platten gleichzeitig höhere Gesamtgeschwindigkeiten zu erreichen).

 

3 hours ago, MAM59 said:

Das ist eigentlich eins der nettesten Features von UNRAID.

Und für den normalen NAS betrieb auch genau, das, was ich dabei nutzen werde. Aber um den Datenbestand zu verwalten (wenn ich also nicht nur ab und zu lesend darauf zugreife) brauche ich eine nachvollziehbare Ordnerstruktur auf den Festplatten.

 

P.S.: Ich bedanke mich für die Meinung und bitte zu akzeptieren, daß ich aufgrund eigener Bedürfnisse/Arbeitsweise im Rahmen der ja möglichen technischen Begebenheiten eben eine andere Meinung und Nutzung habe und diese eben umzusetzen wünsche. Es ist ja nicht, daß ich etwas will, was in unraid nicht geht.

[DataCollector]

4 hours ago, hawihoney said:

Wenn Du dieses Fass aufmachst, dann hast Du zukünftig eine Dauerbeschäftigung.

Das ist mir bewußt und ist nicht anders, als meine aktuelle Struktur, bei der ich mit mehreren Raidverbünden arbeiten muß.

Um kompatibel zu bleiben woill ich unraid eben vergleichbar haben.

 

4 hours ago, hawihoney said:

Ich würde es lassen.

Diese Meinung kannst Du vertreten und entspricht auch der üblichen Nutzung eines normalen NAS (Datenfass). Ich gedenke aber aufgrund der Datenmenge bestimmte Verzögerungen durch Spinups zu vermindern. Nein, auch ein 8TB Cache hilft nicht, wenn man knapp unter 400TB Daten auf Binaerebene lesen oder Differenzen zu andren ebenfalls so großen Systemen finden will.

 

4 hours ago, hawihoney said:

Stell Dir einfach vor, ein Buchstabe - nehmen wir mal exemplarisch ein 'E' - endet auf disk12 und die wird dann voll. Und auf disk13 beginnt 'F' ...

Ich danke für die Erklärung, doch kenne ich das Problem und es geht mir auch nicht darum, daß ich nicht eine Grenze finde um auch einen Buchstaben über 2 Festplatten zu splitten. Aber ich will nicht, daß alle Dateien des Verzeichnisses E sich im Laufe der Monate/Jahre dann auf fast allen Festplatten befinden und schon das Auflisten und auslesen der Dateien dann zusätzlich ca. 20x Spinup benötigt.

Ja, ich lese (unregelmäßig) alle Dateien der Reihe nach aus und vergleiche sie mit den MD5-Checksummen des selben und auch anderer Systeme.

 

4 hours ago, hawihoney said:

Hinterfrage in Deinem eigenen Interesse warum Du darauf bestehst.

Das habe ich, Und im ersten Anlauf (Erstbefüllung) habe ich es ja mit Highwater getan. Dadurch besteht ja schon eine gewisse Sortierung. Doch leider habe ich schon in den ersten paar Tagen dacach 8also jetzt) gesezhen, daß ich im Kopf zehntauschende von Verzeichnisen nicht mehr so gut nachverfolgen kann, daß ich schnell einzelne Verzeichnisse/Dateien direkt in unraid (nicht über lan, sondern idrekt mit MC/Krusader/...) finden kann.  A bis L sind ja noch schön brav auf die Disks 1 - x verteilt worden udn die find eich direkt auch schnell wieder. Aber schon Verzeichnisse mit S oder T sind nun schon auf mehrere Disks verstreut. Dazu kommt noch, daß die Dateimanager (MC/krusader/list) andere Sortierreicenfolgen nutzen und dann Verzeichnisse wie "TO-ARU" und "TO-BE-HERO"  bei dem einen weiter vorne und bei dem anderen weiter hinter "TO", "TODAY-IN-CLASS", "TO-Y" liegen.

Es ist mir eben zu (anders) sortiert.

Um effizienter auf den Platten zu arbeiten und die richtigen STellen zu finden ist eine streng alphabetische Sortierung für mich hilfreicher.

 

4 hours ago, hawihoney said:

Medien, zumal wenn sie über Plex, o.ä. verwaltet werden,

Nein, ich plexe nicht. Ich nutze das NAS als reines NAS mit VM und Dockerfunktionen. Ich bin kein Fan von zusätzlichen Bibliotheken und Indexen und so.

4 hours ago, hawihoney said:

Wichtig ist meiner Meinung nach eher eine gute Auskunftsfähigkeit, wenn Du mal etwas suchen solltest.

Diese ist bei einer angelernten (alpanumerischen) Sortierung nicht zwingend notwendig und für meinen Anwendungszweck lästig. Ich habe auch eine Zeit lang mit Descript.ion gearbeitet. Nein, bis ich über den Weg das gefunden habe, was ich suchte ist weitaus mehr Zeit vergangen, als ich bereit war für sowas zu opfern.

 

4 hours ago, hawihoney said:

Falls es Dich interessiert - oder auch nicht - hier meine Variante:

Medien sind bei mir auf allen Platten verteilt. Privates wie Dokumente, Bilder, Privatfilme, liegen hingegen auf einer einzelnen eigens reservierten Platte. Auf dieser reservierten Platte liegen keine Medien.

Das ist bei mir auf diesem Sysetm nicht sinnvoll, da ich hier einen Share mit allen Unterverzeichnissen für die Unterteilung habe.

Die Datenmenge ist zu groß (bzw die Datenträger zu klein) als daß ich thematisch pro Datenträger sortieren wollte.

 

4 hours ago, hawihoney said:

Auf jeder Medien-Platte gibt es einen Ordner "Filme" sowie einen Ordner "Serien". Innerhalb der Root-Ordner "Filme" besitzt jeder Film einen eigenen Ordner. Innerhalb des Root-Ordners "Serien" besitzt jede Serie einen eigenen Ordner.

Um bei dem gerne benutzten Thema Video zu bleiben:

Stell Dir vor, alles sind TV-Ausstahlungen.

Du hast von A wie Airwolf bis Z Z-Nation alles da drin. Zehntausende Serien und Filme zusammengehörend in alphabetischer Trennung. In jedem Ordner sind die weiter in Verzeichnissen nach Erscheinungsjahr sortiert (Jahreszahl/Season/Film/...) und darin dann nach Sprachen getrennt DubVersion, Untertitelt. Dann nach Sprachen (arabisch, bulgarisch, chinesisch (Mandarin), ... deutsch, ...englisch, ...französisch, .... Italienisch, koreanisch, türkisch, und so weiter) [teilweise sogar bei multi sprachlichen Versionen extra einsortiert]. Dann sind darin die Sachen auch noch fein säuberlich durchnummeriert und nach Senderquelle sortiert....

 

Und jedesmal, wenn man hier später etwas ergänzt (dieses Wochenende waren es rund 600GB an Daten, die ich einsortiert habe), landen die hübsch über das Array verteilt (leider sind die Datenträger eben so voll, dass auch bei Highwater die Sachen sich irgendwann gut verteilen). Und nun lasse ich die Checksummen berechnen. Schon muesen alle betroffenen Festplatten Spinuppen, anstatt, daß alles auf einer Platte liegt und die sequentiell gelesen werden kann.

 

Wenn ich es der automatik komplett überlassen wollen würde, brauchte ich ein genau anders herum laufendes Splitting. Aber unraid beherrscht es eben nur in einer Richtung:

Leider kann man bei unraid zwar das Splitting so einstellen, daß überliegende Hauptverzeichnisse zusammen bleiben (nur bis zu 4 Ebenen) (Filme, Serien, Dokumentationen, etc...), aber leider bräuchte ich für effiziente Bearbeitung (nicht nur auslesen, sondern wirklich benutzen) es genau anders herum. Die unteren Verzeichnisse sollten zusammen bleiben.

Dann wäre die Automatik auch für meine Nutzung okay. Aber das kann unraid (und auch keine andere mir bekannte Automatik), so daß ich eben von Hand ran will/muß.

 

4 hours ago, hawihoney said:

Ab hier wird es spannend. Ich habe mir mehrere Python Programme geschrieben die Folgendes leisten. Hierzu wird live die Plex Web-API genutzt:

Programmieren geht bei mir nicht über Windows/Dos-Batch hinaus.

Das steht zwar irgendwann mal auf einer ToDo Liste, aber ich hexe schon seit 1/2 Jahr an unraid und das frisst aktuell schon genug Zeit. da habe ich wenige Zeit übrig mich mit Programmiersprache lernen zu beschäftigen.

Auch deswegen benutze/bevorzuge ich aktuell auch weiterhin die von Windows über jahrzehnte zusammengesuchten Programme zur Nutzung und aus deshalb wird diese Unraidmaschine auch eine Windows Vm, bekommen um auch damit im Datenbestand zu fuhrwerken.

 

4 hours ago, hawihoney said:

1.) Umbenennen der Film-Ordner nach dem offiziellen "Film (2022)" gemäß IMDB und umbenennen der Film-Dateien nach "Film (2022) {imdb-1234567}".

Kann man machen, aber will/brauche ich nicht.

Es würde mich auch sehr stören, wenn ich etwas unter (um im Beispiel zu bleiben) "Terminator/1991-Film-Terminator2/Untertitel/deutsch/t2005-xyz.avi" einsortiere und es später suchen muß um es dann bei "Terminator 2 Tag der Abrechnung deustch" zwischen "Terminator 2 : Le Jugement dernier", "Terminator 2: Judgment Day", "Terminator 2: Sudnji dan", "Terminator 2 - Il giorno del giudizio", "Терминатор 2: Судный день", "Terminatör 2: Kıyamet Günü" zu finden.

Nein, Automatisches umbenennen/-sortieren hat mir schon eine mehrere TB große Audiosammlung (ohne Backup) durcheinander gebracht.

 

4 hours ago, hawihoney said:

2.) Umbenennen der Serien-Ordner nach dem offiziellen "Serie (2022) {tvdb-123456}".

Man für Deine Anwendung sinnvoll sein, ist aber nichts für mich.

 

4 hours ago, hawihoney said:

3.) Exportieren der in Plex hinterlegten Cover, Fanart sowie der zugehörigen XML-Datei für jeden Film, für jede Serie und für jede Episode.

Wenn ich auf den ordner zugreife, will ich schnell im ersten Teil des Dateinamens das relevante sehen,w as ich brauche um den Inhalt zu unterscheiden. Ich will kaum Overhead.

 

4 hours ago, hawihoney said:

4.) Exportieren einer Liste aller Filme in diesem Format:

Unter Windows/Dos reicht mir einfach ein (ungefär)     DIR /S /B >inhalt.txt

 

Ich danke Dir für die Auflistung Deiner Verfahrensweise und sie ist für Deine Nutzung schlüssig und sinnvoll.

auch hast Du Dir mit der Erklärung für mich sehr viel Mühe gegeben. Danke!

 

Aber ich bitte zu akzeptieren, daß ich aufgrund meiner eigenen Anforderungen und Arbeitsweise da etwas anderes wünsche und meien Frage nicht in Änderung der Arbeitsweise enden sollte, sondern in der Ausage, ob das, was ich machen will, zu technischen probleme führt, weil ich etwas nicht bedacht habe.

Bitte nicht vor den Kopf gestoßen fühlen. Ich suche einfach etwa, was zu meinem Vorgehen passt und das ist eher sehr komplex.

[DataCollector]

3 hours ago, MPC561 said:

Ich gruppiere meine Festplatten nach Shares. Also zum Beispiel:

Shares:

Ich habe 1 Share mit aktuell knapp uter 400TB Daten bei knapp über 20 Festplatten.

Getrennte Sahres sind auf diesem System aufgrund der Datenmenge und der kleinen Festplatten (wegen Kosteneffizienz aktuel 16 und 18TB) nicht zweckmäßig.

Und bevor nun auf den Splitlevel hingewiesen wird, das bringt nichts. Wenn er splittet, dann will ich bei riesigen oberen Verzeichnisse (ueber eine Plattengrenze hinaus) die unteren Verzeichnisse in dem oberen Verezeichnis zusammen halten. Aber genau das kann unraid leider nicht.

Unraid splittet nach unten hin.

 

3 hours ago, MPC561 said:

Die Shares lass ich dann via "Fill-Up" füllen.

(Fast) da will ich hin.

Mit Hinblick auf meine Nutzung hätte ich die Erstbefüllung nicht mit Highwater, sondern mit FillUp und 1,2 TB Free Space durchführen sollen. Aber das Kind liegt nun im HighWater Brunnen und das will ich eben nun entsprechend nach alphabetischen Unterverzeichnissen umsortieren.

 

3 hours ago, MPC561 said:

Die am meisten genutzte Platte ist HD7.

Da ich aktuell bei meiner schnelleren Windows/Hardwareraid6 Lösung nahezu täglich den gesamten Datenbestand auf binäre Übereinstimmung mit neuem Material überprüfen lasse und somit alle Platten abgefragt werden    ... und ich (aufgrund des langsameren unraidverrhaltens) mindestens wöchentlich dort das Selbe machen will, beschränken sich meine Zugriffe nicht auf einzelne Platten, sondern gehen in größeren Zeitabständen über das gesamte Array.

 

3 hours ago, MPC561 said:

Filme, Serien und Musik sind meist inaktiv und wenn ein Zugriff auf Filme erfolgt laufen nicht alle, sondern nur 3 Platten an. 

Seit ich das so mache habe ich wesentlich weniger Energieverbrauch.

Wegen dem geringeren Energieverbrauch stelle ich ja auf unraid um. Aktuell verballern meine Haupt- und Backupsystem das 3-4fache des gemessenen Unraid idle/Spindown Verbrauchs 24/7. Somit wird sich (ohne, daß ich mich aktuell mit Optimierungen (powertop oder so) beschäftigt habe der Verbrauch schon stark reduzieren. Feinarbeiten in die Richtung stehen an, wenn ich erst einmal die Daten so/dort drauf habe, wie ich es will.

 

[alturismo]

14 hours ago, DataCollector said:

 

Abgesehen davon, dass es viel Arbeit und Mühe ist:
Mache ich da einen logischen Fehler oder sollte das so klappen können?

das geht so, Rest wurde ja besprochen

 

Thema "anfahren" der Platten bei /mnt/user, bei mir fährt auch NUR die Platte an wo der Film, die Folge, ... effektiv liegt ...

[saber1]

9 hours ago, DataCollector said:

...und für meinen Anwendungszweck lästig.

Ein wirklich sehr interessantes Thema hier.

Du sprichst immer im weitesten Sinne von Deinem "Anwendungszweck".

Das macht irgendwie neugierig. Von was für eine Art von Daten sprechen wir hier, das man die Checksummen in gewissen, wiederkehrenden Zeiträumen prüfen muss?

Was passiert da, das etwas an den Dateien, eventuell geändert wurde?

[saber1]

10 hours ago, DataCollector said:

...da aktuell die größten frei verfügbaren Festplatten nur 20TB fassen und zu teuer sind und ich schon 18 und 16Tb Platten nutze...

bald wird Dir geholfen. 😁

https://www.heise.de/news/Festplatten-Western-Digital-erhoeht-auf-22-und-26-TByte-7079355.html

[DataCollector]

3 hours ago, alturismo said:

Thema "anfahren" der Platten bei /mnt/user, bei mir fährt auch NUR die Platte an wo der Film, die Folge, ... effektiv liegt ...

Dito, doch greife ich eben bei der bearbeitung auf mehr als nur jeweils eine Datei zu.

Und wenn die so verstreut sind, fahren mehrere (bis zu alle) Festplatten lesend an.

[DataCollector]

2 hours ago, saber1 said:

Das macht irgendwie neugierig. Von was für eine Art von Daten sprechen wir hier, das man die Checksummen in gewissen, wiederkehrenden Zeiträumen prüfen muss?

Von Dateien, bei denen es mir wichtig ist, daß diese eben nicht ungewollt verändert sind/werden.

Und wenn ich dann ab und zu kreuz und quer in den Datenbestand einige dutzend bis hunderte GB einsortiere (letztes Wochenende war ich mal wieder fleissig und habe rund 600GB von aktuell rund 36 TB noch wartenden Daten einsortiert), dann prüfe ich erst ob die neuen Daten von dem Temporärverzeichnis binaer korrekt im Ziel (aktuell noch Windows multiple Raid6 / später unraid Array) angekommen sind (aktuell per Windows Clonespy) und wenn alles korrekt dort angekommen ist, werden die Dateien im Temprärverzeichnis gelöscht & die neuen md5 Checksummen den bestehenden Dateien mit den MD5 Checksummen der bisherigen Dateien zugefügt.

Und in unregelmäßigen Abständen lasse ich auch (bisher unter Windows) ein Batch über den gesamten Datenbestand (aktuell kleiner 400TB) laufen und die Checksummendateien gegen die realen Dateien prüfen. Bei Differenzen erfolgt Protokollierung in Ergebnisdatei bei der ich dann die Fehler filtere und denen nach gehe (mit Hilfe gleicher Prüfung der Dateien in den Backups und zurückspielen der korrekten Dateien).

 

2 hours ago, saber1 said:

Was passiert da, das etwas an den Dateien, eventuell geändert wurde?

Von manuellen Bedienungsfehlern (wenn ich beim Bearbeiten Fehler gemacht habe), über versehentliche Löschungen und Amok gelaufene Software, bis zu Bitrot hatte ich schon alles.

Bisher hatte ich es noch nicht, aber selbst bei Ransomwarebefall/Verschlüsselungstrojaner, könnte ich damit nach Schädlicngsbereinigung halbwegs bequem prüfen, welche Dateien noch okay und welche verändert sind.

[DataCollector]

2 hours ago, saber1 said:

bald wird Dir geholfen. 😁

https://www.heise.de/news/Festplatten-Western-Digital-erhoeht-auf-22-und-26-TByte-7079355.html

Solche Ankündigungen lese ich oft. Doch erstens sind die von Toshiba schon vor Jahren versprochenen 30TB Festplatten noch nicht da, zweitens ist für mich auch der Preis wichtig, Drittens ist SMR nicht unbedingt eine gute Wahl bei Festplattenverbund (aber es funktioniert) und nicht zuletzt hab eich nun aktuell alles mit recht neuen 16 und 18TB Festplatten bestückt und hoffe wegen der Kosten eher auf den MultiArray Betrieb in unraid.

Schon die aktuellen 20TB sind mir mit >20Euro/TB zu teuer. Aktuell zahle ich rund 16Euro/TB bei 18TB HDDs.

Und wenn ich schon massig viel Geld zum verprassen hätte, würden mich vielleicht sogar die 64TB oder gar 100TB SSDs interessieren. Dann stört mich Spinupzeit auch nicht mehr. 😁

https://www.computerbase.de/2020-08/exadrive-nl-64-tb-ssd-qlc/

https://www.notebookcheck.com/Die-erste-100-TB-SSD-ist-da-aber-viel-zu-teuer.480530.0.html

Dann bräuchte ich nur rund 6x 40.000 US-Dollar (4+2 Array, Pool oder gar unter Windows) und könnte alles sogar in ein kleines ITX Gehäuse quetschen und käme mutmaßlich bei rund 10-30W idle raus. 🤩

Aber ca. 240.000 Dollar sind schon eine Hausnummer...

[saber1]

Das kennst Du?: 😄

 

Edited May 10, 2022 by saber1

[DataCollector]

25 minutes ago, saber1 said:

Das kennst Du?: 😄

Nein, kannte ich noch nicht, aber bei 1,2PB Gesamtkapazität (1* unraid im Testbetrieb, 2* Windows Main und Backup mit je 400TB) bin ich gerade schon.

Aber es ist alles etwas billiger, als das suggerierte VM Setup bei Spaceinvader One in dem 1.April Video.

Edited May 10, 2022 by DataCollector