Zu viele Dateien ?

[ComExperte]

Moin,

ich bräuchte mal Hilfe. Ich wollte ca. nach 20 Tagen mal schauen, ob der Backupserver die Dateien (Filme) mit meinen Media Server synchronisiert hat. Also ein Backup (LuckyBackup) gemacht hat. Macht er seit Jahren ohne Probleme. Es sind jetzt so 12000 Filme bzw. ca. 60 TB an Daten, verteilt auf 11 Platten + 1 Parität. Ist eben halt Backup.

Wenn ich jetzt aber ein Backup starten möchten, findet LuckyBackup nicht mehr den Ordner.

Greife ich über Samba auf den Ordner zu, wo er das Backup hinschreiben sollte, sagt er, der Ordner sei leer.

Gehe ich über Unraid direkt zu diesem Ordner, wo er das Backup hinschreiben sollte, schreibt er "Zu viele Dateien) siehe Bild. Und zeigt auch einen leeren Ordner an.

 

Gehe ich direkt über Unraid auf die Festplatten und hangel mich durch bis zum Ordner wo er die Dateien seien sollte, zeigt er mit das an, was auf der Festplatte vorhanden ist.

Auch die gesamte Größe aller Festplatten 11 St. von ca. 65 TB stimmen, was er mir anzeigt.

Wie gesagt ich kann sonnst aber nicht den Inhalt, das Backup Ordner z. B. über Samba (Windows) anzeigen lassen. Auch nicht über den Docker Krusada.

Ich habe schonmal die Option unter Windows Ordner versteckte Dateien anzeigen aktiviert, hatte aber nichts gebracht.

Auch unter Google oder hier im Forum habe ich nichts gefunden.

Möchte noch anhängen bin absolut nicht der Profi mit Umgang von Linux, terminal usw. Also Bitte Rücksicht nehmen. Danke

 

Ich bedanke mich schonmal für eure Hilfe. Danke.

Edited May 27, 2023 by ComExperte

[mgutt]

Es gibt zwei Möglichkeiten:

 

A) Unraid stellt über die GUI die Dateien nur dar, wenn maximale X Dateien in einem Verzeichnis sind. Würde mich nicht wundern, weil mehr als 10.000 Dateien in einem Ordner sind eigentlich überall problematisch. Sei es SMB, FTP, Websites, etc. Selbst Google Chrome macht schon Probleme, wenn eine Website zu viele Dateien / Links auf einer Seite hat. Beispiel (Das sind so ziemlich genau 10.000 verlinkte Dateien auf einer Website):

https://ftp.fau.de/centos/7/os/x86_64/Packages/

 

Bei mir ruckelt die Seite beim Laden  und Scrollen. Firefox kommt damit deutlich besser klar, hat aber bestimmt auch irgendwo seine Grenze. Daher ist es nur nachvollziehbar, dass Unraid irgendwo auch eine Grenze hat.

 

Grundsätzlich kann ich dir daher empfehlen maximal 1000 Dateien und Ordner in einem Ordner zu haben. Filme habe ich zB mit deren Anfangsbuchstaben in Unterordnern. Also Titanic ist in "T". Außerdem ist jeder Film in seinem eigenen Unterordner, damit weitere Dateien des Films wie Bonusinhalte auch noch mal unterstrukturiert sind. Beispiel:

/mnt/disk1/Movie/AB/Avatar - Aufbruch nach Pandora (2009)/Avatar Extended Collector's Cut.mkv

 

B) Die GUI hat einen Bug, weil deine Dateien Sonderzeichen enthalten, mit der die GUI nicht klar kommt. Könntest du zB so prüfen (die gelisteten Zeichen habe ich bei mir als problemlos ermittelt):

find "/mnt/user/Backup/Video/Kino/Normal Filme" -type f -not -regex "[][a-zA-Z0-9/.() ßÄÖÜäöüàéèí_,'&#+\!-]+"

 

2 hours ago, ComExperte said:

Es sind jetzt so 12000 Filme bzw. ca. 60 TB an Daten

60 TB reichen bei mir gerade mal für ~2500 Filme 🤨

 

 

[ComExperte]

OK, Danke, das habe ich verstanden, denke ich. 

Aber wie bekomme ich jetzt wieder Zugriff auf das Backup um die Dateien z.b. zu ordnen "Sortieren". Würde dann Lucky Backup dementsprechend einstellen damit es nicht neu ein Backup erstellen müsste. Dachte ich mir so.

Ein neues Backup anzulegen würde ja sehr lange dauern, und damit hätte ich das alte nicht gelöscht, wenn du verstehst, wie ich es meine. 

Oder wie würdest du an der Sache gehen?

Danke

[mgutt]

Probier Mal das Kommando im Terminal:

 

mc 

 

Das ist der Midnight Commander. Wobei es komisch ist, dass Krusader Probleme macht. Was ist denn da das Problem?

[ComExperte]

Auch mc zeigt mir nur einen leeren Ordner an, komisch.

Oder könnte es ein anderer Fehler sein?

Nachtrag: Unter mc zeigt er mir bei den Festplatten, an, dass sich die Dateien in den Ordner befinden!

 

Danke

Edited May 27, 2023 by ComExperte

[ComExperte]

 

Hat noch einer eine Idee was ich noch machen könnte.

[DataCollector]

Ich weiß nicht, was Du machen kannst, aber nur zur Information:

 

Ich habe keine Probleme mit Verzeichnissen (hier ein Pool/Cache bestehend aus SSD) mit mehr als 10 oder 20 tausend eizelnen Dateien.

(Abgesehen davon, daß das Einlesen des Verzeichnisses über SMB (selbst aus einer Win10 VM des selben PC) etwas länger dauert, als es nativ der Fall ist. Aber selbst das hat sich stark verbessert, seit der SSD Pool bestehend auch mehreren SSD nicht mehr mit BTRFS sondern mit zfs gebündelt wird.)

 

Bedienung unraid per Opera von einem Win10Pro 64Bit Intel Core I7-Skylake System mit 64GBRam:

Bis knapp unter 40 tausend Dateien klappt es noch problemlos (mit ca. 10 Sekunden Wartezeit beim Einlesen):

Siehe Screenshot 1 und 2.

 

Bei mehr als ca. 40 tausend Dateien in einem Verzeichnis bekomme ich dann eien Fehlermeldung wegen Speichermangel.

Siehe Screenshot 3.

 

Und bei mehr als 60 tausend Dateien zeigt mit unraid (Filemanager) nur noch 0 Dateien und 0 Verzeichnisse an.

 

Wenn ich über SMB aus Windows 10 heraus per TotalCommaner auf die selben Verzeichnisse zugreife habe ich auch mit mehr als 60 tausend Dateien keine Probleme. Die Dateien sind also da, nur der Browser/unraid/Filemanager zeigt sie eben nicht mehr an.

 

Screenshot1

 

Screenshot2

 

Screenshot3

Edited May 27, 2023 by DataCollector

[ComExperte]

Ja Danke,

von irgendwelche Browser ist egal welche bekomme ich keine Meldung das die Dateien nicht angezeigt werden können.

Mir wird nur immer angezeigt das der Ordner leer ist. Was aber irgendwie nicht sein kann, da Unraid sagt, dass es noch circa 60 TB an Daten seien müsste.

Wenn ich dann bei Unraid mit Midnight Commander zum Beispiel auf die einzelnen Festplatten klicke, zeigt er mir auch den Ordner an mit den vorhanden Daten.

Aber wie gesagt kann ich nicht auf den Ordner wo die daten sein sollen, anzeigen lassen, dann sagt er "Keine Auflistung zu viele Dateien"

Auch extern kann ich nicht auf den Ordner mit den Daten zugreifen.

Habe jetzt keine Ahnung mehr, was ich machen kann. Das einzigiste, was mir jetzt einfällt, wäre das ganze System Platt machen und das Backup 65 TB neu aufspielen.

Aber das würde komplett meine ganzen Rechner über tage lahmlegen, das wäre sehr blöde.

Nicht nur das, damit kenne ich immer noch nicht genau den Fehler. Denn der Horst Rechner ist genau mit den gleichen Daten wie der Backupserver bestückt. Und der läuft ohne Probleme.

Na ja mal sehen noch ein paar Tage warten, ob noch einer eine Idee hat. Dann muss ich mal überlegen, was ich machen kann.

Mfg

[DataCollector]

4 hours ago, ComExperte said:

Mir wird nur immer angezeigt das der Ordner leer ist.

Wie gesagt, bei Überschreitung der 60 tausernder Grenze zeigt mir das System auch im selben Verzeichnis 0 Dateien und 0 Verzeichnise an.

Ich schätze unraid/Filecommander ist dann wirklich überfordert.

Aber solange es per SMB von Windows mit dem Totalcommander problemlos läuft reicht mir das. Ich komme da an alle (ausprobierten) Dateien fehlerfrei ran und da ich sowieso mit Windows auf die unraidsyteme zugreife ist das für mich okay.

 

4 hours ago, ComExperte said:

Was aber irgendwie nicht sein kann, da Unraid sagt, dass es noch circa 60 TB an Daten seien müsste.

Hast Du mal mit einem entsprechend leistungsfähgen Tool außerhalb des unraiduniversums per SMB oder so in das Verzeichnis reingeschaut?

Wenn es sich bei Dir genauo verhält wie bei mir, ist alles da, wo es hin gehört, nur kommt unraid (oder der Browser) eben nicht mit der großen Menge klar.

 

4 hours ago, ComExperte said:

Auch extern kann ich nicht auf den Ordner mit den Daten zugreifen.

Wie macht Du es denn?

 

4 hours ago, ComExperte said:

Habe jetzt keine Ahnung mehr, was ich machen kann.

Wenn alle Stricke reißen sollten zumindest CLI Befehle noch funktionieren.

Vielleicht ein paar Unterverzeichnisse anlegen und alle Dateien mit a*.* in eines, alle mit b*.* in ein anderes.... bis die dadurch unterteilte Gesamtmenge etwas 'handlicher' wird. Vielleicht geht es dann wieder.

Da ich mich mit Linux nicht so auskenne müßte ich erst einmal nachschauen.

Unter windows (CMD)wäre das der Befehl 'Move'.

Edited May 28, 2023 by DataCollector
Typos

[ComExperte]

Freu, Freu, Freu,

Fehler gefunden. Was habe ich gemacht: Bin mal alles Festplatten durchgegangen, die sich in Unraid befinden, 12 Stück an der Zahl. Da fiel mir auf, dass eine davon ich nicht den Inhalt der Festplatte auf Unraid sehen konnte. Und zwar genauer gesagt der Ordner, um den es sich handelt.

Habe ihn dann in Wartungsmodus, was Unraid bittet getestet und gab Unmengen an Fehler, aus, die sich auf den Ordner des Kummers bezog. Auch noch andere Fehler, aber wie gesagt ich bin kein Fachmann in diesen Bereich und kann nicht genau sagen was für Fehler noch. Vermute, es hat was mit dem Dateisystem oder Partition zu tun (XFS).

Habe es mit den Mitteln, was mir Unraid zur Reparatur zur Verfügung gestellt hatte, repariert. Und es geht wieder alles.

Also kurz gesagt gehe ich mal von aus, dass eine Festplatte einen Fehler hatte oder noch hat. Angezeigt hat sie vorher nichts, und nachher auch nichts.  Ich gehe mal von aus, es war Software bezogen.

Möchte mich nochmal bei "mgutt und DataCollector" bedenken für eure Mühe.

Danke

[saber1]

19 hours ago, mgutt said:

60 TB reichen bei mir gerade mal für ~2500 Filme 🤨

Dann hast Du noch Potential 😉

 

[mgutt]

43 minutes ago, saber1 said:

Dann hast Du noch Potential 😉

Ich habe Original 4K Rips mit bis zu 80 Mbit/s. Es wäre ziemlich Banane, wenn ich die komprimieren würde. Da kann ich ja gleich Netflix schauen.

[saber1]

Jeder, wie er mag. War nur ein Hinweis...

[hawihoney]

28 minutes ago, mgutt said:

Ich habe Original 4K Rips mit bis zu 80 Mbit/s. Es wäre ziemlich Banane, wenn ich die komprimieren würde. Da kann ich ja gleich Netflix schauen.

 

Bin am Wochenende über einen Artikel zu Star Trek Strange New Worlds gestoßen. Was für ein Krampf mit den Streaming Diensten. Da ist jede Scheibe - selbst remuxed - haushoch überlegen:

 

https://www.golem.de/news/star-trek-strange-new-worlds-neue-star-trek-serie-gibt-es-nur-auf-disc-in-4k-aufloesung-2305-174449.html

 

[DataCollector]

3 hours ago, hawihoney said:

Bin am Wochenende über einen Artikel zu Star Trek Strange New Worlds gestoßen. Was für ein Krampf mit den Streaming Diensten. Da ist jede Scheibe - selbst remuxed - haushoch überlegen:

https://www.golem.de/news/star-trek-strange-new-worlds-neue-star-trek-serie-gibt-es-nur-auf-disc-in-4k-aufloesung-2305-174449.html

Mal ganz davon abgesehen, daß nicht immer das, was man sehen will, auch 'noch' in dem abonierten Dienst (komplett) zur Verfügung steht, wenn man es sehen will.

Und so weiter...