Unraid Server-MACOS - Überlastung beim Anzeigen des Ordnerinhalts >3000 Files

[mcp-server]

Hallo Leute,

ich habe folgendes Problem: Wenn ich einen Ordner mit ca. 9000 RAW-Fotos à 28 MB öffne, wird der Inhalt nicht angezeigt. Im Finder (MacOS) dreht sich der Kreis und die Anzeige bleibt leer. Offenbar wird auch der gesamte Internet-Traffic blockiert. Ein Neustart des Arrays ist die einzige Abhilfe. Der Unraid NAS ist per 10Gig direkt am MacStudio angeschlossen.

 

Ich habe nun drei Tage damit verbracht, das Problem mit allen möglichen Lösungswegen zu beheben, die mir das Internet ausgespuckt hat, aber ohne Erfolg. Ich überlege, mir deswegen ein 1821+ anzuschaffen.

 

Wenn ich im Finder einen Ordner mit 1500 RAW-Fotos öffne, dauert es etwa 10 Sekunden, bis die Dateien angezeigt werden.

In der Web-Oberfläche von Unraid läuft alles problemlos. Ein Ordner mit 11k RAW-Fotos wird in Sekunden angezeigt. Daher vermute ich, dass etwas mit dem Unraid-SMB nicht stimmt.

Im Vergleich zu meinem Uralt Synology DS414j (SMB) funktioniert dort alles einwandfrei.

 

Hat jemand von euch dieses Problem schon einmal gehabt und gibt es dafür eventuell eine Lösung?

 

Version: 6.12.0-rc6 / Auch die Stable-Version getestet

Z170M-D3H

Intel® Core™ i7-6700K

32 GB RAM

1 TB SSD MLC Cache

4 TB NVME + diverse 4-10 TB Platten

MacOS Ventura / MacStudio M1 Max

[saber1]

Du schreibst 

 

1 hour ago, mcp-server said:

das Problem mit allen möglichen Lösungswegen zu beheben, die mir das Internet ausgespuckt hat

 

Hast Du auch das mal probiert:

Adjust SMB browsing behavior in macOS

https://support.apple.com/en-us/HT208209

[mcp-server]

Ja das hatte ich schon probiert hat aber keine Lösung gebracht.

[mgutt]

SMB unterstützt nur einen Transferkanal, außer man aktiviert SMB Multichannel mit RSS. In Sachen MacOS habe ich dazu leider keine Erfahrungen. Hier liest es sich so, dass MC standardmäßig aktiv ist, aber von RSS ist keine Rede, sondern nur von mehreren Netzwerkverbindungen:

https://support.apple.com/de-de/HT212277

 

Kann der besagte Finder mehrere Server in einem Ordner anzeigen und parallel von diesen Lesen? Dann würde ich unRAID per hosts Datei verfügbar machen und die Bilder auf mehreren Shares verteilen und die alle über unterschiedliche Hostnamen einbinden.

 

Das Problem ist dann übrigens auch bei einer Syno vorhanden. SMB ist nach wie vor ein Windows Protokoll, dass man in Linux per Reverse Engineering nachgebaut hat. Willst du was natives, solltest du eher auf NFS setzen. Aber auch NFS hat Multipath erst ab NFS 4.1. Keine Ahnung was nun in unRAID dabei ist.

 

Nächster Punkt ist: Nutzt du einen Disk Share oder User Share? Letzerer hat einen massiven Overhead bei vielen kleinen Dateien.

 

Letzter Punkt: Das Array ist lahm. Kein Geheimnis. Hot Data gehört daher auf einen Pool. Vorzugsweise aus SSDs. Auch das wäre bei einer Syno nicht anders, wo du ja über ein RAID5/6 zugreifen würdest.

[mcp-server]

Vielen Dank für Eure Hilfe.

Ich greife über SMB (UserShare) auf das NAS zu und frage mich, ob es Plugins gibt, mit denen sich der Overhead bei SMB reduzieren lässt.

Im Finder ist es möglich, auf mehrere Server gleichzeitig zuzugreifen. In meinem Fall mit Unraid war nur der Unraid-Server beteiligt, der auch eine direkte Verbindung über 10Gig Ethernet hat. Ich möchte das als reines NAS nutzen, ohne Docker oder VMs.

 

Das Array ist immer noch langsam und hat signifikante Probleme beim Laden und Anzeigen von 2000-10000 Fotos. Immerhin schafft es aber 1000-1500 RAW-Dateien.

Ich habe nun die 10000 RAW-Dateien in 10 Ordner unterteilt. Unraid scheint damit weniger Probleme zu haben, und ich kann die Dateien nach einigen Sekunden sehen.

 

Meine Projekte liegen nun auf einem eigenen Share, der auf einer NVME im Array liegt. So kann ich mit 500-700 MB/s herunterladen. Uploads mache ich über die Cache SDD, die die Daten per Mover auf die NVME-Disk schreibt. Das funktioniert prima, aber wie gesagt nur für das Hoch- und Herunterladen von Dateien. Der Zugriff per Lightroom, Final Cut Pro oder Finder funktioniert leider nicht wie erwartet, wenn alle Dateien im Ordner bleiben. Durch das Aufteilen in mehrere Ordner funktioniert es wieder.

 

So habe ich zwar einen Kompromiss gefunden und kann Unraid wieder zum Arbeiten nutzen, aber eine Lösung für das Problem ist es immer noch nicht. Hier besteht also Verbesserungsbedarf seitens Unraid.

Edited May 31, 2023 by mcp-server

[DataCollector]

2 hours ago, mcp-server said:

So habe ich zwar einen Kompromiss gefunden und kann Unraid wieder zum Arbeiten nutzen, aber eine Lösung für das Problem ist es immer noch nicht. Hier besteht also Verbesserungsbedarf seitens Unraid.

Da Lime an unraid Fehler nur verbessern kann, wenn sie davon erfahren: mal eine offizielle Fehlermeldung aufmachen?

 

Edit:

da vor wenigen Tagen eine vergleichbare Anfrage (ohne Mac)hier durch lief, hatte ich bei mir mal getestet und hatte Auflistungsprobleme erst ab >20k Dateien. Aber das Problem bestand nur un der unraid GUI/dem Plugin. Zugriff von Totalcommander/irfanview aus Windows per SMB lief auch bei >60k Dateien problemlos:

 

Edited May 31, 2023 by DataCollector
Ergaenzung zu Beitrag von vor wenigen Tagen

[mcp-server]

15 hours ago, mgutt said:

Willst du was natives, solltest du eher auf NFS setzen.

Vielen Dank für den Hinweis.

Ich habe nun NFS eingerichtet und was soll ich sagen – ich kann jetzt 11.000 Dateien blitzschnell anzeigen lassen.

Ich werde nun alle Shares auf NFS setzen. Alles läuft so, wie ich es mir vorgestellt habe.

Nochmals vielen Dank.

Das war die Lösung !! 👍🏻

Edited May 31, 2023 by mcp-server

[warp760]

22 hours ago, mcp-server said:

Offenbar wird auch der gesamte Internet-Traffic blockiert.

Sowas ist mir bei mir auch schon aufgefallen. Da dürfte es doch normal überhaupt keinen Zusammenhang geben. Woran liegt das?

Ordner öffnen = Radio aus/stottert. Super nervig

[typewriter]

21 hours ago, mcp-server said:

Vielen Dank für den Hinweis.

Ich habe nun NFS eingerichtet und was soll ich sagen – ich kann jetzt 11.000 Dateien blitzschnell anzeigen lassen.

Ich werde nun alle Shares auf NFS setzen. Alles läuft so, wie ich es mir vorgestellt habe.

Nochmals vielen Dank.

Das war die Lösung !! 👍🏻

Blöde Frage: Wie macht man das? Ich verzweifle an der unterirdischen Samba Performance mit meinen Macs und blicke auch bei den endlosen Diskussionen mit Verbesserungsvorschlägen der Samba Konfiguration nicht mehr wirklich durch, zumal die meist offensichtlich nicht funktionieren. Kann ich dann trotzdem noch mit einem PC auf umgestellte NFS Shares zugreifen?

[mcp-server]

NFS in MacOS einbinden

 

In der Unraid-Oberfläche:

1. Aktivieren Sie die NFS-Freigabe: Einstellungen/NFS/NFS aktivieren [Ja].
2. Erstellen Sie einen freigegebenen Ordner: Freigaben/Freigabe hinzufügen/Namen vergeben/NFS-Sicherheitseinstellungen/Exportieren [Ja] / Sicherheit [Öffentlich].

 

Unter MacOS:

1. Öffnen Sie den Finder und verwenden Sie die Tastenkombination: ⌘+K.
2. Verbinden Sie sich mit dem Server: nfs://deineIP:/mnt/user/deinFreigabeOrdner
3. Speichern Sie die Verbindung mit dem "+" in der Liste.

Die Schritte wiederholen für mehr Freigaben.

 

Hinweis:

"Wenn der Computer neu gestartet wird, ist der NFS-Ordner nicht mehr eingebunden."

Rufen Sie mit der Tastenkombination ⌘+K die Liste der Verbindungen auf und wählen Sie den Server aus, um ihn erneut zu verbinden.

 

Das ist alles.

[mgutt]

4 hours ago, mcp-server said:

vergeben/NFS-Sicherheitseinstellungen/Exportieren [Ja] / Sicherheit [Öffentlich].

Das klingt jetzt nicht gerade sexy, so ohne Passwort. Geht das auch sicherer?

[mcp-server]

On 6/2/2023 at 8:30 PM, mgutt said:

Das klingt jetzt nicht gerade sexy, so ohne Passwort. Geht das auch sicherer?

Auf Privat umstellen geht natürlich auch. 👍🏻

Mein Unraid Server ist 20/7 abgeschaltet. Schalte ihn nur ein wenn ich Daten verschiebe, deshalb ist diese Einstellung für mich in Ordnung.

Die Sicherheitseinstellungen sollte auch jeder auf seine eigenen Anforderungen anpassen.