Hallo zusammen,
ich habe mir vor kurzem einen Unraidserver Zuhause erstellt. Ziel des ganzen ist eine Homecloud, also eigentlich ein Datengrab. Zugriff sollen nur meine Freundin und ich intern in unserem Netzwerk haben, also erstmal noch nicht Zugriff von außerhalb.

Das ganze Setup läuft über einen Thin Client.

Der Thin Client hat folgende Specs:
Model: Dell Wyse 5070
CPU: Intel Pentium Silver J5005 4 Core, 4 MB Cache, 1,50 GHZ to 2,80 GHz
RAM: 8GB (2x4GB) DDR4
HDD: 128GB M.2

Ich habe in meinem Array nur 2 4TB NAS red Festplatten ohne Parity oder SSD Cache. Eigentlich nur eine 4 TB Platte, die andere dient lediglich als Backup. Ist also nur eine Spiegelung der ersten Festplatte.

Jetzt ist meine Frage, was kann ich tun, damit meine Datenübertragung schneller läuft? Zum Beispiel fotografiere ich viel und habe deswegen viele größere RAW Bilddaten und schon alleine diese Bilder durchzuklicken auf dem Server dauert ewig, da er bei jedem Bild ein paar Sekunden laden muss. Ist mein Thin Client zu langsam? Brauche ich ein SSD Cache? Gibt es noch einen anderen Ansatz?
Freue mich auf eure Antworten.

Grüße
Nichkcin

HI erstmal vorweg,

 

wie schnell ist den die Übertragung aktuell ? was hast du für eine Netzanbindung ?  was wäre denn die Max. Schreibgeschwindigkeit der 128Gb SSD und von den HDDs. Wie ist dein Array eingestellt, hast du die SSD auch als Cache in Nutzung, wieviel GB Willst du den auf einmal rüberschieben, und und und.. 

 

P.S. bei 1Gbit sind Datenraten um die 100mb / Sekunde (Labor Bedingungen gerechnet sind es 125 MB/s) normal 

und viele kleine Dateien dauern auch länger als eine große

 

Wie du merkst sind wir an dem Punkt " Was genau ist  langsam für dich in deinem System" 

 

Einfach hier mehr Infos, dann kann die besser geholfen werden...

 

Nach erneutem Durchlesen deines Beitrags, könntest du auch allgemein die Nutzung des SMB-Shares meinen und gar nicht die Datenübertragung an sich oder? 

 

Wie schaust du die Bilder den an ? Auf dem Server ? Nicht über einen Freigabe Ordner und dann auf einem z.B. Windows Client? 

 

Edited February 19, 20242 yr by eLpresidente

1 hour ago, nichkcin said:

Der Thin Client hat folgende Specs:
Model: Dell Wyse 5070
CPU: Intel Pentium Silver J5005 4 Core, 4 MB Cache, 1,50 GHZ to 2,80 GHz
RAM: 8GB (2x4GB) DDR4
HDD: 128GB M.2

Ich habe in meinem Array nur 2 4TB NAS red Festplatten ohne Parity oder SSD Cache. Eigentlich nur eine 4 TB Platte, die andere dient lediglich als Backup. Ist also nur eine Spiegelung der ersten Festplatte.

Jetzt ist meine Frage, was kann ich tun, damit meine Datenübertragung schneller läuft? Zum Beispiel fotografiere ich viel und habe deswegen viele größere RAW Bilddaten und schon alleine diese Bilder durchzuklicken auf dem Server dauert ewig, da er bei jedem Bild ein paar Sekunden laden muss. Ist mein Thin Client zu langsam? Brauche ich ein SSD Cache? Gibt es noch einen anderen Ansatz?
Freue mich auf eure Antworten.

 

Zuerst: USB Festplatten im Array sind nicht empfohlen. Aber das weisst Du vermutlich ja schon.

 

So, da das nun aus dem Weg ist. Du meinst es ist langsam.

Da gibt es (mindestns) 2 Parameter die wichtig sind.

A) geht es Dir um die Übertragungsgeschwindigkeit (also welche Geschwindigkeit auf der LAN Verbindung erreicht werden kann)?

B) geht es Dir um die Latenz (das springen von einer Datei zur Nächsten).

 

Mir klingt es, als gehe es Dir um B).

Dann kenne ich das und umgehe es indem ich direkt in einer VM auf unraid arbeite und dort die Daten in die VM (auf die virtuelle Disk) kopiere und per irfanview durchscrolle. Das geht normal schnell. Wenn die Dateien alle auf einem SMB liegen ist es erhebkich langsamer.

Aber das hat weniger etwas mit unraid zu tun, sondern dass die Latenz/Lag bei dem Netzwerkprotokoll sehr hoch ist, wenn jedesmal SMB angefragt wird.

Dieses problem habe ich auch, wenn ich beisopielsweise die täglichen rund 30-40k Bilder meiner Webcam sichten will, die gar nicht auf unraid, sondern einem Consumer NAS liegen.

 

Wenn die Bilder auf einem Cache liegen kannst Du zwar die paar Millisekunden Seektime der Festplatten umgehen, aber das SMB protokoll ist dennoch recht langsam. So schnell durchscrollen, als wäre es aucgf einem lokalen Laufwerk wird es wohl nicht werden.

 

Aber nur um auszuschließen, dass es auch an A) liegt: welche Transfergeschindigkeit erreichst Du denn über das LAN?

 

 

Danke schonmal für die Antworten!
Ich tue mich noch ganz schön schwer mit den ganzen Begrifflichkeiten bei Unraid und ganz generell wie alles zusammenarbeitet mit Windows und dem Thin Client und meinem Netzwerk... Ich bin noch dabei das zu Verstehen.
 

Quote

wie schnell ist den die Übertragung aktuell ? was hast du für eine Netzanbindung ?  was wäre denn die Max. Schreibgeschwindigkeit der 128Gb SSD und von den HDDs. Wie ist dein Array eingestellt, hast du die SSD auch als Cache in Nutzung, wieviel GB Willst du den auf einmal rüberschieben, und und und.. 

Schreibgeschwindigkeit habe ich 100MB/s. Das ist auch in Ordnung. Mein PC ist per LAN-Kabel angeschlossen.
Die Lesegeschwindigkeit ist aber total langsam. Wie schnell genau weiß ich nicht. Wie finde ich das denn heraus?
Ich habe keine SSD angeschlossen.
 

Quote

Nach erneutem Durchlesen deines Beitrags, könntest du auch allgemein die Nutzung des SMB-Shares meinen und gar nicht die Datenübertragung an sich oder? 

Vermutlich ist es der SMB Share.
 

Quote

Wie schaust du die Bilder den an ? Auf dem Server ? Nicht über einen Freigabe Ordner und dann auf einem z.B. Windows Client? 

Ich habe die 4TB Platte auf allen Windows Rechnern im Netzwerk als Netzwerklaufwerk hinzugefügt. Dass man im Explorer direkt auf den Homeserver/Datengrab zugreifen kann.

 

Quote

Zuerst: USB Festplatten im Array sind nicht empfohlen. Aber das weisst Du vermutlich ja schon.

Am Thin Client ist ein Festplattengehäuse per USB 3.0 angeschlossen. In diesem Festplattengehäuse befinden sich die beiden internen NAS red 4TB Platten. 
Hier der Link zu diesen Festplatten.
https://www.amazon.de/dp/B0BDXSK2K7/ref=pe_27091401_487027711_TE_SCE_dp_i1
Die haben eine Übertragungsrate von 180 MB/s. 

Zählt das auch als per USB angeschlossen?


Die 128GB HDD des Thin Clients möchte ich eigentlich gar nicht nutzen. Ich weiß nicht wofür ich sie benötige. In meiner Vorstellung schreibe ich einfach nur Daten auf die eine 4TB Platte und die andere kopiert regelmäßig die Daten auf die andere 4TB Platte, dass ich immer ein Backup habe.
 
 

Quote

A) geht es Dir um die Übertragungsgeschwindigkeit (also welche Geschwindigkeit auf der LAN Verbindung erreicht werden kann)?

B) geht es Dir um die Latenz (das springen von einer Datei zur Nächsten).

Mir geht es eher um B.

Das mit den VMs habe ich noch nicht verstanden. Warum benötige ich eine Virtual Machine? Ich hatte das so verstanden, dass man VMs nur erstellt, wenn die auch was arbeiten sollen, zum Beispiel ein Video rendern. Aber da auf einer Festplatte einfach nur Daten liegen, verstehe ich nicht was hier "arbeiten" soll. Deswegen dachte ich benötige ich keine VM.
 

Quote

Wenn die Bilder auf einem Cache liegen kannst Du zwar die paar Millisekunden Seektime der Festplatten umgehen, aber das SMB protokoll ist dennoch recht langsam. So schnell durchscrollen, als wäre es aucgf einem lokalen Laufwerk wird es wohl nicht werden.

Ok, meine Überlegung war mit dem SSD Cache, dass die Daten zwar einmal langsam geladen werden müssen, aber dann auf dem Cache liegen und wenn man sie ein 2. mal geöffnet werden, dann geht es schnell, weil sie bereits geladen wurden. Und nach einer gewissen Zeit wird alles vom Cache wieder auf die eigentlich Platte kopiert. Aber so wie du es schreibst funktioniert das wohl nicht so und bringt mir keine Verbesserung was das Lesen der Daten angeht.

Ich will quasi "nur" eine Festplatte haben, auf die alle im Netzwerk zugreifen können und die am Besten so schnell funktioniert, als ob es eine Festplatte wäre, die direkt an einem PC angeschlossen wäre, also zwischen Daten hin und her springen soll schnell gehen. Macht ja kein Spaß beim Suchen von irgendwelchen Bildern, pro Bild mehrere Sekunden zu warten...

20 minutes ago, nichkcin said:

Am Thin Client ist ein Festplattengehäuse per USB 3.0 angeschlossen. In diesem Festplattengehäuse befinden sich die beiden internen NAS red 4TB Platten. 

ja, das sind USB Platten und NICHT empfohlen

 

21 minutes ago, nichkcin said:

Das mit den VMs habe ich noch nicht verstanden. Warum benötige ich eine Virtual Machine? Ich hatte das so verstanden, dass man VMs nur erstellt, wenn die auch was arbeiten sollen, zum Beispiel ein Video rendern. Aber da auf einer Festplatte einfach nur Daten liegen, verstehe ich nicht was hier "arbeiten" soll. Deswegen dachte ich benötige ich keine VM.

ist auch richtig so ... wenn du eh nur an den clients arbeiten willst und dein NAS der externe Speicher ist, passt das auch genau so.

 

22 minutes ago, nichkcin said:

Ich will quasi "nur" eine Festplatte haben, auf die alle im Netzwerk zugreifen können und die am Besten so schnell funktioniert, als ob es eine Festplatte wäre, die direkt an einem PC angeschlossen wäre, also zwischen Daten hin und her springen soll schnell gehen. Macht ja kein Spaß beim Suchen von irgendwelchen Bildern, pro Bild mehrere Sekunden zu warten...

um das zu erreichen, gerade Bilder öffnen von einem NAS ...

 

1/ schnelle Platte, ganz sicher keine HDD und noch sicherer keine HDD in einem USB Gehäuse, eher nvme oder zumindest SSD

2/ schnelles Netzwerk ... du bist mit den 100 MB/s am max mit 1G, 2.5G oder 10G ist das was bei Bild / Videobearbeitung mit externen NAS genutzt und empfohlen wird ... bei 2.5G reicht ne SSD, bei 10G sollte es nvme sein.

 

Die Latenz ist zum Bilder öffnen einfach ... naja, mit ner HDD echt nicht schön ... denk dran, physische Platte, muss auch immer seeken um die Spur zu haben, usw usw ... nutz doch mal die interne SSD und schieb ein paar Bilder da rein und vergleiche die Latenz, dann hast du schonmal das 1G SSD "Gefühl", usw usw ... je schneller die Komponenten, je eher kommst du auf "instant".

7 hours ago, nichkcin said:

Am Thin Client ist ein Festplattengehäuse per USB 3.0 angeschlossen. In diesem Festplattengehäuse befinden sich die beiden internen NAS red 4TB Platten. 
Zählt das auch als per USB angeschlossen?

 

Ja. Wenn alle Festplatten (also multiple) sogar alle gemeinsam in einem Gehäuse (für mehrere Festplatten) eingebaut und alle einzeln im Array eingebunden sind, bremst das meist sogar noch mehr.

 

7 hours ago, nichkcin said:

Die 128GB HDD des Thin Clients möchte ich eigentlich gar nicht nutzen.

 

128GB HDD würde ich auch nicht nutzen wollen.

128GB SSD als Cache kann 'kleine' Schreibzugriffe und ggf. auch ein bisschen Docker beheimaten und dadurch das Array entlasten/stromsparender machen (weil die festplatten bei Schreibzugriffen unterhalb der möglichen ca128GB) nicht direkt aufgeweckt werden müssen um dann erst 15 Minuten (oder mehr) später erst wieder spindown zu vollziehen.

 

7 hours ago, nichkcin said:

In meiner Vorstellung schreibe ich einfach nur Daten auf die eine 4TB Platte und die andere kopiert regelmäßig die Daten auf die andere 4TB Platte, dass ich immer ein Backup habe.

 

Irgendetwas muß aber im Array sein.

 

7 hours ago, nichkcin said:

Das mit den VMs habe ich noch nicht verstanden. Warum benötige ich eine Virtual Machine?

 

Ob Du sie benötigst ist subjektiv unterschiedlich. Aber wenn man ein NAS hast, das sowieso Strom verrbaucht und 24/7 läuft, warum sollte die Kiste dann nicht als Docker oder VM weitere Arbeiten erledigen, die man sonst auf andere PC ausgelagert hatte?

Wenn Du keine anderen Prozesse hast: gut, dann brauchst Du kein Docker oder VM.

 

7 hours ago, nichkcin said:

Aber da auf einer Festplatte einfach nur Daten liegen, verstehe ich nicht was hier "arbeiten" soll. Deswegen dachte ich benötige ich keine VM.

 

Wenn Du unraid nur ans NAS verwenden willst ist das ja auch gut so und möglich.

unaid hat eben nur noch viel mehr zu bieten und ich versteige mich vermutlich in der Aussage, aber ich schätze die meisten nutzen das NAS zu mehr als eben nur Daten lagern und wiedergeben.

 

7 hours ago, nichkcin said:

Ok, meine Überlegung war mit dem SSD Cache, dass die Daten zwar einmal langsam geladen werden müssen, aber dann auf dem Cache liegen und wenn man sie ein 2. mal geöffnet werden, dann geht es schnell,

 

Betreffend des SSD Cache: nein, das ist nicht so.

Betreffend des RAm Caches: ja das ist so, bis irgendetwas anderes das Ram braucht. (wenn man das will, ist massig viel RAM hilfreich)

 

7 hours ago, nichkcin said:

Ich will quasi "nur" eine Festplatte haben, auf die alle im Netzwerk zugreifen können und die am Besten so schnell funktioniert, als ob es eine Festplatte wäre, die direkt an einem PC angeschlossen wäre,

 

Da ist das Netzwerk Transferprotokoll vor.

Selbst mit einer 10GB Lan Verbindung (1100MByte/s) wirst Du zwar problemlos die Transfergeschwindigkeit einer lokalen Festplatte (250MByte/s) erreichen, aber die Latenzen bei vielen kleinen Dateien (Bildern/MP3 oder so) ist dennoch durch die Netzwerkübertragung weitaus höher (langsamer).

Schliesslich muss die festplatet die Daten einmal selber mit ihrer Geschwindigkeit/Latenz "x" zusammensuchen und bereitstellen und dann muss da ganze auch noch in kleine Stücke zerlegt werden (1,5k bis 9k große Blöcke) und dann durch das Netzwerk geschleust werden um auf der Gegenseite diese kleinen Stücke wieder zusammen zu setzen, damit man dann das beispielsweise 30MB grosse RawBild sehen kann.

Es addieren sich also die native bereitstellungs Geschwindigkeit "x" der Festplatte zu der Übertragungs- und Verwaltungsgeschwindigkeit "y" des Netzwerkes. Und somit kann eine Netzwerkübertragung nie so schnell sein, wie die nackte Festplatte selber.

 

7 hours ago, nichkcin said:

also zwischen Daten hin und her springen soll schnell gehen. Macht ja kein Spaß beim Suchen von irgendwelchen Bildern, pro Bild mehrere Sekunden zu warten...

 

Deshalb erwähnte ich ja schon, daß ich die Bilder dann in einem Rutsch auf den bearbietnden PC kopiere (in die bearbeitende VM verlagere), dort bearbeite/durchscrolle, etc... und am Ende das Ergebnis wieder zurückspiele.

 

Info: Wenn eine Netzwerkverbindung einmal aufgebaut ist, flutschen die Datenpakete kontinuierlich schneller durch, als wenn jedesmal nach einer kleinen/oder großen) Wartezeit der Prozess von vorne neu beginnen muß. (dazu kommt auch, daß Datenträger selber auch mit wenigen großen Dateien weitaus besser umgehen können als mit vielen Winzlingen).

Aus dem Grund ist die Übertragung eines großen Videos (beispielsweise 50GB Blurayimage) auch flüssig und schneller möglich, als eine Anzahl vieler Kleiner Einzeldateien, die in Summe genau so viel Kapazität (50GB) haben.

 

mgutt hat mal was dazu geschieben, daß man das SMB Protokoll auch besser ausnutzen kann, was dann mehrere gleichzeitige Übertragungen ermöglicht, aber das das bei vielen kleinen Dateien in sequentieller Folge signifikant viel bringt, würde ich mal nicht vermuten.

 

Edited February 20, 20242 yr by DataCollector

4 hours ago, DataCollector said:

128GB HDD würde ich auch nicht nutzen wollen.

 

 

18 hours ago, nichkcin said:

HDD: 128GB M.2

 

ich ging jetzt davon aus das hier ne 128 GB m2 SSD/nvme verbaut ist ... daher mein Vorschlag die zu testen und danach zu entscheiden "wie weiter" ... kann natürlich sein das ich mich getäuscht habe

Danke für die ausführlichen Antworten und sorry für die späte Anwort. Bei mir war die letzte Zeit sehr viel los...

 

Quote

1/ schnelle Platte, ganz sicher keine HDD und noch sicherer keine HDD in einem USB Gehäuse, eher nvme oder zumindest SSD

2/ schnelles Netzwerk ... du bist mit den 100 MB/s am max mit 1G, 2.5G oder 10G ist das was bei Bild / Videobearbeitung mit externen NAS genutzt und empfohlen wird ... bei 2.5G reicht ne SSD, bei 10G sollte es nvme sein.

Ich hatte mich beraten lassen und mich auch im Internet umgehört bezüglich SSD oder HDD. Soweit ich das verstanden habe, macht es keinen Sinn eine SSD zu verwenden, da die langsamste Komponente immer das Netzwerk sein wird mit 1 Gbit/s, also 125 MB/s und das wird niemals auf die Geschwindigkeit der SSD Übertragung kommen (700 MB/s). Deswegen hatte ich mich für eine HDD mit einer Übertragungsgeschwindigkeit von 180 MB/s entschieden.
 

Quote

Deshalb erwähnte ich ja schon, daß ich die Bilder dann in einem Rutsch auf den bearbietnden PC kopiere (in die bearbeitende VM verlagere), dort bearbeite/durchscrolle, etc... und am Ende das Ergebnis wieder zurückspiele.

Ist das nicht kompliziert? Wenn ich Bilder durchsuchen will und dafür ALLES auf eine VM kopieren muss? Der Kopiervorgang selbst dauert doch schon eine Weile...

Ich verstehe nicht, dass es so schwer ist, eine einigermaßen akzeptable Übertragungsgeschwindigkeit zu erreichen. Sollte es nicht das Simpelste sein einfach ein Datengrab zu erstellen, ohne Funktion, auf dem einfach jeder im Netzwerk zugreifen kann. Ich meine in Google Drive kann ich ja auch recht schnell Bilder durchklicken und die liegen ja auch sonstwo auf einem Server und dafür nutze ich eine Internetverbindung die maximal 10 MB/s schafft. Da müsste doch mein internes Netzwerk schneller sein. 

Gibt es keine andere Lösung dafür, als alles auf eine VM zu kopieren und das immer wieder, wenn man mal nur schnell ein paar Bilder sucht? 

11 minutes ago, nichkcin said:

Deswegen hatte ich mich für eine HDD mit einer Übertragungsgeschwindigkeit von 180 MB/s entschieden.

du wirst jedoch (spürbar) die Latenz merken von HDD <> SSD (nvme lassen wir mal außen vor)

 

12 minutes ago, nichkcin said:

Gibt es keine andere Lösung dafür, als alles auf eine VM zu kopieren und das immer wieder, wenn man mal nur schnell ein paar Bilder sucht? 

doch, ich nutze das ja so ... nur mache ich keine aufwändige Bildbearbeitung

 

bei mir liegen die Bilder perm auf nvme (backup Strategie) da ich die Latenzen der HDD nicht mag ...

 

und mir reicht das ganz bequem

 

dein Vergleich mit Google Fotos hinkt etwas, im browser werden die Daten "nachgeladen", von Pixelbrei zu feiner Auflösung, daher das "Tempo" ... kann man lokal nicht vergleichen, wenn die das Tempo von gdrive reicht, dann bist du lokal auch mehr als zufrieden, passt doch.

 

die meisten Bild / Video bearbeiter wollen es halt "instant" und nicht 1 Sekunde warten ...

4 hours ago, nichkcin said:

Ist das nicht kompliziert?

 

Jeder muß seinen eigenen Workflow finden.

Ich arbeite meist mit "Häppchen" von einigen tausend Bildern pro Verzeichnis. Das geht dann recht flott (wenn man die Kopierzeit außen vor läßt).

Wenn ich theoretisch alle millionen Bilder nackt und ohne vorherige Datenbank/Indizierung/Sortierung aufrufen würde, wäre das auf dem Weg nicht möglich. Aber wenn man die Bilder eben in kleinere Häppchen sortiert geht es (für mich) ganz gut.

Aber ja, das normale durchklickern durch die Urlauberinnerungen ist damit so kaum Möglich.

 

4 hours ago, nichkcin said:

Wenn ich Bilder durchsuchen will und dafür ALLES auf eine VM kopieren muss? Der Kopiervorgang selbst dauert doch schon eine Weile...

 

Ja, das kann dauern. Aber ein entsprechend großes Verzeichnis mit zehntausenden oder weit mehr Dateien/Bildern per SMB aufzurufen dauert auch sehr lange.

Da kommt es dann auf die Software an. Mit einer Datenbank, die alles vorher indiziert greft man ja beispielsweis enicht nackt auf das Verzeichnis zu, sondern dei datenbank puffert das ganze ja zwischen und sortiert auch. etc... 

Es kommt eben darauf an, was man da machen will und wie (mit welcher Software) man da auch zugreifen will und ob da vielleicht eben eine Art Bilderserversoftware dazwischen ist, die das alles schon vorher über viele Stunden/Tage vorbereitet hat.

Ist ähnlich wie Plex oder so.

Man greift zum auswählen des Videos auch nicht wirklich erst auf die rohen Videodateien zu, sondern der plex/jelly hat sich vorher schon mit den Dateien beschäftigt und bietet dem Suchenden User einfach seine Datenbank an anhand dann später auch nicht alle dateien in einem verzeichnis angestuert werden, sondern nur wirklich die, die dann benötigt werden.

Wenn man nur beispielsweise 1-10 Dateien aufruft ohne den gesamten verzeichnisinhalt aufzulisten geht das flott.

Wenn ein Programm Bildbetrachter aber das erste mal in ein Verzeichnis mit xxxxx Dateien rein geht, kann es schon mal Skeunden, bis minuten dauern, bis er da alles auflistet.

(Vor allem, wenn es von jedem Bild dann erst einmal eine Miniatur erstellt und anzeigt).

 

4 hours ago, nichkcin said:

Ich verstehe nicht, dass es so schwer ist, eine einigermaßen akzeptable Übertragungsgeschwindigkeit zu erreichen.

 

Die Geschwindigkeit ist kein Problem.

Ich fluppe mit 10GBLan teilweise so knapp unzer 1GByte/s über das Netz.

Das Problem ist die Latenz bei eben extrem vielen Dateien.

Wenn ich ein rieseiges Image (von beispielsweise 25GB) übertrage sind die fast 1GByte/s gut machbar.

Wenn ich hingegen 25 Millionen 1kB große  Dateien über das selbe Netz übertrage bricht die Geschwindigkeit extrem ein, weil jede Datei mit zusätzlichen Kopfinformationen daher kommt und und sich somit gar kein kontinuierlicher Datenfluß aufbauen kann (wie eben bei einer einizigen so großen Datei)

 

4 hours ago, nichkcin said:

Sollte es nicht das Simpelste sein einfach ein Datengrab zu erstellen, ohne Funktion, auf dem einfach jeder im Netzwerk zugreifen kann.

 

Ja, das ist es. Aber wenn es eben 8wie bei Bildersammlungen oft üblich) immer mehr Dateien werden, bremst das Einlesen aller Dateien eben.

 

4 hours ago, nichkcin said:

Ich meine in Google Drive kann ich ja auch recht schnell Bilder durchklicken

 

...weil da ein heftiges Serverkonstrukt dahinter ist mit riesigen Speichern (Ram, SSD und Festplatten und erheblich heft9gerer CPU Power).

Und selbst da setzt man auf sehr ausgeklügelte Techniken um Dateien nicht direkt alel darzubieten und ggf. im Hintergrund schon zu indizieren, etc...

Und Google Drive ist auch kein direkter Zugriff auf ein SMB Share, sondern eine eher fein abgestimmte Websoftware.

 

4 hours ago, nichkcin said:

Gibt es keine andere Lösung dafür, als alles auf eine VM zu kopieren und das immer wieder, wenn man mal nur schnell ein paar Bilder sucht? 

 

Du kannst eben direkt auf dem SMB suchen. je mehr Dateien es sind und je weniger intelligente Software Du dabei involvierst, desto eher wirst Du feststellen, ob das bei Dir bremst.

Ist ja alles so simpel 😁

 

Vielen Dank mal wieder für eure Antworten! 🙂
Also wäre es für meinen Fall (Datengrab mit vielen kleinen Dateien/Bildern) die beste Lösung den SMB abzuschaffen und eine VM einzurichten, die mit einer intelligenten Software Bilder schon vorläd/sortiert, eben ganz generell vorbereitet, dass wenn ich die Bilder durchsuchen möchte, sie schnell greifbar sind? Habe ich das so richtig verstanden? Weil ich möchte ja eben nicht mehrere Sekunden pro Bild warten

Falls ja, integriere ich so eine Software via Dockers? Habt ihr da eventuell Software Empfehlungen? 

Kann ich mir dann die vorgeladenen Bilder auf der VM auch als Netzwerk Festplatte einrichten auf den PCs in meinem Netzwerk?

12 hours ago, nichkcin said:

Also wäre es für meinen Fall (Datengrab mit vielen kleinen Dateien/Bildern) die beste Lösung den SMB abzuschaffen und eine VM einzurichten, die mit einer intelligenten Software Bilder schon vorläd/sortiert, eben ganz generell vorbereitet, dass wenn ich die Bilder durchsuchen möchte, sie schnell greifbar sind? Habe ich das so richtig verstanden? Weil ich möchte ja eben nicht mehrere Sekunden pro Bild warten

 

Über das Netzwerk kommt man aber an SMB oder NFS Zugriff nicht vorbei.

Selbst meine Zugriffe von der VM auf mein Datengrab/Array/Pool erfolgt bei mir über SMB.

 

Aber ja, wenn man bei vielen Daten/Dateien schenll einen Zugriff haben will ohne jedesmal extra Wartezeiten für die Übertragung zu merken ist eine Sofwtare, dei das vorbereitet ratsam.

 

Deshalb stehen ja im Videobereich so viele Leute auf Software wie Plex oder Jellyfin, nicht nur weil die Zusatzfeatures wie transcoding bietet, sondern es ist auch eine vorbereitete und indizierte Datenbank da, welche dann die einzenen Zugriffe auf die wirklichen Dateien auf ein Minimum beschränkt.

Wenn man mal sehen will welche Schauspieler da mitspielen oder in welchem Jahr das rausgekommen ist oder welcher Regisseur das fabriziert hat oder gar alle nach einem dieser Kriterien (oder noch mehr) zu durchsuchen   ist eine gute Datenbank beser als jedesmal die einzelnen Wartezeiten der individuellen Dateizugriffe zu erleben.

Wenn man solche Direktzugriffe nackt von außen per SMB macht und bei jedem Suchbegriff erst einmal alle daten durchsucht würde das bei eben extrem vielen Dateien (egal ob nun Bilder oder VBideos) eeeewig dauern.

 

Da macht es eben Sinn eine Software zu nutzen, die sich vorab Nachts mit den Daten beschäftigt und in Datenbanken oder so vorbereitet. Am besten auch Vorschaubilder oder so zwischenlagert, auf die der Zugriff in einer großen Datenbank schneller erfolgt, als in einem Verzeichnis mit zehntausenden Dateien.

 

Welche Software Du für sowas nehmen kannst, kann ich Dir nicht sagen.

 

Wie gesagt, wenn ich manuell große Mengen an Bildern betrachten und sortieren will, handhabe ich das, indem ich diese Bilderflut in Häppchen von einigen Tausend bis einige Zehntausend per SMB in eine VM (mit Windows) kopiere/verschiebe (also in die virtuelle Disk dafür verlagere) und mich dann mit den Häppchen beschäftige.

 

Dieses "vorbereitende" kopieren/verschieben braucht so einige Minuten und während der Kopier-/Verschiebevorgang läuft   fange ich einfach schon an.

 

Aber aus eigener Erfahrung kann ich sagen, selbst das schnelle Betrachten & Sortieren von rund 20000-40000 Bilddateien, nach manuellen Kriterien, dauert dann schon bei mir einige Stunden.

 

Ich würde für Dich sagen: probier es doch erst einmal aus. Wenn Dir reiner SMB Zugriff zu langsam ist, dann kannst nach was anderem suchen.

Mir ist es für Bildersortierung groooßer Mengen per SMB Zugriff eben leider wirklich zu langsam.

Edited March 13, 20242 yr by DataCollector
Formulierungen leicht verbessert

Nochmals vielen Dank für die Infos